Spring AI + Ollama 本地嵌入模型实战：5分钟搞定文本相似度计算

Spring AI与Ollama本地嵌入模型实战从环境搭建到文本相似度计算在当今数据驱动的时代文本相似度计算已成为自然语言处理中的基础任务广泛应用于智能搜索、推荐系统、问答匹配等场景。传统基于云服务的解决方案虽然便捷但存在数据隐私、网络延迟和成本问题。本文将带你使用Spring AI框架和Ollama本地大语言模型构建一个完全本地的文本相似度计算系统。1. 环境准备与工具链搭建1.1 Ollama安装与模型部署Ollama是一个支持在本地运行大型语言模型的工具它简化了模型的管理和部署过程。安装Ollama只需几个简单步骤# 在Linux/macOS上安装 curl -fsSL https://ollama.com/install.sh | sh # Windows用户可通过winget安装 winget install ollama安装完成后我们需要下载一个适合文本嵌入的模型。llama3虽然体积较大约4.7GB但在语义理解方面表现优异ollama pull llama3模型下载完成后可以通过以下命令验证是否正常运行ollama list提示首次运行模型时Ollama会自动下载所需的依赖项这可能需要几分钟时间具体取决于网络速度。1.2 Spring Boot项目初始化使用Spring Initializr创建一个新的Spring Boot项目添加以下关键依赖dependencies dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-ollama-spring-boot-starter/artifactId /dependency /dependencies对于Gradle用户相应的配置如下dependencies { implementation org.springframework.boot:spring-boot-starter-web implementation org.springframework.ai:spring-ai-ollama-spring-boot-starter }2. Spring AI与Ollama集成配置2.1 基础连接配置在application.properties或application.yml中配置Ollama连接参数spring: ai: ollama: base-url: http://localhost:11434 embedding: enabled: true options: model: llama3 temperature: 0.7 num-ctx: 4096关键配置参数说明参数描述推荐值model使用的模型名称llama3temperature控制输出的随机性0.5-1.0num-ctx上下文窗口大小2048-40962.2 嵌入模型高级调优对于需要更高精度的场景可以通过以下代码自定义嵌入模型行为Configuration public class EmbeddingConfig { Bean public OllamaEmbeddingModel ollamaEmbeddingModel(OllamaApi ollamaApi) { return new OllamaEmbeddingModel(ollamaApi) .withDefaultOptions(OllamaOptions.create() .withModel(llama3) .withTemperature(0.7) .withNumCtx(4096)); } }3. 文本相似度计算实战3.1 嵌入向量生成原理文本嵌入是将文本转换为高维向量空间的过程相似的文本在向量空间中距离更近。Spring AI通过OllamaEmbeddingModel简化了这一过程RestController public class SimilarityController { Autowired private EmbeddingModel embeddingModel; PostMapping(/embed) public ResponseEntityListDouble getEmbedding(RequestBody String text) { EmbeddingResponse response embeddingModel.embedForResponse(List.of(text)); return ResponseEntity.ok(response.getResult().getOutput()); } }3.2 相似度计算算法实现常用的相似度计算方法包括余弦相似度和欧氏距离。以下是完整的相似度计算服务实现Service public class TextSimilarityService { Autowired private EmbeddingModel embeddingModel; public double calculateSimilarity(String text1, String text2) { // 获取两个文本的嵌入向量 ListDouble embedding1 getEmbedding(text1); ListDouble embedding2 getEmbedding(text2); // 计算余弦相似度 return cosineSimilarity(embedding1, embedding2); } private ListDouble getEmbedding(String text) { EmbeddingResponse response embeddingModel.embedForResponse(List.of(text)); return response.getResult().getOutput(); } private double cosineSimilarity(ListDouble v1, ListDouble v2) { double dotProduct 0.0; double norm1 0.0; double norm2 0.0; for (int i 0; i v1.size(); i) { dotProduct v1.get(i) * v2.get(i); norm1 Math.pow(v1.get(i), 2); norm2 Math.pow(v2.get(i), 2); } return dotProduct / (Math.sqrt(norm1) * Math.sqrt(norm2)); } }3.3 性能优化技巧批量处理同时计算多个文本对的相似度缓存机制存储常用文本的嵌入结果维度缩减使用PCA等技术降低向量维度public MapString, Double batchSimilarity(ListString texts) { // 批量获取所有文本的嵌入 EmbeddingResponse response embeddingModel.embedForResponse(texts); ListListDouble embeddings response.getResults().stream() .map(Embedding::getOutput) .collect(Collectors.toList()); // 计算所有文本对之间的相似度 MapString, Double similarityMap new HashMap(); for (int i 0; i texts.size(); i) { for (int j i 1; j texts.size(); j) { String pairKey texts.get(i) || texts.get(j); double similarity cosineSimilarity(embeddings.get(i), embeddings.get(j)); similarityMap.put(pairKey, similarity); } } return similarityMap; }4. 实际应用场景与案例4.1 文档去重系统构建一个基于相似度阈值的文档去重系统public ListString removeDuplicates(ListString documents, double threshold) { ListString uniqueDocs new ArrayList(); if (documents.isEmpty()) return uniqueDocs; uniqueDocs.add(documents.get(0)); for (int i 1; i documents.size(); i) { boolean isDuplicate false; for (String uniqueDoc : uniqueDocs) { if (calculateSimilarity(documents.get(i), uniqueDoc) threshold) { isDuplicate true; break; } } if (!isDuplicate) { uniqueDocs.add(documents.get(i)); } } return uniqueDocs; }4.2 智能问答匹配实现一个简单的问答匹配系统public String findBestAnswer(String question, MapString, String qaPairs) { String bestAnswer ; double maxSimilarity -1; for (Map.EntryString, String entry : qaPairs.entrySet()) { double similarity calculateSimilarity(question, entry.getKey()); if (similarity maxSimilarity) { maxSimilarity similarity; bestAnswer entry.getValue(); } } return maxSimilarity 0.7 ? bestAnswer : 抱歉我找不到合适的答案; }4.3 搜索结果排序增强改进传统关键词搜索的排序机制public ListDocument enhanceSearchResults(String query, ListDocument keywordResults) { // 获取查询的嵌入向量 ListDouble queryEmbedding getEmbedding(query); // 为每个文档计算语义相似度得分 keywordResults.forEach(doc - { ListDouble docEmbedding getEmbedding(doc.getContent()); double semanticScore cosineSimilarity(queryEmbedding, docEmbedding); doc.setScore(doc.getScore() * 0.7 semanticScore * 0.3); }); // 按综合得分排序 return keywordResults.stream() .sorted(Comparator.comparingDouble(Document::getScore).reversed()) .collect(Collectors.toList()); }在本地开发环境中这套解决方案相比云服务有显著优势数据处理完全在本地进行不存在隐私泄露风险响应时间更稳定不受网络波动影响长期使用成本更低。实际测试表明对于中等长度的文本相似度计算的平均响应时间可以控制在200-300毫秒以内。