如果你是一名Java开发者最近被AI浪潮冲击得有些迷茫不知道从何下手那么这篇文章就是为你准备的。我们不再空谈“AI将改变一切”而是聚焦一个具体问题一个Java技术团队如何用最低的迁移成本、最熟悉的Spring生态快速构建一个具备AI能力的业务系统答案是Spring AI LangChain4j RAG AI Agent这套组合拳。这不仅仅是几个热门框架的堆砌而是一条经过验证的、能让你在保持Java技术栈优势的同时平滑接入大模型能力的工程化路径。本文将从一个真实的“智能航空客服”场景出发为你彻底拆解这套技术栈的选型逻辑、核心概念、落地步骤以及那些官方文档里不会写的“坑”。读完本文你将能清晰地回答我的项目该不该上AI该选Spring AI还是LangChain4jRAG和Agent到底先做哪个以及如何用你熟悉的Java代码跑通第一个AI增强应用。1. 为什么Java开发者需要关注这套AI技术栈很多Java开发者对AI有误解认为那是Python和数据科学家的领域。但现实是企业核心业务系统如电商、金融、航空、客服大量基于Java构建AI能力必须无缝集成到这些现有系统中而不是推倒重来。这就是Java在AI时代的新机会。Spring AI的出现标志着Spring官方对AI应用开发范式的认可。它不是一个AI模型而是一个抽象层。就像Spring Data统一了数据库访问Spring AI旨在统一对大模型OpenAI、Azure OpenAI、Ollama等的访问。它的核心价值是让Java开发者用熟悉的Bean、Service注解和RestTemplate风格来调用AI能力无需关心底层HTTP API的细节。LangChain4j则是另一个维度的解决方案。它源自Python生态的LangChain提供了更高阶的“链”Chain和“智能体”Agent编排能力。如果说Spring AI解决了“连接”问题那么LangChain4j更擅长解决“流程”和“推理”问题。那么我们该如何选择一个简单的判断是如果你的需求是快速、标准化地集成大模型对话、文生图等基础能力到Spring Boot应用优先考虑Spring AI。它的学习曲线平缓与Spring Cloud、Security等组件集成天衣无缝。如果你的需求是构建复杂的、多步骤的AI工作流例如需要联网搜索、调用工具、进行条件判断的智能客服或者你需要高度的灵活性和对Prompt工程的精细控制LangChain4j可能更合适。而RAG和AI Agent是构建实用AI系统的两大核心架构模式。RAG解决“知识保鲜”问题让大模型能回答私有、最新的数据Agent解决“行动力”问题让大模型能调用外部工具如查数据库、发邮件来完成复杂任务。本文的实战案例“智能航空客服”将同时用到这两者用RAG接入最新的航班手册和票务规则用Agent来决策是回答问题、查询订单还是转接人工。2. 核心概念解析RAG、Agent与LangChain4j、Spring AI的关系在深入代码之前必须理清这几个容易混淆的概念。它们不是并列关系而是不同层面的抽象。2.1 RAG给大模型装上“外部知识库”是什么检索增强生成。核心流程是“提问 - 从向量数据库检索相关文档 - 将文档作为上下文喂给大模型 - 生成答案”。解决了什么问题大模型的训练数据有截止日期且不知道你的私有数据公司文档、产品手册。RAG让模型能基于你提供的、最新的、特定的知识来回答避免“胡言乱语”。关键组件文本分割器、嵌入模型Embedding Model、向量数据库如Chroma、Milvus、Redis Stack。2.2 AI Agent具备“思考”和“行动”能力的AI程序是什么一个能感知环境、进行规划、执行动作调用工具以达到目标的系统。核心是ReAct框架Reason Act。解决了什么问题大模型本身是“思想家”但不会操作现实系统。Agent通过让大模型决定“下一步该调用哪个工具”将思考转化为行动例如查天气、计算、操作数据库。关键组件LLM大脑、工具Tools、执行器Agent Executor。2.3 LangChain4j 与 Spring AI两种实现路径你可以把它们理解为构建AI应用的两种“框架”或“SDK”。特性维度Spring AILangChain4j出身Spring官方项目源自Python LangChain的Java移植核心哲学Spring生态整合优先提供统一抽象AI应用模式链、代理优先提供丰富组件主要优势与Spring Boot无缝集成配置简单学习成本低功能更全面对复杂Agent、RAG流程支持更成熟适用场景在Spring应用中快速添加AI功能构建复杂的、多步骤的AI工作流或独立AI应用向量数据库支持通过Spring Data风格Repository支持提供更丰富的原生客户端集成一个重要趋势两者正在融合。Spring AI Alibaba项目就在探索将LangChain4j的Agent、Graph工作流等概念引入Spring生态。对于Java团队最佳策略可能是“以Spring AI为基座在需要复杂编排时引入LangChain4j组件”。3. 环境准备构建智能航空客服的技术栈我们假设一个场景为某航空公司开发一个智能客服原型它能回答航班政策、行李规定等通用问题RAG也能在用户授权后查询订单状态Agent。技术栈选型与版本JDK: 17 或 21 (LTS版本)构建工具: Maven 3.6 或 Gradle 7.xSpring Boot: 3.2.x (与Spring AI版本兼容)Spring AI: 0.8.1 (请关注官方最新稳定版)LangChain4j: 0.31.0向量数据库:Chroma(轻量易于本地启动) 或Redis Stack(生产环境更常见)嵌入模型:Ollama nomic-embed-text(本地运行免费) 或OpenAI text-embedding-3-small(云端效果好)大语言模型:Ollama llama3.2(本地) 或OpenAI GPT-4o-mini(云端性价比高)其他: Lombok, Spring Web为什么选择Ollama对于学习和原型开发Ollama允许你在本地Mac/Windows/Linux上运行开源大模型和嵌入模型完全免费无需API密钥避免了网络和费用问题。生产环境再考虑切换为云服务。4. 第一步搭建基础Spring AI应用我们先从最简单的开始创建一个Spring Boot应用集成Spring AI并实现与大模型的对话。4.1 项目初始化与依赖使用 Spring Initializr 创建项目或直接配置pom.xml?xml version1.0 encodingUTF-8? project xmlnshttp://maven.apache.org/POM/4.0.0 xmlns:xsihttp://www.w3.org/2001/XMLSchema-instance xsi:schemaLocationhttp://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd modelVersion4.0.0/modelVersion parent groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-parent/artifactId version3.2.5/version relativePath/ /parent groupIdcom.example/groupId artifactIdsmart-airline-assistant/artifactId version0.0.1-SNAPSHOT/version namesmart-airline-assistant/name descriptionAI-Powered Airline Customer Service/description properties java.version17/java.version spring-ai.version0.8.1/spring-ai.version /properties dependencies !-- Spring Boot Web -- dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency !-- Spring AI OpenAI Starter (兼容Ollama的OpenAI API协议) -- dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-openai-spring-boot-starter/artifactId /dependency !-- Lombok -- dependency groupIdorg.projectlombok/groupId artifactIdlombok/artifactId optionaltrue/optional /dependency !-- 测试 -- dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-test/artifactId scopetest/scope /dependency /dependencies dependencyManagement dependencies dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-bom/artifactId version${spring-ai.version}/version typepom/type scopeimport/scope /dependency /dependencies /dependencyManagement build plugins plugin groupIdorg.springframework.boot/groupId artifactIdspring-boot-maven-plugin/artifactId configuration excludes exclude groupIdorg.projectlombok/groupId artifactIdlombok/artifactId /exclude /excludes /configuration /plugin /plugins /build /project4.2 配置Ollama本地模型首先在你的电脑上安装并启动Ollama访问 ollama.com 下载。 然后在终端拉取并运行模型# 拉取并运行一个轻量级对话模型例如llama3.2 ollama run llama3.2 # 在另一个终端拉取嵌入模型 ollama pull nomic-embed-textOllama默认会在11434端口提供兼容OpenAI API的服务。接下来配置Spring AI连接Ollama。在application.yml中spring: application: name: smart-airline-assistant ai: openai: # Ollama 兼容 OpenAI APIbase-url指向其地址 base-url: http://localhost:11434/v1 api-key: ollama # 非OpenAI官方服务可填任意非空值 chat: options: model: llama3.2 # 与ollama run使用的模型名一致 temperature: 0.74.3 实现第一个对话接口创建一个简单的Controller来测试连接// 文件路径src/main/java/com/example/assistant/controller/ChatController.java package com.example.assistant.controller; import lombok.RequiredArgsConstructor; import org.springframework.ai.chat.client.ChatClient; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; RestController RequiredArgsConstructor public class ChatController { // Spring AI 的核心入口ChatClient private final ChatClient chatClient; GetMapping(/chat) public String chat(RequestParam(value message, defaultValue 你好) String message) { return chatClient.prompt() .user(message) .call() .content(); } }启动应用访问http://localhost:8080/chat?message什么是随身行李。如果一切正常你将收到模型生成的关于随身行李的解释。这证明你的Spring AI基础环境已就绪。5. 核心实战为客服系统注入专业知识RAG实现现在我们要让客服能回答航空公司的具体规定。假设我们有一份《旅客行李运输规定》PDF文档。目标是将文档内容处理后让模型能基于它来回答。5.1 引入向量数据库与Embedding依赖我们选择Chroma作为向量数据库因为它简单。修改pom.xml添加依赖!-- Spring AI Chroma 向量存储 -- dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-chroma-store-spring-boot-starter/artifactId /dependency !-- 如果使用Redis Stack则用下面这个 -- !-- dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-redis-store-spring-boot-starter/artifactId /dependency --同时需要配置Embedding模型。我们使用Ollama的nomic-embed-text模型。在application.yml中追加spring: ai: openai: embedding: options: model: nomic-embed-text # Ollama中的嵌入模型名称 vectorstore: chroma: # ChromaDB默认运行在本地8000端口 embedding-dimension: 768 # nomic-embed-text模型的维度需查阅模型文档确认5.2 文档加载、分割与向量化创建一个服务负责将知识文档“灌入”向量数据库。// 文件路径src/main/java/com/example/assistant/service/RagService.java package com.example.assistant.service; import jakarta.annotation.PostConstruct; import lombok.RequiredArgsConstructor; import lombok.extern.slf4j.Slf4j; import org.springframework.ai.document.Document; import org.springframework.ai.reader.TextReader; import org.springframework.ai.transformer.splitter.TokenTextSplitter; import org.springframework.ai.vectorstore.VectorStore; import org.springframework.core.io.Resource; import org.springframework.core.io.ResourceLoader; import org.springframework.stereotype.Service; import java.io.IOException; import java.nio.charset.StandardCharsets; import java.util.List; Service Slf4j RequiredArgsConstructor public class RagService { private final VectorStore vectorStore; private final ResourceLoader resourceLoader; // 应用启动时初始化知识库生产环境应有更优雅的触发方式 PostConstruct public void initKnowledgeBase() { try { // 1. 加载文档这里以txt为例PDF需使用PdfReader Resource resource resourceLoader.getResource(classpath:knowledge/行李规定.txt); TextReader textReader new TextReader(resource); textReader.setCharset(StandardCharsets.UTF_8.name()); ListDocument documents textReader.get(); // 2. 分割文档按Token数分割防止超出模型上下文 TokenTextSplitter splitter new TokenTextSplitter(); ListDocument splitDocuments splitter.apply(documents); // 3. 向量化并存储到Chroma vectorStore.add(splitDocuments); log.info(成功加载 {} 个文档片段到向量数据库。, splitDocuments.size()); } catch (IOException e) { log.error(加载知识库文档失败, e); } } }在src/main/resources/knowledge/目录下创建行李规定.txt内容示例随身行李规定经济舱旅客可携带一件随身行李尺寸不超过55cm x 40cm x 20cm重量不超过7公斤。 托运行李规定经济舱免费托运额度为20公斤超重部分按每公斤票面价的1.5%收取费用。 危险品任何锂电池设备如充电宝必须随身携带禁止托运。 航班延误补偿因承运人原因延误4小时以上提供餐食住宿延误8小时以上提供经济补偿。5.3 实现RAG问答接口现在我们可以创建一个结合了检索和生成的智能问答接口。// 文件路径src/main/java/com/example/assistant/controller/RagController.java package com.example.assistant.controller; import lombok.RequiredArgsConstructor; import org.springframework.ai.chat.client.ChatClient; import org.springframework.ai.chat.client.advisor.SimpleVectorStoreAdvisor; import org.springframework.ai.chat.model.ChatResponse; import org.springframework.ai.vectorstore.VectorStore; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; RestController RequiredArgsConstructor public class RagController { private final ChatClient chatClient; private final VectorStore vectorStore; GetMapping(/rag/ask) public String ask(RequestParam String question) { // 关键使用SimpleVectorStoreAdvisor在对话前自动检索相关文档 ChatResponse response chatClient.prompt() .advisors(new SimpleVectorStoreAdvisor(vectorStore)) // 注入检索逻辑 .user(u - u.text(question) .param(similarityThreshold, 0.7) // 相似度阈值过滤不相关结果 ) .call() .chatResponse(); return response.getResult().getOutput().getContent(); } }访问http://localhost:8080/rag/ask?question充电宝可以托运吗。模型会先从向量库中检索出关于“危险品”和“锂电池”的文档片段然后结合这些上下文生成答案“根据规定任何锂电池设备如充电宝必须随身携带禁止托运。” 答案准确且源自你的知识库。6. 进阶让客服拥有“行动力”AI Agent实现RAG让客服有了知识但客服还需要行动比如帮用户查询订单。这就需要AI Agent。这里我们引入LangChain4j来实现一个更复杂的Agent。6.1 添加LangChain4j依赖在pom.xml中加入!-- LangChain4j 核心 -- dependency groupIddev.langchain4j/groupId artifactIdlangchain4j/artifactId version0.31.0/version /dependency !-- LangChain4j Spring Boot Starter -- dependency groupIddev.langchain4j/groupId artifactIdlangchain4j-spring-boot-starter/artifactId version0.31.0/version /dependency !-- 使用Ollama需要OpenAI兼容的模块 -- dependency groupIddev.langchain4j/groupId artifactIdlangchain4j-ollama/artifactId version0.31.0/version /dependency6.2 定义Agent的工具Tools工具是Agent的手和脚。我们模拟一个查询订单状态的工具。// 文件路径src/main/java/com/example/assistant/agent/tool/OrderQueryTool.java package com.example.assistant.agent.tool; import dev.langchain4j.agent.tool.Tool; import lombok.extern.slf4j.Slf4j; import org.springframework.stereotype.Component; import java.time.LocalDateTime; import java.util.HashMap; import java.util.Map; Component Slf4j public class OrderQueryTool { // 模拟一个订单数据库 private static final MapString, String ORDER_DB new HashMap(); static { ORDER_DB.put(ORD123456, 状态已出票航班CA1234时间2024-06-01 10:00座位12A); ORDER_DB.put(ORD789012, 状态值机完成航班MU5678时间2024-06-02 14:30座位08C); } /** * 定义一个供AI Agent调用的工具。 * Tool注解是关键name和description会被模型理解。 */ Tool(name queryOrderStatus, description 根据订单号查询航班订单的当前状态、航班信息和座位号。) public String queryOrderStatus(Tool(用户的订单号例如 ORD123456) String orderNumber) { log.info([工具调用] 查询订单状态订单号: {}, orderNumber); // 模拟查询耗时 try { Thread.sleep(500); } catch (InterruptedException e) { Thread.currentThread().interrupt(); } String status ORDER_DB.getOrDefault(orderNumber, 错误未找到该订单号。请确认订单号是否正确。); return String.format(订单 %s 的查询结果%s (查询时间%s), orderNumber, status, LocalDateTime.now()); } }6.3 配置并创建AI Agent我们需要配置LangChain4j让它使用Ollama模型并识别我们定义的Tool。// 文件路径src/main/java/com/example/assistant/agent/AirlineAgent.java package com.example.assistant.agent; import dev.langchain4j.service.SystemMessage; import dev.langchain4j.service.UserMessage; import dev.langchain4j.service.V; import dev.langchain4j.service.spring.AiService; // 使用AiService注解LangChain4j会自动创建代理实现类 AiService public interface AirlineAgent { // SystemMessage设定Agent的角色和基础规则 SystemMessage( 你是一个专业的航空客服智能助手。 你的能力包括 1. 回答关于行李规定、航班政策、退改签规则等通用问题基于你的知识。 2. 在用户提供订单号后调用工具查询具体的订单状态。 3. 如果问题超出你的能力范围或需要人工介入礼貌地建议用户联系人工客服。 请根据用户问题的性质决定是直接回答还是调用工具。 调用工具时必须确保用户提供了准确的订单号。 ) String chat(UserMessage String userMessage); }配置LangChain4j的连接属性在application.yml中追加langchain4j: ollama: chat-model: base-url: http://localhost:11434 model-name: llama3.2 temperature: 0.7 timeout: 120s6.4 创建Agent服务并测试创建一个Service来封装Agent的调用。// 文件路径src/main/java/com/example/assistant/service/AgentService.java package com.example.assistant.service; import com.example.assistant.agent.AirlineAgent; import lombok.RequiredArgsConstructor; import lombok.extern.slf4j.Slf4j; import org.springframework.stereotype.Service; Service Slf4j RequiredArgsConstructor public class AgentService { private final AirlineAgent agent; public String processQuery(String userInput) { log.info(用户查询: {}, userInput); String response agent.chat(userInput); log.info(Agent回复: {}, response); return response; } }最后创建一个Controller来暴露Agent接口。// 文件路径src/main/java/com/example/assistant/controller/AgentController.java package com.example.assistant.controller; import com.example.assistant.service.AgentService; import lombok.RequiredArgsConstructor; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; RestController RequiredArgsConstructor public class AgentController { private final AgentService agentService; GetMapping(/agent/chat) public String chat(RequestParam String message) { return agentService.processQuery(message); } }现在进行终极测试访问http://localhost:8080/agent/chat?message我的订单号是ORD123456现在状态怎么样预期Agent会识别出需要调用queryOrderStatus工具并返回具体的订单信息。访问http://localhost:8080/agent/chat?message随身行李可以带多大预期Agent发现这是一个通用知识问题会直接调用其内在的LLM知识或结合RAG见下文来回答。访问http://localhost:8080/agent/chat?message我要改签航班。预期Agent识别此操作复杂可能会回复“改签航班涉及具体票务规则和费用为了给您最准确的处理建议您直接联系我们的24小时人工客服。”7. 融合架构RAG Agent 的智能客服单独的RAG和Agent能力都不够完美。理想状态是Agent作为大脑决定做什么RAG作为记忆库提供专业知识。我们可以将两者结合。一种简单而有效的模式是在Agent的SystemMessage中动态注入从RAG检索到的相关知识。这需要稍微改造一下我们的服务。// 文件路径src/main/java/com/example/assistant/service/EnhancedAgentService.java package com.example.assistant.service; import com.example.assistant.agent.AirlineAgent; import dev.langchain4j.data.message.SystemMessage; import dev.langchain4j.data.message.UserMessage; import dev.langchain4j.model.chat.ChatLanguageModel; import dev.langchain4j.service.AiServices; import dev.langchain4j.service.TokenStream; import lombok.RequiredArgsConstructor; import org.springframework.ai.vectorstore.VectorStore; import org.springframework.stereotype.Service; import java.util.List; Service RequiredArgsConstructor public class EnhancedAgentService { private final ChatLanguageModel chatModel; // LangChain4j注入的模型 private final VectorStore vectorStore; // Spring AI的向量库 private final OrderQueryTool orderQueryTool; // 工具Bean public String enhancedChat(String userInput) { // 1. 先用RAG检索相关知识 Listorg.springframework.ai.document.Document relevantDocs vectorStore.similaritySearch(userInput); String knowledgeContext relevantDocs.stream() .map(doc - doc.getContent()) .reduce(, (a, b) - a \n\n b); // 2. 动态构建增强版的System Prompt String systemPrompt 你是一个专业的航空客服智能助手。 以下是公司的现行规定请严格依据此内容回答 %s 你的能力还包括 1. 在用户提供订单号后调用工具查询具体的订单状态。 2. 如果问题超出上述规定和你的能力范围礼貌地建议用户联系人工客服。 请先根据上述规定回答问题。如果涉及订单查询再调用工具。 .formatted(knowledgeContext); // 3. 动态创建注入知识的Agent AirlineAgent agent AiServices.builder(AirlineAgent.class) .chatLanguageModel(chatModel) .tools(orderQueryTool) .systemMessageProvider(ignore - SystemMessage.from(systemPrompt)) // 动态系统消息 .build(); // 4. 调用Agent return agent.chat(userInput); } }这样当用户问“充电宝能托运吗”Agent会先拿到RAG检索出的“禁止托运”规定然后生成准确回答。当用户问“我的订单ORD123456状态”Agent会忽略无关规定直接调用工具。这便是一个具备“专业知识”和“行动力”的初级智能客服。8. 常见问题与排查思路在整合这套技术栈时你几乎一定会遇到以下问题问题现象可能原因排查方式解决方案启动报错No qualifying bean of type ChatClientSpring AI 自动配置未生效或依赖冲突1. 检查pom.xml中spring-ai-openai-starter依赖。2. 检查application.yml中spring.ai.openai配置是否正确。3. 查看启动日志是否有AI相关配置加载。确保父POM中正确import了spring-ai-bom。确认base-url和api-key配置无误Ollama下api-key可设为任意非空字符串。访问/chat接口超时或连接拒绝Ollama服务未启动或模型未加载1. 在终端执行ollama list查看模型是否存在。2. 执行curl http://localhost:11434/api/tags测试Ollama API是否通畅。1. 运行ollama run llama3.2确保模型在运行。2. 检查Spring配置的base-url是否为http://localhost:11434/v1。RAG检索结果不相关回答不准1. 嵌入模型不匹配。2. 文本分割不合理。3. 相似度阈值设置不当。1. 检查spring.ai.openai.embedding.options.model是否与Ollama中拉取的嵌入模型名一致。2. 查看分割后的文档片段是否过碎或过长。3. 调整SimpleVectorStoreAdvisor的similarityThreshold参数。1. 确认使用适合的嵌入模型如nomic-embed-text。2. 调整TokenTextSplitter的maxSegmentSize等参数。3. 将阈值从0.7逐步调高如0.8以过滤不相关内容。Agent不调用工具总是直接回答1. 模型能力不足无法理解工具描述。2.Tool注解描述不清。3. 系统提示词未明确指示使用工具。1. 用简单问题测试工具调用如直接说“调用queryOrderStatus工具查ORD123456”。2. 检查工具方法的description和参数Tool注解是否清晰。3. 查看SystemMessage是否鼓励使用工具。1. 尝试能力更强的模型如llama3.1:8b或GPT系列。2. 优化工具描述明确输入输出。3. 在系统提示词中加入“当你需要查询订单时必须调用queryOrderStatus工具”。LangChain4j 与 Spring AI 冲突两者都自动配置了ChatModel或EmbeddingModel等Bean。查看启动日志是否有BeanDefinitionOverrideException或相关Warn。在application.yml中通过spring.main.allow-bean-definition-overridingtrue允许覆盖临时方案。或仔细排除其中一个starter的自动配置类。Chroma 连接失败Chroma服务未启动。检查Docker容器或本地Chroma进程是否运行在localhost:8000。使用Docker快速启动docker run -p 8000:8000 chromadb/chroma9. 生产环境最佳实践与建议将原型推进到生产环境你需要考虑更多模型部署本地化对于高数据隐私要求坚持使用Ollama部署本地模型但需准备充足的GPU资源。云端化对于稳定性和性能要求高切换为阿里云灵积、百度千帆、OpenAI等商用API。只需修改配置中的base-url和api-key。向量数据库选型开发/测试Chroma足够轻量。生产环境优先考虑Redis Stack性能好易集成、PgVector与PostgreSQL生态好或Milvus专为大规模向量检索设计。系统提示词工程将提示词模板化、外部化如存数据库或配置中心便于运营人员调整而不需发版。为不同客服场景票务、行李、投诉设计不同的SystemMessage通过路由选择。Agent流程管控为工具调用设置权限校验如查询订单前先验证用户身份。实现对话历史管理让Agent具备多轮对话能力。设计兜底策略当Agent多次尝试失败或用户表达不满时平滑转接人工。监控与评估记录每一次用户提问、RAG检索片段、Agent思考过程Chain-of-Thought和最终回复。这对优化提示词和知识库至关重要。定义业务指标如问题解决率、转人工率来评估AI客服的效果。安全与合规输入输出过滤对用户输入和模型输出进行敏感词过滤和内容审核。权限控制工具调用如订单查询必须绑定严格的用户会话和权限验证。数据隐私确保知识库文档不包含敏感信息向量数据库访问受控。对于Java团队而言拥抱AI不是要转向Python而是用熟悉的Spring生态去集成和驾驭AI能力。从本文的“智能航空客服”原型出发你可以将RAG扩展到产品手册、故障知识库将Agent的能力扩展到库存查询、工单创建、数据可视化生成等更多业务工具。技术栈是固定的但结合业务场景的想象力才是关键。建议你从本地Ollama环境开始跑通整个流程再逐步替换为云服务并优化架构。这套组合拳足以让你在企业的AI化升级中占据有利位置。 Java团队如何用Spring AI与LangChain4j构建RAG与AI Agent应用
如果你是一名Java开发者最近被AI浪潮冲击得有些迷茫不知道从何下手那么这篇文章就是为你准备的。我们不再空谈“AI将改变一切”而是聚焦一个具体问题一个Java技术团队如何用最低的迁移成本、最熟悉的Spring生态快速构建一个具备AI能力的业务系统答案是Spring AI LangChain4j RAG AI Agent这套组合拳。这不仅仅是几个热门框架的堆砌而是一条经过验证的、能让你在保持Java技术栈优势的同时平滑接入大模型能力的工程化路径。本文将从一个真实的“智能航空客服”场景出发为你彻底拆解这套技术栈的选型逻辑、核心概念、落地步骤以及那些官方文档里不会写的“坑”。读完本文你将能清晰地回答我的项目该不该上AI该选Spring AI还是LangChain4jRAG和Agent到底先做哪个以及如何用你熟悉的Java代码跑通第一个AI增强应用。1. 为什么Java开发者需要关注这套AI技术栈很多Java开发者对AI有误解认为那是Python和数据科学家的领域。但现实是企业核心业务系统如电商、金融、航空、客服大量基于Java构建AI能力必须无缝集成到这些现有系统中而不是推倒重来。这就是Java在AI时代的新机会。Spring AI的出现标志着Spring官方对AI应用开发范式的认可。它不是一个AI模型而是一个抽象层。就像Spring Data统一了数据库访问Spring AI旨在统一对大模型OpenAI、Azure OpenAI、Ollama等的访问。它的核心价值是让Java开发者用熟悉的Bean、Service注解和RestTemplate风格来调用AI能力无需关心底层HTTP API的细节。LangChain4j则是另一个维度的解决方案。它源自Python生态的LangChain提供了更高阶的“链”Chain和“智能体”Agent编排能力。如果说Spring AI解决了“连接”问题那么LangChain4j更擅长解决“流程”和“推理”问题。那么我们该如何选择一个简单的判断是如果你的需求是快速、标准化地集成大模型对话、文生图等基础能力到Spring Boot应用优先考虑Spring AI。它的学习曲线平缓与Spring Cloud、Security等组件集成天衣无缝。如果你的需求是构建复杂的、多步骤的AI工作流例如需要联网搜索、调用工具、进行条件判断的智能客服或者你需要高度的灵活性和对Prompt工程的精细控制LangChain4j可能更合适。而RAG和AI Agent是构建实用AI系统的两大核心架构模式。RAG解决“知识保鲜”问题让大模型能回答私有、最新的数据Agent解决“行动力”问题让大模型能调用外部工具如查数据库、发邮件来完成复杂任务。本文的实战案例“智能航空客服”将同时用到这两者用RAG接入最新的航班手册和票务规则用Agent来决策是回答问题、查询订单还是转接人工。2. 核心概念解析RAG、Agent与LangChain4j、Spring AI的关系在深入代码之前必须理清这几个容易混淆的概念。它们不是并列关系而是不同层面的抽象。2.1 RAG给大模型装上“外部知识库”是什么检索增强生成。核心流程是“提问 - 从向量数据库检索相关文档 - 将文档作为上下文喂给大模型 - 生成答案”。解决了什么问题大模型的训练数据有截止日期且不知道你的私有数据公司文档、产品手册。RAG让模型能基于你提供的、最新的、特定的知识来回答避免“胡言乱语”。关键组件文本分割器、嵌入模型Embedding Model、向量数据库如Chroma、Milvus、Redis Stack。2.2 AI Agent具备“思考”和“行动”能力的AI程序是什么一个能感知环境、进行规划、执行动作调用工具以达到目标的系统。核心是ReAct框架Reason Act。解决了什么问题大模型本身是“思想家”但不会操作现实系统。Agent通过让大模型决定“下一步该调用哪个工具”将思考转化为行动例如查天气、计算、操作数据库。关键组件LLM大脑、工具Tools、执行器Agent Executor。2.3 LangChain4j 与 Spring AI两种实现路径你可以把它们理解为构建AI应用的两种“框架”或“SDK”。特性维度Spring AILangChain4j出身Spring官方项目源自Python LangChain的Java移植核心哲学Spring生态整合优先提供统一抽象AI应用模式链、代理优先提供丰富组件主要优势与Spring Boot无缝集成配置简单学习成本低功能更全面对复杂Agent、RAG流程支持更成熟适用场景在Spring应用中快速添加AI功能构建复杂的、多步骤的AI工作流或独立AI应用向量数据库支持通过Spring Data风格Repository支持提供更丰富的原生客户端集成一个重要趋势两者正在融合。Spring AI Alibaba项目就在探索将LangChain4j的Agent、Graph工作流等概念引入Spring生态。对于Java团队最佳策略可能是“以Spring AI为基座在需要复杂编排时引入LangChain4j组件”。3. 环境准备构建智能航空客服的技术栈我们假设一个场景为某航空公司开发一个智能客服原型它能回答航班政策、行李规定等通用问题RAG也能在用户授权后查询订单状态Agent。技术栈选型与版本JDK: 17 或 21 (LTS版本)构建工具: Maven 3.6 或 Gradle 7.xSpring Boot: 3.2.x (与Spring AI版本兼容)Spring AI: 0.8.1 (请关注官方最新稳定版)LangChain4j: 0.31.0向量数据库:Chroma(轻量易于本地启动) 或Redis Stack(生产环境更常见)嵌入模型:Ollama nomic-embed-text(本地运行免费) 或OpenAI text-embedding-3-small(云端效果好)大语言模型:Ollama llama3.2(本地) 或OpenAI GPT-4o-mini(云端性价比高)其他: Lombok, Spring Web为什么选择Ollama对于学习和原型开发Ollama允许你在本地Mac/Windows/Linux上运行开源大模型和嵌入模型完全免费无需API密钥避免了网络和费用问题。生产环境再考虑切换为云服务。4. 第一步搭建基础Spring AI应用我们先从最简单的开始创建一个Spring Boot应用集成Spring AI并实现与大模型的对话。4.1 项目初始化与依赖使用 Spring Initializr 创建项目或直接配置pom.xml?xml version1.0 encodingUTF-8? project xmlnshttp://maven.apache.org/POM/4.0.0 xmlns:xsihttp://www.w3.org/2001/XMLSchema-instance xsi:schemaLocationhttp://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd modelVersion4.0.0/modelVersion parent groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-parent/artifactId version3.2.5/version relativePath/ /parent groupIdcom.example/groupId artifactIdsmart-airline-assistant/artifactId version0.0.1-SNAPSHOT/version namesmart-airline-assistant/name descriptionAI-Powered Airline Customer Service/description properties java.version17/java.version spring-ai.version0.8.1/spring-ai.version /properties dependencies !-- Spring Boot Web -- dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency !-- Spring AI OpenAI Starter (兼容Ollama的OpenAI API协议) -- dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-openai-spring-boot-starter/artifactId /dependency !-- Lombok -- dependency groupIdorg.projectlombok/groupId artifactIdlombok/artifactId optionaltrue/optional /dependency !-- 测试 -- dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-test/artifactId scopetest/scope /dependency /dependencies dependencyManagement dependencies dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-bom/artifactId version${spring-ai.version}/version typepom/type scopeimport/scope /dependency /dependencies /dependencyManagement build plugins plugin groupIdorg.springframework.boot/groupId artifactIdspring-boot-maven-plugin/artifactId configuration excludes exclude groupIdorg.projectlombok/groupId artifactIdlombok/artifactId /exclude /excludes /configuration /plugin /plugins /build /project4.2 配置Ollama本地模型首先在你的电脑上安装并启动Ollama访问 ollama.com 下载。 然后在终端拉取并运行模型# 拉取并运行一个轻量级对话模型例如llama3.2 ollama run llama3.2 # 在另一个终端拉取嵌入模型 ollama pull nomic-embed-textOllama默认会在11434端口提供兼容OpenAI API的服务。接下来配置Spring AI连接Ollama。在application.yml中spring: application: name: smart-airline-assistant ai: openai: # Ollama 兼容 OpenAI APIbase-url指向其地址 base-url: http://localhost:11434/v1 api-key: ollama # 非OpenAI官方服务可填任意非空值 chat: options: model: llama3.2 # 与ollama run使用的模型名一致 temperature: 0.74.3 实现第一个对话接口创建一个简单的Controller来测试连接// 文件路径src/main/java/com/example/assistant/controller/ChatController.java package com.example.assistant.controller; import lombok.RequiredArgsConstructor; import org.springframework.ai.chat.client.ChatClient; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; RestController RequiredArgsConstructor public class ChatController { // Spring AI 的核心入口ChatClient private final ChatClient chatClient; GetMapping(/chat) public String chat(RequestParam(value message, defaultValue 你好) String message) { return chatClient.prompt() .user(message) .call() .content(); } }启动应用访问http://localhost:8080/chat?message什么是随身行李。如果一切正常你将收到模型生成的关于随身行李的解释。这证明你的Spring AI基础环境已就绪。5. 核心实战为客服系统注入专业知识RAG实现现在我们要让客服能回答航空公司的具体规定。假设我们有一份《旅客行李运输规定》PDF文档。目标是将文档内容处理后让模型能基于它来回答。5.1 引入向量数据库与Embedding依赖我们选择Chroma作为向量数据库因为它简单。修改pom.xml添加依赖!-- Spring AI Chroma 向量存储 -- dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-chroma-store-spring-boot-starter/artifactId /dependency !-- 如果使用Redis Stack则用下面这个 -- !-- dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-redis-store-spring-boot-starter/artifactId /dependency --同时需要配置Embedding模型。我们使用Ollama的nomic-embed-text模型。在application.yml中追加spring: ai: openai: embedding: options: model: nomic-embed-text # Ollama中的嵌入模型名称 vectorstore: chroma: # ChromaDB默认运行在本地8000端口 embedding-dimension: 768 # nomic-embed-text模型的维度需查阅模型文档确认5.2 文档加载、分割与向量化创建一个服务负责将知识文档“灌入”向量数据库。// 文件路径src/main/java/com/example/assistant/service/RagService.java package com.example.assistant.service; import jakarta.annotation.PostConstruct; import lombok.RequiredArgsConstructor; import lombok.extern.slf4j.Slf4j; import org.springframework.ai.document.Document; import org.springframework.ai.reader.TextReader; import org.springframework.ai.transformer.splitter.TokenTextSplitter; import org.springframework.ai.vectorstore.VectorStore; import org.springframework.core.io.Resource; import org.springframework.core.io.ResourceLoader; import org.springframework.stereotype.Service; import java.io.IOException; import java.nio.charset.StandardCharsets; import java.util.List; Service Slf4j RequiredArgsConstructor public class RagService { private final VectorStore vectorStore; private final ResourceLoader resourceLoader; // 应用启动时初始化知识库生产环境应有更优雅的触发方式 PostConstruct public void initKnowledgeBase() { try { // 1. 加载文档这里以txt为例PDF需使用PdfReader Resource resource resourceLoader.getResource(classpath:knowledge/行李规定.txt); TextReader textReader new TextReader(resource); textReader.setCharset(StandardCharsets.UTF_8.name()); ListDocument documents textReader.get(); // 2. 分割文档按Token数分割防止超出模型上下文 TokenTextSplitter splitter new TokenTextSplitter(); ListDocument splitDocuments splitter.apply(documents); // 3. 向量化并存储到Chroma vectorStore.add(splitDocuments); log.info(成功加载 {} 个文档片段到向量数据库。, splitDocuments.size()); } catch (IOException e) { log.error(加载知识库文档失败, e); } } }在src/main/resources/knowledge/目录下创建行李规定.txt内容示例随身行李规定经济舱旅客可携带一件随身行李尺寸不超过55cm x 40cm x 20cm重量不超过7公斤。 托运行李规定经济舱免费托运额度为20公斤超重部分按每公斤票面价的1.5%收取费用。 危险品任何锂电池设备如充电宝必须随身携带禁止托运。 航班延误补偿因承运人原因延误4小时以上提供餐食住宿延误8小时以上提供经济补偿。5.3 实现RAG问答接口现在我们可以创建一个结合了检索和生成的智能问答接口。// 文件路径src/main/java/com/example/assistant/controller/RagController.java package com.example.assistant.controller; import lombok.RequiredArgsConstructor; import org.springframework.ai.chat.client.ChatClient; import org.springframework.ai.chat.client.advisor.SimpleVectorStoreAdvisor; import org.springframework.ai.chat.model.ChatResponse; import org.springframework.ai.vectorstore.VectorStore; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; RestController RequiredArgsConstructor public class RagController { private final ChatClient chatClient; private final VectorStore vectorStore; GetMapping(/rag/ask) public String ask(RequestParam String question) { // 关键使用SimpleVectorStoreAdvisor在对话前自动检索相关文档 ChatResponse response chatClient.prompt() .advisors(new SimpleVectorStoreAdvisor(vectorStore)) // 注入检索逻辑 .user(u - u.text(question) .param(similarityThreshold, 0.7) // 相似度阈值过滤不相关结果 ) .call() .chatResponse(); return response.getResult().getOutput().getContent(); } }访问http://localhost:8080/rag/ask?question充电宝可以托运吗。模型会先从向量库中检索出关于“危险品”和“锂电池”的文档片段然后结合这些上下文生成答案“根据规定任何锂电池设备如充电宝必须随身携带禁止托运。” 答案准确且源自你的知识库。6. 进阶让客服拥有“行动力”AI Agent实现RAG让客服有了知识但客服还需要行动比如帮用户查询订单。这就需要AI Agent。这里我们引入LangChain4j来实现一个更复杂的Agent。6.1 添加LangChain4j依赖在pom.xml中加入!-- LangChain4j 核心 -- dependency groupIddev.langchain4j/groupId artifactIdlangchain4j/artifactId version0.31.0/version /dependency !-- LangChain4j Spring Boot Starter -- dependency groupIddev.langchain4j/groupId artifactIdlangchain4j-spring-boot-starter/artifactId version0.31.0/version /dependency !-- 使用Ollama需要OpenAI兼容的模块 -- dependency groupIddev.langchain4j/groupId artifactIdlangchain4j-ollama/artifactId version0.31.0/version /dependency6.2 定义Agent的工具Tools工具是Agent的手和脚。我们模拟一个查询订单状态的工具。// 文件路径src/main/java/com/example/assistant/agent/tool/OrderQueryTool.java package com.example.assistant.agent.tool; import dev.langchain4j.agent.tool.Tool; import lombok.extern.slf4j.Slf4j; import org.springframework.stereotype.Component; import java.time.LocalDateTime; import java.util.HashMap; import java.util.Map; Component Slf4j public class OrderQueryTool { // 模拟一个订单数据库 private static final MapString, String ORDER_DB new HashMap(); static { ORDER_DB.put(ORD123456, 状态已出票航班CA1234时间2024-06-01 10:00座位12A); ORDER_DB.put(ORD789012, 状态值机完成航班MU5678时间2024-06-02 14:30座位08C); } /** * 定义一个供AI Agent调用的工具。 * Tool注解是关键name和description会被模型理解。 */ Tool(name queryOrderStatus, description 根据订单号查询航班订单的当前状态、航班信息和座位号。) public String queryOrderStatus(Tool(用户的订单号例如 ORD123456) String orderNumber) { log.info([工具调用] 查询订单状态订单号: {}, orderNumber); // 模拟查询耗时 try { Thread.sleep(500); } catch (InterruptedException e) { Thread.currentThread().interrupt(); } String status ORDER_DB.getOrDefault(orderNumber, 错误未找到该订单号。请确认订单号是否正确。); return String.format(订单 %s 的查询结果%s (查询时间%s), orderNumber, status, LocalDateTime.now()); } }6.3 配置并创建AI Agent我们需要配置LangChain4j让它使用Ollama模型并识别我们定义的Tool。// 文件路径src/main/java/com/example/assistant/agent/AirlineAgent.java package com.example.assistant.agent; import dev.langchain4j.service.SystemMessage; import dev.langchain4j.service.UserMessage; import dev.langchain4j.service.V; import dev.langchain4j.service.spring.AiService; // 使用AiService注解LangChain4j会自动创建代理实现类 AiService public interface AirlineAgent { // SystemMessage设定Agent的角色和基础规则 SystemMessage( 你是一个专业的航空客服智能助手。 你的能力包括 1. 回答关于行李规定、航班政策、退改签规则等通用问题基于你的知识。 2. 在用户提供订单号后调用工具查询具体的订单状态。 3. 如果问题超出你的能力范围或需要人工介入礼貌地建议用户联系人工客服。 请根据用户问题的性质决定是直接回答还是调用工具。 调用工具时必须确保用户提供了准确的订单号。 ) String chat(UserMessage String userMessage); }配置LangChain4j的连接属性在application.yml中追加langchain4j: ollama: chat-model: base-url: http://localhost:11434 model-name: llama3.2 temperature: 0.7 timeout: 120s6.4 创建Agent服务并测试创建一个Service来封装Agent的调用。// 文件路径src/main/java/com/example/assistant/service/AgentService.java package com.example.assistant.service; import com.example.assistant.agent.AirlineAgent; import lombok.RequiredArgsConstructor; import lombok.extern.slf4j.Slf4j; import org.springframework.stereotype.Service; Service Slf4j RequiredArgsConstructor public class AgentService { private final AirlineAgent agent; public String processQuery(String userInput) { log.info(用户查询: {}, userInput); String response agent.chat(userInput); log.info(Agent回复: {}, response); return response; } }最后创建一个Controller来暴露Agent接口。// 文件路径src/main/java/com/example/assistant/controller/AgentController.java package com.example.assistant.controller; import com.example.assistant.service.AgentService; import lombok.RequiredArgsConstructor; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; RestController RequiredArgsConstructor public class AgentController { private final AgentService agentService; GetMapping(/agent/chat) public String chat(RequestParam String message) { return agentService.processQuery(message); } }现在进行终极测试访问http://localhost:8080/agent/chat?message我的订单号是ORD123456现在状态怎么样预期Agent会识别出需要调用queryOrderStatus工具并返回具体的订单信息。访问http://localhost:8080/agent/chat?message随身行李可以带多大预期Agent发现这是一个通用知识问题会直接调用其内在的LLM知识或结合RAG见下文来回答。访问http://localhost:8080/agent/chat?message我要改签航班。预期Agent识别此操作复杂可能会回复“改签航班涉及具体票务规则和费用为了给您最准确的处理建议您直接联系我们的24小时人工客服。”7. 融合架构RAG Agent 的智能客服单独的RAG和Agent能力都不够完美。理想状态是Agent作为大脑决定做什么RAG作为记忆库提供专业知识。我们可以将两者结合。一种简单而有效的模式是在Agent的SystemMessage中动态注入从RAG检索到的相关知识。这需要稍微改造一下我们的服务。// 文件路径src/main/java/com/example/assistant/service/EnhancedAgentService.java package com.example.assistant.service; import com.example.assistant.agent.AirlineAgent; import dev.langchain4j.data.message.SystemMessage; import dev.langchain4j.data.message.UserMessage; import dev.langchain4j.model.chat.ChatLanguageModel; import dev.langchain4j.service.AiServices; import dev.langchain4j.service.TokenStream; import lombok.RequiredArgsConstructor; import org.springframework.ai.vectorstore.VectorStore; import org.springframework.stereotype.Service; import java.util.List; Service RequiredArgsConstructor public class EnhancedAgentService { private final ChatLanguageModel chatModel; // LangChain4j注入的模型 private final VectorStore vectorStore; // Spring AI的向量库 private final OrderQueryTool orderQueryTool; // 工具Bean public String enhancedChat(String userInput) { // 1. 先用RAG检索相关知识 Listorg.springframework.ai.document.Document relevantDocs vectorStore.similaritySearch(userInput); String knowledgeContext relevantDocs.stream() .map(doc - doc.getContent()) .reduce(, (a, b) - a \n\n b); // 2. 动态构建增强版的System Prompt String systemPrompt 你是一个专业的航空客服智能助手。 以下是公司的现行规定请严格依据此内容回答 %s 你的能力还包括 1. 在用户提供订单号后调用工具查询具体的订单状态。 2. 如果问题超出上述规定和你的能力范围礼貌地建议用户联系人工客服。 请先根据上述规定回答问题。如果涉及订单查询再调用工具。 .formatted(knowledgeContext); // 3. 动态创建注入知识的Agent AirlineAgent agent AiServices.builder(AirlineAgent.class) .chatLanguageModel(chatModel) .tools(orderQueryTool) .systemMessageProvider(ignore - SystemMessage.from(systemPrompt)) // 动态系统消息 .build(); // 4. 调用Agent return agent.chat(userInput); } }这样当用户问“充电宝能托运吗”Agent会先拿到RAG检索出的“禁止托运”规定然后生成准确回答。当用户问“我的订单ORD123456状态”Agent会忽略无关规定直接调用工具。这便是一个具备“专业知识”和“行动力”的初级智能客服。8. 常见问题与排查思路在整合这套技术栈时你几乎一定会遇到以下问题问题现象可能原因排查方式解决方案启动报错No qualifying bean of type ChatClientSpring AI 自动配置未生效或依赖冲突1. 检查pom.xml中spring-ai-openai-starter依赖。2. 检查application.yml中spring.ai.openai配置是否正确。3. 查看启动日志是否有AI相关配置加载。确保父POM中正确import了spring-ai-bom。确认base-url和api-key配置无误Ollama下api-key可设为任意非空字符串。访问/chat接口超时或连接拒绝Ollama服务未启动或模型未加载1. 在终端执行ollama list查看模型是否存在。2. 执行curl http://localhost:11434/api/tags测试Ollama API是否通畅。1. 运行ollama run llama3.2确保模型在运行。2. 检查Spring配置的base-url是否为http://localhost:11434/v1。RAG检索结果不相关回答不准1. 嵌入模型不匹配。2. 文本分割不合理。3. 相似度阈值设置不当。1. 检查spring.ai.openai.embedding.options.model是否与Ollama中拉取的嵌入模型名一致。2. 查看分割后的文档片段是否过碎或过长。3. 调整SimpleVectorStoreAdvisor的similarityThreshold参数。1. 确认使用适合的嵌入模型如nomic-embed-text。2. 调整TokenTextSplitter的maxSegmentSize等参数。3. 将阈值从0.7逐步调高如0.8以过滤不相关内容。Agent不调用工具总是直接回答1. 模型能力不足无法理解工具描述。2.Tool注解描述不清。3. 系统提示词未明确指示使用工具。1. 用简单问题测试工具调用如直接说“调用queryOrderStatus工具查ORD123456”。2. 检查工具方法的description和参数Tool注解是否清晰。3. 查看SystemMessage是否鼓励使用工具。1. 尝试能力更强的模型如llama3.1:8b或GPT系列。2. 优化工具描述明确输入输出。3. 在系统提示词中加入“当你需要查询订单时必须调用queryOrderStatus工具”。LangChain4j 与 Spring AI 冲突两者都自动配置了ChatModel或EmbeddingModel等Bean。查看启动日志是否有BeanDefinitionOverrideException或相关Warn。在application.yml中通过spring.main.allow-bean-definition-overridingtrue允许覆盖临时方案。或仔细排除其中一个starter的自动配置类。Chroma 连接失败Chroma服务未启动。检查Docker容器或本地Chroma进程是否运行在localhost:8000。使用Docker快速启动docker run -p 8000:8000 chromadb/chroma9. 生产环境最佳实践与建议将原型推进到生产环境你需要考虑更多模型部署本地化对于高数据隐私要求坚持使用Ollama部署本地模型但需准备充足的GPU资源。云端化对于稳定性和性能要求高切换为阿里云灵积、百度千帆、OpenAI等商用API。只需修改配置中的base-url和api-key。向量数据库选型开发/测试Chroma足够轻量。生产环境优先考虑Redis Stack性能好易集成、PgVector与PostgreSQL生态好或Milvus专为大规模向量检索设计。系统提示词工程将提示词模板化、外部化如存数据库或配置中心便于运营人员调整而不需发版。为不同客服场景票务、行李、投诉设计不同的SystemMessage通过路由选择。Agent流程管控为工具调用设置权限校验如查询订单前先验证用户身份。实现对话历史管理让Agent具备多轮对话能力。设计兜底策略当Agent多次尝试失败或用户表达不满时平滑转接人工。监控与评估记录每一次用户提问、RAG检索片段、Agent思考过程Chain-of-Thought和最终回复。这对优化提示词和知识库至关重要。定义业务指标如问题解决率、转人工率来评估AI客服的效果。安全与合规输入输出过滤对用户输入和模型输出进行敏感词过滤和内容审核。权限控制工具调用如订单查询必须绑定严格的用户会话和权限验证。数据隐私确保知识库文档不包含敏感信息向量数据库访问受控。对于Java团队而言拥抱AI不是要转向Python而是用熟悉的Spring生态去集成和驾驭AI能力。从本文的“智能航空客服”原型出发你可以将RAG扩展到产品手册、故障知识库将Agent的能力扩展到库存查询、工单创建、数据可视化生成等更多业务工具。技术栈是固定的但结合业务场景的想象力才是关键。建议你从本地Ollama环境开始跑通整个流程再逐步替换为云服务并优化架构。这套组合拳足以让你在企业的AI化升级中占据有利位置。