最近在几个技术社区里看到不少 Java 开发者都在问同一个问题现在 AI 这么火我们 Java 技术栈的人该怎么跟上是去学 Python 吗还是说 Java 生态里也有能用的东西这个问题背后其实是一个更普遍的焦虑当技术浪潮袭来时是应该跳出自己的舒适区去拥抱那个看起来更“原生”的生态还是应该在自己熟悉的领域里寻找新的可能性对于 Java 开发者来说这个问题的答案正变得越来越清晰。过去一年围绕 Java 的 AI 工具链正在快速成熟从模型调用、智能体构建到 RAG 应用已经形成了一套可以落地的技术栈。今天我们不谈那些宏大的概念就从一次具体的选型决策开始。假设你接到一个需求要为一个航空公司的客服系统增加智能问答能力能回答航班动态、行李规定、改签政策等复杂问题。这个需求很典型它不是一个简单的聊天机器人而是需要结合领域知识公司政策、航班数据、理解用户意图、并给出准确、可靠的回答。用 AI 的行话来说这就是一个典型的RAG检索增强生成加上AI Agent智能体的场景。你会怎么选型直接上 Python 的 LangChain 和 LlamaIndex还是说在 Java 这个你更熟悉、团队更擅长维护的生态里也能找到答案这篇文章我们就来拆解一下基于 Java 技术栈如何一步步构建这样一个“AI 智能航空客服”并在这个过程中理清 Spring AI、AI Agent、Langchain4j、AI Alibaba 这些工具各自的定位、边界和最佳实践。1. 为什么是 Java AI先打破“Java 不适合 AI”的刻板印象一提到 AI 开发很多人的第一反应就是 Python。这没错Python 在数据科学、机器学习模型训练和快速原型验证上有着无与伦比的生态优势。但当我们把视角从“模型研发”切换到“AI 应用集成”时情况就完全不同了。AI 应用集成核心是把训练好的大模型能力像调用一个外部服务或库一样嵌入到现有的、复杂的业务系统中。这个系统可能是用 Java 写的电商后台用 Go 写的微服务网关或者用 .NET 写的企业应用。这时挑战不再是设计最新的 Transformer 结构而是如何稳定、高效地调用模型 API或本地模型。如何将模型返回的非结构化文本或 JSON与现有系统的结构化数据、业务流程结合起来。如何管理对话状态、处理长上下文、实现检索增强。如何保障整个链路的可靠性、可观测性、安全性。这些恰恰是 Java 及其庞大生态Spring Boot、Micronaut、Quarkus最擅长的事情构建健壮、可维护、易于集成的企业级应用。因此Java AI 的定位不是去替代 Python 做模型研发而是在模型之上构建生产级的 AI 应用。你的核心价值是把 AI 能力“工程化”让它能 7x24 小时稳定运行能优雅地处理异常能方便地监控和调试。在这个定位下我们来看 Java 生态的 AI 工具链它们的目标就是降低“工程化集成”的门槛。2. 核心组件拆解Spring AI、Langchain4j、AI Alibaba 与 AI Agent面对一堆以“AI”开头的 Java 库很容易眼花缭乱。我们可以用一个简单的分层模型来理解它们组件核心定位类比Python生态在航空客服场景中的作用Spring AIAI 能力接入的“Spring 化”抽象层。它定义了一套统一的接口如ChatClient,EmbeddingClient,VectorStore让开发者可以用 Spring 熟悉的注解和配置方式接入 OpenAI、Azure OpenAI、Ollama本地模型等多种后端。类似于为各种模型 API 客户端提供了一个统一的RestTemplate或WebClient。屏蔽不同模型提供商如使用阿里云灵积或本地部署的 Qwen的 API 差异让业务代码只依赖ChatClient接口。Langchain4jAI 应用编排框架。它提供了构建复杂 AI 应用链Chain所需的核心概念和实现如提示词模板、文档加载器、文本分割器、检索器Retriever以及最重要的——AI 服务AiService注解式开发模式。Java 版的 LangChain但设计上更贴合 Java 开发者的习惯强类型、依赖注入。实现 RAG 的核心流程加载客服知识库文档 - 分割文本 - 向量化存储 - 用户提问时检索相关片段 - 组装提示词 - 调用模型生成回答。AI Alibaba阿里云推出的 Spring AI 生态扩展。它在 Spring AI 抽象的基础上深度集成了阿里云百炼/灵积平台的大模型服务、向量检索服务DashVector等并提供了额外的便利功能如快速创建 AI Agent 的注解。可以看作是 “Spring AI Alibaba Starter”是 Spring AI 在阿里云生态下的具体实现和增强。如果你决定使用阿里云的大模型和向量数据库那么 AI Alibaba 提供了最直接、最“官方”的集成方式可能比通用方案更稳定、功能更全。AI Agent 概念具备自主规划、工具使用和记忆能力的 AI 程序单元。它不是某个具体的库而是一种架构模式。在 Java 中你可以用 Spring AI 的Agent模块、AI Alibaba 的Agent注解或基于 Langchain4j 的Tool机制来构建。如同 LangChain 的 Agent 或 AutoGPT 的概念。让客服 AI 不仅能回答问题还能在必要时执行“工具”比如查询实时航班 API、计算改签费用、生成服务工单等。这是从“问答机”升级为“智能助手”的关键。理解了这个分层选型逻辑就清晰了如果你想快速在 Spring Boot 应用里接入一个聊天模型用 Spring AI。如果你想构建一个包含文档处理、检索、复杂提示词编排的 RAG 应用用 Langchain4j它底层可以兼容 Spring AI 的客户端。如果你的技术栈深度绑定阿里云并且看重开箱即用的 Agent 支持可以重点评估 AI Alibaba。AI Agent 是你利用上述任何框架都能实现的高级模式用于处理需要多步骤推理和工具调用的复杂任务。对于我们的航空客服场景一个典型的架构是Spring AI或 AI Alibaba作为模型调用层 Langchain4j 作为 RAG 编排层 自定义工具类实现 AI Agent 能力。3. 实战从零搭建智能航空客服核心链路理论说再多不如一行代码。我们以最通用的Spring Boot Spring AI Langchain4j组合为例勾勒出搭建客服系统的核心步骤。假设我们使用 OpenAI 兼容的 API如 Ollama 本地部署的 Llama 3和本地文件向量库。3.1 环境与依赖准备首先创建一个标准的 Spring Boot 3.x 项目在pom.xml中引入关键依赖dependencies !-- Spring Boot Web -- dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency !-- Spring AI - OpenAI 兼容客户端 (以Ollama为例) -- dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-ollama-spring-boot-starter/artifactId version0.8.1/version !-- 请使用最新稳定版 -- /dependency !-- Langchain4j 核心 -- dependency groupIddev.langchain4j/groupId artifactIdlangchain4j/artifactId version0.31.0/version !-- 请使用最新稳定版 -- /dependency !-- Langchain4j 与 Spring AI 集成 -- dependency groupIddev.langchain4j/groupId artifactIdlangchain4j-spring-ai/artifactId version0.31.0/version /dependency !-- Langchain4j 本地向量库 (以In-memory为例生产环境需换为Chroma、PgVector等) -- dependency groupIddev.langchain4j/groupId artifactIdlangchain4j-store-embedding-in-memory/artifactId version0.31.0/version /dependency /dependencies在application.yml中配置模型连接spring: ai: ollama: base-url: http://localhost:11434 # Ollama 服务地址 chat: model: llama3:8b # 使用的模型名称 embedding: model: nomic-embed-text # 用于向量化的嵌入模型3.2 构建知识库文档加载、切分与向量化这是 RAG 的“记忆”部分。我们需要把航空公司的客服手册、政策文档PDF、TXT、MD等变成模型可以快速检索的知识。import dev.langchain4j.data.document.Document; import dev.langchain4j.data.document.loader.FileSystemDocumentLoader; import dev.langchain4j.data.document.splitter.DocumentSplitters; import dev.langchain4j.data.segment.TextSegment; import dev.langchain4j.model.embedding.EmbeddingModel; import dev.langchain4j.store.embedding.EmbeddingStore; import dev.langchain4j.store.embedding.EmbeddingStoreIngestor; import org.springframework.core.io.Resource; import org.springframework.core.io.ResourceLoader; import org.springframework.stereotype.Component; import jakarta.annotation.PostConstruct; import java.nio.file.Paths; import java.util.List; Component public class KnowledgeBaseService { private final EmbeddingModel embeddingModel; // 由Spring AI自动注入 private final EmbeddingStoreTextSegment embeddingStore; // 内存向量库 private final ResourceLoader resourceLoader; public KnowledgeBaseService(EmbeddingModel embeddingModel, EmbeddingStoreTextSegment embeddingStore, ResourceLoader resourceLoader) { this.embeddingModel embeddingModel; this.embeddingStore embeddingStore; this.resourceLoader resourceLoader; } PostConstruct public void initKnowledgeBase() { // 1. 加载文档 (示例从 classpath 加载一个政策文档) Resource resource resourceLoader.getResource(classpath:docs/airline_policy.md); Document document FileSystemDocumentLoader.loadDocument(Paths.get(resource.getURI())); // 2. 分割文档 (按段落或固定长度分割防止超出模型上下文) ListTextSegment segments DocumentSplitters.recursive(300, 50).split(document); // 3. 向量化并存储 EmbeddingStoreIngestor ingestor EmbeddingStoreIngestor.builder() .embeddingModel(embeddingModel) .embeddingStore(embeddingStore) .build(); ingestor.ingest(segments); System.out.println(知识库向量化完成片段数 segments.size()); } }关键点DocumentSplitters.recursive(300, 50)这是文本分割的核心。300 是最大块大小字符数50 是块之间的重叠字符数。重叠是为了防止一个问题答案恰好被切在两段中间。这个参数需要根据你的文档内容和模型上下文窗口调整。EmbeddingStoreIngestor封装了“向量化存储”的流水线。这里用了内存存储重启数据就没了。生产环境必须换成持久化的向量数据库如Redis Stack、PgVectorPostgreSQL扩展或ChromaDB。Langchain4j 都提供了相应的集成模块。3.3 实现 RAG 问答服务有了知识库接下来实现检索与生成的核心服务。这里我们用 Langchain4j 最优雅的AiService方式。import dev.langchain4j.data.message.UserMessage; import dev.langchain4j.model.chat.ChatLanguageModel; import dev.langchain4j.rag.content.retriever.EmbeddingStoreContentRetriever; import dev.langchain4j.service.AiServices; import dev.langchain4j.service.SystemMessage; import dev.langchain4j.service.UserMessage; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; // 1. 定义 AI 服务接口 interface CustomerServiceAgent { SystemMessage( 你是一名专业的航空公司客服助手。 请严格根据提供的上下文信息回答用户关于航班、行李、改签、退票的问题。 如果上下文信息不足以回答问题请如实告知用户你不知道并建议其联系人工客服。 回答请简洁、准确、友好。 ) String answerQuestion(UserMessage String question); } Configuration public class RagServiceConfig { Bean public CustomerServiceAgent customerServiceAgent(ChatLanguageModel chatModel, EmbeddingStoreTextSegment embeddingStore, EmbeddingModel embeddingModel) { // 2. 构建检索器从向量库中查找与问题最相关的片段 ContentRetriever contentRetriever EmbeddingStoreContentRetriever.builder() .embeddingStore(embeddingStore) .embeddingModel(embeddingModel) .maxResults(3) // 每次检索返回最相关的3个片段 .build(); // 3. 创建 AI 服务实例自动集成检索增强功能 return AiServices.builder(CustomerServiceAgent.class) .chatLanguageModel(chatModel) .contentRetriever(contentRetriever) .build(); } }关键点SystemMessage定义了 AI 的“角色”和基本行为准则。这是控制 AI 输出风格和质量的关键比在问题中临时描述更有效、更清晰。EmbeddingStoreContentRetriever它会把用户的question自动向量化然后去embeddingStore里做相似度搜索找出最相关的知识片段并自动将这些片段作为“上下文”插入到最终发给模型的提示词中。maxResults(3)检索返回的片段数。不是越多越好太多可能引入无关信息导致模型混淆或超出上下文长度。需要根据知识库的颗粒度和问题复杂度调整。现在你可以在 Controller 中注入CustomerServiceAgent直接调用answerQuestion方法就能得到一个基于知识库的智能回答了。3.4 进阶赋予 AI Agent 工具调用能力如果用户问“帮我查一下明天北京飞上海的 CA1234 航班是否准点”RAG 可能无法回答因为这是实时数据。这时就需要 AI Agent 出场它能够决定调用一个“查询实时航班”的工具。首先定义一个工具接口import dev.langchain4j.agent.tool.Tool; import org.springframework.stereotype.Component; Component public class FlightTools { Tool(根据航班号和日期查询实时航班状态包括是否准点、起飞/到达时间。) public String getFlightStatus(String flightNumber, String date) { // 这里模拟或调用真实的航班查询 API // 例如调用内部航班系统或第三方航班状态接口 return String.format(航班 %s 在 %s 的计划起飞时间为 14:30当前状态为预计准点。, flightNumber, date); } Tool(根据票号和乘客姓名计算改签费用。) public String calculateChangeFee(String ticketNumber, String passengerName) { // 调用计费规则引擎或服务 return 根据规定您的机票改签需支付手续费 200 元。; } }然后在创建 AI 服务时注册这些工具Bean public CustomerServiceAgent customerServiceAgent(ChatLanguageModel chatModel, EmbeddingStoreTextSegment embeddingStore, EmbeddingModel embeddingModel, FlightTools flightTools) { // 注入工具 ContentRetriever contentRetriever ... // 同上 return AiServices.builder(CustomerServiceAgent.class) .chatLanguageModel(chatModel) .contentRetriever(contentRetriever) .tools(flightTools) // 注册工具 .build(); }现在当你问“CA1234 明天准点吗”模型会先“思考”要回答这个问题需要调用getFlightStatus工具。它会自动生成对工具的调用请求框架执行工具拿到结果后再将结果交给模型由模型整理成最终的自然语言回答给用户。这一切对开发者几乎是透明的你只需要定义好工具方法。4. 生产环境部署避坑指南与关键考量把 Demo 跑起来是一回事让它稳定服务线上用户是另一回事。以下是几个必须提前规划的关键点4.1 向量数据库选型与优化不要用内存向量库InMemoryEmbeddingStore仅用于开发和测试。生产环境必须选择持久化、可扩展的解决方案。主流选择PgVector如果你已经在用 PostgreSQL这是最自然的选择。利用现有数据库的备份、高可用机制。Redis Stack性能极高适合对检索延迟要求非常高的场景。需要额外维护一个 Redis 集群。ChromaDB/Weaviate专门的向量数据库功能更聚焦但需要独立部署和维护。索引优化向量数据库通常支持 HNSW近似最近邻等索引来加速检索。根据数据量万、百万、亿级调整索引参数在召回精度和查询速度间取得平衡。4.2 提示词工程与系统消息设计系统消息是“宪法”SystemMessage里的指令至关重要。要明确、无歧义地规定 AI 的角色、回答范围、格式和禁忌。例如必须强调“仅根据提供上下文回答”防止模型胡编乱造幻觉。迭代优化提示词没有银弹。需要准备一批测试用例不断调整系统消息和检索参数如maxResults观察回答质量。这是一个持续的过程。4.3 性能、限流与降级模型调用延迟调用远程大模型 API如 OpenAI、通义千问可能有数百毫秒到数秒的延迟。必须设置合理的超时如 30 秒并在前端设计加载状态。限流与重试模型服务方通常有速率限制。在客户端你的 Spring AI 配置或网关层实现限流和指数退避重试机制。降级方案当模型服务不可用或超时时要有降级策略。例如退回到一个基于规则或简单匹配的问答库或者给用户一个友好的“系统繁忙”提示。4.4 可观测性与评估全面日志记录记录每一次用户提问、检索到的文档片段、发送给模型的完整提示词、模型的原始回复、最终回复。这是排查“为什么 AI 这么回答”的唯一依据。关键指标监控请求量、响应时间P95 P99。模型调用耗时、Token 消耗如果按 Token 计费。检索耗时、检索到的片段数量和质量可通过日志分析。效果评估建立人工评估流程定期抽样检查回答的准确性和有用性。这是迭代优化知识库、提示词和检索策略的基础。4.5 安全与合规输入输出过滤对用户输入进行必要的清洗和过滤防止提示词注入攻击。对模型输出也要进行安全检查避免生成不当内容。数据隐私确保上传到知识库的文档不包含敏感个人信息PII。如果使用公有云模型 API需了解其数据使用政策。审核链路对于涉及交易、费用计算等关键环节AI 的回答可能需要经过人工确认或作为建议提供给客服人员而非直接执行。5. 总结Java 开发者的 AI 应用落地路径回过头看Java AI 的技术栈选型核心思路是“在稳固的工程地基上敏捷地集成智能能力”。对于大多数从零开始的团队我建议的路径是从 Spring AI 开始用它快速连接一个模型无论是云 API 还是本地 Ollama先实现最简单的对话感受一下模型的能力和局限。这是成本最低的切入点。引入 Langchain4j 处理复杂场景当简单对话不够用需要结合自有知识RAG或执行多步骤任务Agent时引入 Langchain4j。它的AiService模式和丰富的组件能极大提升开发效率。按需评估 AI Alibaba如果你的企业环境就在阿里云上并且其平台提供的模型、向量数据库、监控工具能形成闭环那么 AI Alibaba 是一个值得考虑的、更集成的选择。始终把生产化考量放在首位在原型验证阶段就要同步考虑向量数据库选型、提示词管理、日志监控、异常处理等工程问题。AI 应用的失败很少是因为模型不够聪明更多是因为工程上的不可靠。AI 不是魔法它是一套新的、需要被工程化的能力。Java 开发者最大的优势恰恰在于工程化能力。所以不必焦虑于是否要转投 Python而是应该思考如何用你最熟悉的 Spring Boot、微服务、设计模式去驾驭 AI 这股新的力量解决那些真正复杂的业务问题。智能航空客服只是一个例子这个模式可以复制到智能客服、知识库问答、代码助手、智能数据分析等无数场景。起点就在你下一个熟悉的 Spring Boot 项目里。