最近不少做 Java 后端的同学问我业务系统写了几年接口和 CRUD 已经比较熟练看到 AI 应用开发这么热也想转型但心里没底。一方面是担心算法门槛太高另一方面觉得 Python 抢了所有 AI 岗位Java 后端很难切入。如果你也有类似困惑这篇文章会比较适合你。我会从 Java 后端视角出发梳理一条“Java 后端转 AI 应用开发”的学习路线围绕 Spring Boot、大模型 API、RAG、Agent 这些核心内容展开并给出一套可运行的实战示例。这套路线不要求你成为算法工程师而是把大模型当成一个强大的能力组件用 Java 后端工程能力把它变成产品。1. 背景与核心概念1.1 AI 应用开发和算法开发不是一回事很多 Java 后端对 AI 的第一反应是需要懂 Python、TensorFlow、PyTorch需要会训练模型、调参数。这是算法工程师的工作而 AI 应用开发是另一条技术线。AI 应用开发的核心是基于已经训练好的大模型构建业务功能。比如做一个企业知识库问答机器人、智能客服、代码评审助手都是 AI 应用开发。开发人员主要做的是调用大模型 API、设计 Prompt、处理数据、编排工具、暴露 REST 接口以及保证服务的高可用和可维护性。所以画一条边界算法开发关注模型训练、特征工程、调参、评估、推理性能优化。AI 应用开发关注API 接入、检索增强、Agent 流程编排、业务集成、工程治理。Java 后端工程师可以很快迁移到 AI 应用开发因为后端要解决的核心问题没有变接口设计、数据一致、异常处理、权限控制、日志监控。1.2 Java 后端转 AI 应用开发的优势Java 后端最大的优势不是语言本身而是过去几年沉淀的工程体系。企业里大多数核心系统仍然是 Java 技术栈Spring Boot 生态非常成熟。AI 能力要落地到真实业务中不是一个 Python 脚本调模型而是要和现有的订单、用户、权限、审批流、数据中台打通。这时候 Java 后端对业务系统的理解会发挥很大作用。AI 应用开发岗位通常不是要求“算法专家”而是要求你会调用主流大模型 API理解 Prompt、Token、上下文窗口。搭建 RAG 知识库掌握文档切分、向量检索。编写 Agent 流程让模型能够调用工具完成业务操作。用成熟框架开发稳定接口处理限流、降级、超时、成本控制。这些能力恰好是 Java 后端平时就在练的。应用层开发不需要从零开始学算法这是一个很现实的机会点。1.3 Java 技术栈在 AI 应用开发中的实际位置AI 应用整体可以分成几层基础设施层GPU 集群、模型训练框架、部署推理平台。模型层通用大模型、行业模型、开源模型。应用层业务逻辑、工作流、数据存储、接口封装、前端交互。Java 后端主要在应用层发力。应用层通过 HTTP 或 SDK 调用模型层能力同时承担业务规则、权限、数据持久化、异步任务、消息通知等职责。大模型对应用层来说就像一个“能力很强但偶尔会出错的第三方接口”。理解了这一点就不会把转型想得太复杂。接下来可以把它当做一个新的后端技术栈去学习。2. 环境准备与版本说明2.1 语言与框架版本本文示例以 Java 17 为基础框架使用 Spring Boot 3.x。如果你的公司还在用 Spring Boot 2.x 或 JDK 8也不要着急核心思路类似只是部分 API 和依赖坐标需要替换。版本建议如下JDK17 或 21。Spring Boot3.3。构建工具Maven 3.8。HTTP 客户端Spring RestClient。大模型服务部分示例采用 OpenAI 兼容协议。市面上很多模型服务商会提供这种兼容接口你只需要替换 Base URL、API Key 和模型名称。Spring AI 也是一个很好的上层集成框架但因为它迭代速度比较快本文先用手写 HTTP 调用的方式讲清楚原理后续再切换到 Spring AI 会更轻松。2.2 开发工具推荐使用 IntelliJ IDEA 社区版或旗舰版配合 Maven 和 Git。接口调试可以使用 Postman、Apifox也可以直接用 curl。如果你有 Docker 环境后面想折腾向量数据库可以省不少事。不过本文第一版 RAG 示例会使用内存向量存储不依赖 Docker方便直接运行。2.3 示例项目结构下面是实战部分会使用的项目结构ai-demo/ ├── pom.xml ├── src/main/java/com/example/ai/ │ ├── AiApplication.java │ ├── config/ │ │ ├── AiProperties.java │ │ └── RestClientConfig.java │ ├── service/ │ │ ├── AiChatService.java │ │ └── RagService.java │ ├── rag/ │ │ ├── TextSplitter.java │ │ └── VectorStore.java │ └── controller/ │ └── AiController.java └── src/main/resources/ ├── application.properties └── docs/sample.txt第一次接触时不需要追求大而全先把最小闭环跑通再逐步替换成公司里的工程结构。3. 核心知识拆解3.1 大模型 API 调用先理解请求和响应大模型 API 本质上就是一个 HTTP 接口。你把对话消息发过去模型返回文本结果。以 OpenAI 兼容协议为例最核心的请求结构是{ model: chat-model-name, messages: [ {role: system, content: 你是Java后端AI助手}, {role: user, content: 请介绍一下Spring Boot} ] }响应中包含choices[0].message.content这就是模型生成的文本。用 curl 测试非常直观curl https://your-llm-api.example.com/v1/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer $LLM_API_KEY \ -d { model: chat-model-name, messages: [{role: user, content: 你好请用一句话介绍你自己}] }这里的your-llm-api.example.com需要替换成实际服务商的 Base URL。不同服务商对请求格式的兼容度可能略有差异但大体结构一致。在 Java 里我们不需要引入任何大模型 SDK用 Spring 的 RestClient 就能完成请求MapString, Object requestBody Map.of( model, props.getChatModel(), messages, List.of( Map.of(role, system, content, 你是Java后端技术助手), Map.of(role, user, content, userMessage) ), temperature, 0.7 ); JsonNode response restClient.post() .uri(/chat/completions) .body(requestBody) .retrieve() .body(JsonNode.class); return response.at(/choices/0/message/content).asText();这段代码就是把 HTTP 请求封装成方法。你可能会问直接用 RestClient 调用和用 Spring AI 有什么区别区别在于 Spring AI 帮你屏蔽了模型差异提供了 Prompt 模板、输出解析、对话记忆、Embedding 封装等能力。但如果没有手动调用过 API直接学习 Spring AI 反而容易不理解底层原理。3.2 Prompt 工程与结构化输出Prompt 是给模型的输入决定模型输出的质量。很多人刚开始学 AI 应用开发容易把 Prompt 等同于“提问”其实它是应用逻辑的一部分。一个很核心的技巧是让模型输出 JSON。例如让模型从一段客服工单中抽取结构化信息请从用户描述中抽取“客户等级”“问题类型”“紧急程度”只输出JSON不要输出其他内容。 格式示例{level: VIP, type: 退款, priority: high}在 Java 后端中用 ObjectMapper 解析这段 JSON就能把大模型输出转换成业务对象。不少模型服务商提供 JSON Mode 或者response_format参数可以让输出更加稳定。这里有一个常见误区以为模型返回的一定是合法 JSON。实际上模型可能带输代码块标记、前后有多余文字。生产环境要做二次解析兜底并添加“解析失败重试一次”的逻辑。3.3 RAG检索增强生成RAG 是 AI 应用开发中非常重要的技术。它解决的是大模型“不知道你的私有数据”和“可能编造事实”这两个问题。RAG 全称 Retrieval-Augmented Generation检索增强生成。流程可以概括为把文档切分成小块。对每一块文本生成向量存入向量数据库。用户提问时把问题也转成向量。在向量库中找到最相似的文档片段。把问题 相关片段 系统提示词一起发给大模型。模型基于给定材料生成回答。这样做的好处是模型不需要记住你的文档只需要每次从知识库中检索相关片段。回答有依据且可以随时更新知识库不需要重新训练模型。Java 后端在 RAG 链路中要做的事情包括文档加载、文本切分、Embedding 调用、向量存储和查询、Prompt 拼接、Chat API 调用。每一环都不复杂但组合起来需要注意很多细节。3.4 Function Calling 与 AgentFunction Calling 是模型在对话过程中请求调用某个函数的机制。简单理解模型知道自己能力边界当它需要实时数据或执行业务操作时会输出一个结构化调用请求例如“查询订单状态”。Agent 进一步把大模型变成业务流程引擎。典型流程是用户给出目标。模型分析需要哪些工具。调用你提供的函数。拿到工具结果后再次推理。循环直到完成目标。Java 后端很适合写 Agent 的底层工具层因为业务系统对接的是 Java 服务。比如模型可以调用“查询库存”“创建工单”“发送短信”等函数这些函数实际由 Spring Service 实现再把结果返回给模型。4. 从 Java 后端到 AI 应用的迁移路径4.1 复用 Spring Boot 作为 AI 应用底座不需要为了 AI 应用开发重新选一套框架Spring Boot 完全可以作为底座。你过去熟悉的 Controller、Service、Repository 分层可以继续沿用。AI 相关能力作为 Service 的一部分暴露出来例如AiChatService、RagService。这样做的好处是对团队友好代码结构容易理解。4.2 设计一个对话式 AI 服务一个最简单的 AI 服务可以这样分层Controller接收 HTTP 请求返回响应。Service调用大模型 API处理业务逻辑。Config保存模型配置创建 HTTP 客户端。相比普通接口多了一个“Prompt 构造”环节。很多团队会单独维护一份 Prompt 模板文件方便产品人员和开发人员一起调整。4.3 集成向量数据库第一阶段直接在代码里写一个内存 Map 存放向量就能跑通 RAG。生产环境则需要真正的向量数据库。常见选型有PostgreSQL pgvector适合数据量可控、团队不想引入太重组件。Milvus适合大规模向量检索功能丰富。Elasticsearch如果已有的检索体系是 ES可以复用。Redis 向量模块适合低延迟查询。不同的向量数据库对依赖、部署和写入策略要求不同建议先把 RAG 流程跑通再根据数据量和 QPS 选型。不要一上来就折腾分布式向量数据库否则很容易被运维问题淹没。4.4 流式响应大模型生成文本通常比较慢如果让接口等到全部生成完再返回用户体验很差。更常见的做法是使用 SSE即 Server-Sent Events把模型返回的每个片段实时推送给前端。SSE 和普通文本流的大致思路是客户端 - POST /api/chat/stream 服务端 - 接收到问题 服务端 - 调用大模型流式接口 服务端 - 通过SSE逐字返回 前端 - EventSource 接收并渲染在 Spring 中可以使用SseEmitter实现。流式接口除了提升体验还能让用户在等待过程中看到“模型正在生成”减少焦虑感。这是 AI 应用开发里非常值得掌握的交互方式。5. 完整实战案例Java Spring Boot 的文档问答助手下面我们用前面学的知识做一个可以运行的 AI 文档问答助手。目标是先把本地文档拆成小段调用 Embedding 接口生成向量检索出最相关片段再让大模型基于片段回答问题。5.1 项目依赖创建 Spring Boot 3 项目时引入 web 和 validation 依赖即可dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-validation/artifactId /dependencyJackson 会由 Spring Boot 自动引入不需要额外添加。配置信息放在application.propertiesspring.application.nameai-demo server.port8080 # 大模型服务商地址请替换为实际服务商文档提供的内容 ai.api-base-urlhttps://your-llm-api.example.com/v1 ai.api-key${LLM_API_KEY} # 模型名称请按服务商文档填写 ai.chat-modelchat-model-name ai.embedding-modelembedding-model-name # 单个文档块最大字符数 ai.chunk-size500 ai.chunk-overlap50 ai.top-k3 ai.max-context-length2000这里把 API Key 用环境变量${LLM_API_KEY}注入避免把真实密钥提交到 Git。5.2 编写配置类创建AiProperties.java读取配置package com.example.ai.config; import org.springframework.boot.context.properties.ConfigurationProperties; ConfigurationProperties(prefix ai) public class AiProperties { private String apiBaseUrl; private String apiKey; private String chatModel; private String embeddingModel; private int chunkSize; private int chunkOverlap; private int topK; private int maxContextLength; public String getApiBaseUrl() { return apiBaseUrl; } public void setApiBaseUrl(String apiBaseUrl) { this.apiBaseUrl apiBaseUrl; } public String getApiKey() { return apiKey; } public void setApiKey(String apiKey) { this.apiKey apiKey; } public String getChatModel() { return chatModel; } public void setChatModel(String chatModel) { this.chatModel chatModel; } public String getEmbeddingModel() { return embeddingModel; } public void setEmbeddingModel(String embeddingModel) { this.embeddingModel embeddingModel; } public int getChunkSize() { return chunkSize; } public void setChunkSize(int chunkSize) { this.chunkSize chunkSize; } public int getChunkOverlap() { return chunkOverlap; } public void setChunkOverlap(int chunkOverlap) { this.chunkOverlap chunkOverlap; } public int getTopK() { return topK; } public void setTopK(int topK) { this.topK topK; } public int getMaxContextLength() { return maxContextLength; } public void setMaxContextLength(int maxContextLength) { this.maxContextLength maxContextLength; } }ConfigurationProperties需要被 Spring 扫描到。我们可以结合EnableConfigurationProperties显式注册。5.3 配置 RestClient创建RestClientConfig.java把服务商地址和鉴权信息统一注入package com.example.ai.config; import org.springframework.boot.context.properties.EnableConfigurationProperties; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.http.client.SimpleClientHttpRequestFactory; import org.springframework.web.client.RestClient; Configuration EnableConfigurationProperties(AiProperties.class) public class RestClientConfig { Bean public RestClient restClient(AiProperties props) { SimpleClientHttpRequestFactory factory new SimpleClientHttpRequestFactory(); factory.setConnectTimeout(10_000); factory.setReadTimeout(60_000); return RestClient.builder() .baseUrl(props.getApiBaseUrl()) .requestFactory(factory) .defaultHeader(Authorization, Bearer props.getApiKey()) .defaultHeader(Content-Type, application/json) .build(); } }这里设置 10 秒连接超时和 60 秒读取超时。大模型接口响应通常比普通接口慢读取超时最好设置得宽松一些。5.4 文本切分器RAG 的第一步是切分文档。实际项目中可以按标题、段落、语义切分这里先按固定窗口切分并允许相邻片段保留重叠区域减少关键信息断裂package com.example.ai.rag; import org.springframework.stereotype.Component; import java.util.ArrayList; import java.util.List; Component public class TextSplitter { public ListString split(String text, int chunkSize, int overlap) { ListString chunks new ArrayList(); if (text null || text.isEmpty()) { return chunks; } int start 0; while (start text.length()) { int end Math.min(start chunkSize, text.length()); String chunk text.substring(start, end); if (!chunk.isBlank()) { chunks.add(chunk); } if (end text.length()) { break; } start chunkSize - overlap; } return chunks; } }切分粒度会影响检索质量。切得太小语义不完整切得太大容易混入无关内容。500 个字符左右是一个适合中文文档的起点。5.5 向量存储与检索先用内存 Map 保存向量。键是文档片段值是向量数组。检索时计算余弦相似度package com.example.ai.rag; import org.springframework.stereotype.Component; import java.util.List; import java.util.Map; import java.util.concurrent.ConcurrentHashMap; Component public class VectorStore { private final MapString, ListDouble store new ConcurrentHashMap(); public void save(String chunk, ListDouble vector) { store.put(chunk, vector); } public ListDouble get(String chunk) { return store.get(chunk); } public MapString, ListDouble entries() { return store; } public void clear() { store.clear(); } }计算余弦相似度的方法public double cosineSimilarity(ListDouble a, ListDouble b) { if (a null || b null || a.size() ! b.size()) { return 0; } double dot 0; double normA 0; double normB 0; for (int i 0; i a.size(); i) { dot a.get(i) * b.get(i); normA a.get(i) * a.get(i); normB b.get(i) * b.get(i); } if (normA 0 || normB 0) { return 0; } return dot / (Math.sqrt(normA) * Math.sqrt(normB)); }真实项目会使用向量数据库提供的近似最近邻检索但原理是一样的。5.6 核心 RAG 服务下面的RagService是完整示例的入口。它负责加载文档、切分、生成向量、检索、构造 Prompt 并调用大模型package com.example.ai.service; import com.example.ai.config.AiProperties; import com.example.ai.rag.TextSplitter; import com.example.ai.rag.VectorStore; import com.fasterxml.jackson.databind.JsonNode; import com.fasterxml.jackson.databind.ObjectMapper; import org.springframework.core.io.ClassPathResource; import org.springframework.stereotype.Service; import org.springframework.web.client.RestClient; import java.nio.charset.StandardCharsets; import java.util.Comparator; import java.util.HashMap; import java.util.List; import java.util.Map; Service public class RagService { private final RestClient restClient; private final AiProperties props; private final TextSplitter textSplitter; private final VectorStore vectorStore; private final ObjectMapper objectMapper; public RagService(RestClient restClient, AiProperties props, TextSplitter textSplitter, VectorStore vectorStore, ObjectMapper objectMapper) { this.restClient restClient; this.props props; this.textSplitter textSplitter; this.vectorStore vectorStore; this.objectMapper objectMapper; } public String ask(String question) { ListString relatedChunks search(question); String context String.join(\n\n, relatedChunks); String prompt 请根据以下资料回答问题如果资料中没有答案请直接说明资料中未提及。\n\n资料\n context \n\n问题 question; MapString, Object requestBody Map.of( model, props.getChatModel(), messages, List.of( Map.of(role, system, content, 你是企业知识库助手回答需要简洁准确), Map.of(role, user, content, prompt) ), temperature, 0.3 ); JsonNode response restClient.post() .uri(/chat/completions) .body(requestBody) .retrieve() .body(JsonNode.class); if (response null || response.hasNonNull(error)) { throw new RuntimeException(模型服务返回异常: response); } return response.at(/choices/0/message/content).asText(); } private ListString search(String question) { ListDouble questionVector embedding(question); return vectorStore.entries().stream() .sorted(Comparator.comparingDouble( entry - -cosineSimilarity(questionVector, entry.getValue()))) .limit(props.getTopK()) .map(Map.Entry::getKey) .toList(); } private ListDouble embedding(String text) { MapString, Object requestBody Map.of( model, props.getEmbeddingModel(), input, text ); JsonNode response restClient.post() .uri(/embeddings) .body(requestBody) .retrieve() .body(JsonNode.class); if (response null || response.hasNonNull(error)) { throw new RuntimeException(Embedding接口异常); } return objectMapper.convertValue( response.at(/data/0/embedding), List.class ); } private double cosineSimilarity(ListDouble a, ListDouble b) { if (a null || b null || a.size() ! b.size()) { return 0; } double dot 0; double normA 0; double normB 0; for (int i 0; i a.size(); i) { dot a.get(i) * b.get(i); normA a.get(i) * a.get(i); normB b.get(i) * b.get(i); } if (normA 0 || normB 0) { return 0; } return dot / (Math.sqrt(normA) * Math.sqrt(normB)); } public void loadDocument(String classpathResource) throws Exception { ClassPathResource resource new ClassPathResource(classpathResource); String content new String(resource.getInputStream().readAllBytes(), StandardCharsets.UTF_8); ListString chunks textSplitter.split(content, props.getChunkSize(), props.getChunkOverlap()); for (String chunk : chunks) { ListDouble vector embedding(chunk); vectorStore.save(chunk, vector); } } }启动时加载一次文档。你可以写一个ApplicationRunnerpackage com.example.ai.config; import com.example.ai.service.RagService; import org.springframework.boot.ApplicationArguments; import org.springframework.boot.ApplicationRunner; import org.springframework.stereotype.Component; Component public class DataInitializer implements ApplicationRunner { private final RagService ragService; public DataInitializer(RagService ragService) { this.ragService ragService; } Override public void run(ApplicationArguments args) throws Exception { ragService.loadDocument(docs/sample.txt); } }5.7 编写 Controller把 AI 能力暴露成 REST 接口package com.example.ai.controller; import com.example.ai.service.AiChatService; import com.example.ai.service.RagService; import org.springframework.web.bind.annotation.PostMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; RestController public class AiController { private final AiChatService aiChatService; private final RagService ragService; public AiController(AiChatService aiChatService, RagService ragService) { this.aiChatService aiChatService; this.ragService ragService; } PostMapping(/api/chat) public String chat(RequestParam(message) String message) { return aiChatService.chat(message); } PostMapping(/api/rag/ask) public String ask(RequestParam(question) String question) { return ragService.ask(question); } }5.8 运行与验证用 Maven 启动项目mvn spring-boot:run然后打开新的终端调用普通对话接口curl -X POST http://localhost:8080/api/chat \ -H Content-Type: application/x-www-form-urlencoded \ -d message你好请介绍一下Spring Boot调用 RAG 问答接口curl -X POST http://localhost:8080/api/rag/ask \ -H Content-Type: application/x-www-form-urlencoded \ -d question你整理的文档里提到了哪些注册中心如果资料库中有相关内容模型会基于检索片段回答而不是凭空编造。这个最小闭环已经覆盖了 AI 应用开发的完整主干后续可以继续替换组件。6. 常见问题与排查思路6.1 模型接口返回 401 Unauthorized可能是因为 API Key 没配置或者配置错误。也可能是服务商要求认证方式不是Authorization: Bearer xxx。排查思路检查环境变量LLM_API_KEY是否已设置。在本地启动参数中临时打印一下props.getApiKey()前几位。用 curl 直接请求服务商接口排除 Java 代码问题。查看服务商文档确认鉴权 Header 格式。6.2 响应很慢或直接超时大模型接口本身延迟较高也可能网络不稳定。先看日志中请求耗时再用简单的 Prompt 测试模型服务。常用优化方案调大 RestClient 的读取超时时间。关闭模型无关参数比如不要设置过高的max_tokens。把超时响应放在异步线程中执行。对耗时接口使用流式 SSE先给用户“正在输入中”的反馈。6.3 检索结果不准答案质量差这是 RAG 项目最常见的问题根源通常不在模型而在数据链路。检查点包括文档切分是否合理是否存在把一段完整逻辑拆到两个块的情况。Embedding 模型是否适合中文场景。是否只依赖余弦相似度没有结合关键词过滤或重排序。返回给模型的上下文是否太长把无关信息也带了进去。建议先人工抽查几个问题看看向量检索排在前面的片段到底是不是正确答案。如果相关片段没问题那就是 Prompt 构造或模型选择的问题。6.4 模型输出不是合法 JSON即使要求模型只输出 JSON也可能因为返回了额外解释或代码块导致解析失败。处理方式解析前先清理字符串去掉json 和标记。使用模型服务商的 JSON Mode。解析失败时自动重试一次同时把错误信息写入日志。6.5 依赖冲突和类找不到如果使用 Spring AI 等框架版本差异很容易导致运行时找不到类。建议先锁定 Spring Boot 版本再根据 Spring AI 官方文档选择对应版本。如果是本文的手动 HTTP 调用方式主要依赖是 Spring Boot 本身冲突概率会小很多。这也是我建议新手先手写一次调用的原因。7. 最佳实践与工程建议7.1 API Key 安全管理不要把 API Key 写在配置文件并提交到 Git。推荐使用环境变量或配置中心并且按服务商要求设置额度限制和监控。如果团队使用 Nacos、Apollo 这类配置中心可以把 Key 放入配置中心通过加密配置项管理。生产环境还要定期轮换 Key防范泄露风险。7.2 成本控制与限流大模型调用是按 Token 计费的一个不设防的 AI 接口很容易被刷出高额账单。常见的成本控制手段限制单次请求的max_tokens。使用 Redis 缓存常见问题和答案。对接口做用户维度限流。对超长文档做裁剪不要无脑把全部上下文塞给模型。对失败请求做熔断避免模型服务异常时引发雪崩。在 Java 后端里可以用 Sentinel、Resilience4j 等组件实现限流熔断或者通过网关层统一拦截。7.3 日志与可观测性AI 应用的日志和普通后端不太一样。除了记录接口耗时、异常还需要记录 Prompt 和模型返回结果。大模型输出不稳定如果没有日志出问题后很难定位是数据问题、Prompt 问题还是模型本身问题。建议每条请求记录用户问题。系统 Prompt。检索到的文档片段。模型返回原文。耗时、Token 消耗。但要注意隐私合规不要让日志把用户敏感信息全部打出来。必要时要先脱敏。7.4 测试策略AI 应用测试不能只用单测验证逻辑因为模型输出具有随机性。推荐做法对 Embedding、向量检索、文件切分等纯逻辑部分做单元测试。对大模型调用部分使用 Mock Server录制固定响应避免每次测试都调外部 API。建立一个小型评估集每次修改 Prompt 或切分策略后跑一遍评估集人工对比答案质量。线上环境增加反馈按钮把用户不满意的问题沉淀成测试用例。7.5 高可用设计生产环境不要把大模型当成“永远不会挂”的内部服务。模型服务商可能限流、故障、调整版本应用层要做降级方案。可以考虑多模型 Provider 切换例如主用 A 服务商B 服务商作为备用。模型返回异常时快速切换。另外面向用户的 AI 功能最好加一个“AI 暂不可用”的兜底响应而不是让整个接口 500。8. 学习路线图与资源建议8.1 第一阶段理解大模型与 API 调用用 3 到 5 天完成基础接入。目标是能够用 Java 或 curl 调用大模型 API实现一个「发送消息 - 返回结果」的简单问答接口。这个阶段不需要关注复杂算法只需要理解大模型是怎么通过 HTTP 提供能力的。系统角色、用户角色、助手角色区别。Token 与上下文的含义。Temperature 等参数对输出的影响。8.2 第二阶段完成一个 Spring Boot AI 小项目用一周时间把第一阶段的知识落到项目中。建议实现一个带前端页面的 AI 助手可以是一个简单的客服问答页面也可以是代码解释工具。这一阶段的价值在于激活你已有的 Spring Boot 工程能力接口设计、参数校验、异常处理、异步、日志。尽量强迫自己写出分层清晰、可扩展的代码而不是把所有逻辑塞进 Controller。8.3 第三阶段掌握 RAG这是 AI 应用开发的核心可视化成果。可以从“本地文档问答”开始逐步加入文本切分策略。Embedding 模型选择。向量数据库。多路召回与重排序。上下文裁剪。建议至少完整做完一个“帮助中心文档问答机器人”项目。过程中你需要自己设计向量表结构、编写检索接口、处理知识库更新问题。8.4 第四阶段深入 Agent 与工作流当你对 RAG 比较熟练后可以学习 Function Calling、Agent 编排。尝试让模型调用查询接口、数据库接口、消息推送接口实现一个能自动执行任务的小系统。这个阶段可以关注 Spring AI 的进展。Spring AI 提供了 ChatClient、EmbeddingModel、VectorStore 等抽象能够帮你节省不少底层代码。但学习时一定要对着官方文档因为版本变化较快。8.5 第五阶段工程化与面试到了这个阶段你已经能完成 AI 应用开发的核心动作了。接下来要补的是业务落地能力监控与告警。成本分析。内容安全过滤。私有化部署方案。团队协作与 Prompt 版本管理。面试时比起背 Prompt 模板面试官更愿意听到你讲清楚一个完整链路文档是怎么索引的检索质量怎么评估模型调用失败怎么办日志怎么排查。因此给自己留一个 mini 项目持续迭代是比看大量视频更有效的方式。9. 转型心得不要丢掉 Java 后端基本功转型 AI 应用开发最怕的是把原来的 Java 技巧全丢掉然后去和算法工程师抢位置。实际上企业里更缺的是“能稳定交付 AI 功能的人”。Java 后端转型时要注意组合两个能力一是大模型应用开发的模式二是传统的工程治理能力。比如数据库事务、分布式锁、消息队列、监控告警、权限安全这些经验在 AI 应用里同样关键。建议你现在就动手做一个小任务找一个自己熟悉的业务场景比如“内部员工规章制度问答”用前面给出的示例代码跑通。不要纠结选哪个大模型也不要纠结选哪个向量库先把最小链路跑通。跑通之后再逐步替换成生产级组件。当你能够清楚地说出“我的系统里文档是怎么切分的、检索结果是否可靠、模型出错如何降级、成本如何控制”时你已经是一名合格的 AI 应用开发工程师了。 Java后端转AI应用开发：Spring Boot + RAG + Agent实战路线
最近不少做 Java 后端的同学问我业务系统写了几年接口和 CRUD 已经比较熟练看到 AI 应用开发这么热也想转型但心里没底。一方面是担心算法门槛太高另一方面觉得 Python 抢了所有 AI 岗位Java 后端很难切入。如果你也有类似困惑这篇文章会比较适合你。我会从 Java 后端视角出发梳理一条“Java 后端转 AI 应用开发”的学习路线围绕 Spring Boot、大模型 API、RAG、Agent 这些核心内容展开并给出一套可运行的实战示例。这套路线不要求你成为算法工程师而是把大模型当成一个强大的能力组件用 Java 后端工程能力把它变成产品。1. 背景与核心概念1.1 AI 应用开发和算法开发不是一回事很多 Java 后端对 AI 的第一反应是需要懂 Python、TensorFlow、PyTorch需要会训练模型、调参数。这是算法工程师的工作而 AI 应用开发是另一条技术线。AI 应用开发的核心是基于已经训练好的大模型构建业务功能。比如做一个企业知识库问答机器人、智能客服、代码评审助手都是 AI 应用开发。开发人员主要做的是调用大模型 API、设计 Prompt、处理数据、编排工具、暴露 REST 接口以及保证服务的高可用和可维护性。所以画一条边界算法开发关注模型训练、特征工程、调参、评估、推理性能优化。AI 应用开发关注API 接入、检索增强、Agent 流程编排、业务集成、工程治理。Java 后端工程师可以很快迁移到 AI 应用开发因为后端要解决的核心问题没有变接口设计、数据一致、异常处理、权限控制、日志监控。1.2 Java 后端转 AI 应用开发的优势Java 后端最大的优势不是语言本身而是过去几年沉淀的工程体系。企业里大多数核心系统仍然是 Java 技术栈Spring Boot 生态非常成熟。AI 能力要落地到真实业务中不是一个 Python 脚本调模型而是要和现有的订单、用户、权限、审批流、数据中台打通。这时候 Java 后端对业务系统的理解会发挥很大作用。AI 应用开发岗位通常不是要求“算法专家”而是要求你会调用主流大模型 API理解 Prompt、Token、上下文窗口。搭建 RAG 知识库掌握文档切分、向量检索。编写 Agent 流程让模型能够调用工具完成业务操作。用成熟框架开发稳定接口处理限流、降级、超时、成本控制。这些能力恰好是 Java 后端平时就在练的。应用层开发不需要从零开始学算法这是一个很现实的机会点。1.3 Java 技术栈在 AI 应用开发中的实际位置AI 应用整体可以分成几层基础设施层GPU 集群、模型训练框架、部署推理平台。模型层通用大模型、行业模型、开源模型。应用层业务逻辑、工作流、数据存储、接口封装、前端交互。Java 后端主要在应用层发力。应用层通过 HTTP 或 SDK 调用模型层能力同时承担业务规则、权限、数据持久化、异步任务、消息通知等职责。大模型对应用层来说就像一个“能力很强但偶尔会出错的第三方接口”。理解了这一点就不会把转型想得太复杂。接下来可以把它当做一个新的后端技术栈去学习。2. 环境准备与版本说明2.1 语言与框架版本本文示例以 Java 17 为基础框架使用 Spring Boot 3.x。如果你的公司还在用 Spring Boot 2.x 或 JDK 8也不要着急核心思路类似只是部分 API 和依赖坐标需要替换。版本建议如下JDK17 或 21。Spring Boot3.3。构建工具Maven 3.8。HTTP 客户端Spring RestClient。大模型服务部分示例采用 OpenAI 兼容协议。市面上很多模型服务商会提供这种兼容接口你只需要替换 Base URL、API Key 和模型名称。Spring AI 也是一个很好的上层集成框架但因为它迭代速度比较快本文先用手写 HTTP 调用的方式讲清楚原理后续再切换到 Spring AI 会更轻松。2.2 开发工具推荐使用 IntelliJ IDEA 社区版或旗舰版配合 Maven 和 Git。接口调试可以使用 Postman、Apifox也可以直接用 curl。如果你有 Docker 环境后面想折腾向量数据库可以省不少事。不过本文第一版 RAG 示例会使用内存向量存储不依赖 Docker方便直接运行。2.3 示例项目结构下面是实战部分会使用的项目结构ai-demo/ ├── pom.xml ├── src/main/java/com/example/ai/ │ ├── AiApplication.java │ ├── config/ │ │ ├── AiProperties.java │ │ └── RestClientConfig.java │ ├── service/ │ │ ├── AiChatService.java │ │ └── RagService.java │ ├── rag/ │ │ ├── TextSplitter.java │ │ └── VectorStore.java │ └── controller/ │ └── AiController.java └── src/main/resources/ ├── application.properties └── docs/sample.txt第一次接触时不需要追求大而全先把最小闭环跑通再逐步替换成公司里的工程结构。3. 核心知识拆解3.1 大模型 API 调用先理解请求和响应大模型 API 本质上就是一个 HTTP 接口。你把对话消息发过去模型返回文本结果。以 OpenAI 兼容协议为例最核心的请求结构是{ model: chat-model-name, messages: [ {role: system, content: 你是Java后端AI助手}, {role: user, content: 请介绍一下Spring Boot} ] }响应中包含choices[0].message.content这就是模型生成的文本。用 curl 测试非常直观curl https://your-llm-api.example.com/v1/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer $LLM_API_KEY \ -d { model: chat-model-name, messages: [{role: user, content: 你好请用一句话介绍你自己}] }这里的your-llm-api.example.com需要替换成实际服务商的 Base URL。不同服务商对请求格式的兼容度可能略有差异但大体结构一致。在 Java 里我们不需要引入任何大模型 SDK用 Spring 的 RestClient 就能完成请求MapString, Object requestBody Map.of( model, props.getChatModel(), messages, List.of( Map.of(role, system, content, 你是Java后端技术助手), Map.of(role, user, content, userMessage) ), temperature, 0.7 ); JsonNode response restClient.post() .uri(/chat/completions) .body(requestBody) .retrieve() .body(JsonNode.class); return response.at(/choices/0/message/content).asText();这段代码就是把 HTTP 请求封装成方法。你可能会问直接用 RestClient 调用和用 Spring AI 有什么区别区别在于 Spring AI 帮你屏蔽了模型差异提供了 Prompt 模板、输出解析、对话记忆、Embedding 封装等能力。但如果没有手动调用过 API直接学习 Spring AI 反而容易不理解底层原理。3.2 Prompt 工程与结构化输出Prompt 是给模型的输入决定模型输出的质量。很多人刚开始学 AI 应用开发容易把 Prompt 等同于“提问”其实它是应用逻辑的一部分。一个很核心的技巧是让模型输出 JSON。例如让模型从一段客服工单中抽取结构化信息请从用户描述中抽取“客户等级”“问题类型”“紧急程度”只输出JSON不要输出其他内容。 格式示例{level: VIP, type: 退款, priority: high}在 Java 后端中用 ObjectMapper 解析这段 JSON就能把大模型输出转换成业务对象。不少模型服务商提供 JSON Mode 或者response_format参数可以让输出更加稳定。这里有一个常见误区以为模型返回的一定是合法 JSON。实际上模型可能带输代码块标记、前后有多余文字。生产环境要做二次解析兜底并添加“解析失败重试一次”的逻辑。3.3 RAG检索增强生成RAG 是 AI 应用开发中非常重要的技术。它解决的是大模型“不知道你的私有数据”和“可能编造事实”这两个问题。RAG 全称 Retrieval-Augmented Generation检索增强生成。流程可以概括为把文档切分成小块。对每一块文本生成向量存入向量数据库。用户提问时把问题也转成向量。在向量库中找到最相似的文档片段。把问题 相关片段 系统提示词一起发给大模型。模型基于给定材料生成回答。这样做的好处是模型不需要记住你的文档只需要每次从知识库中检索相关片段。回答有依据且可以随时更新知识库不需要重新训练模型。Java 后端在 RAG 链路中要做的事情包括文档加载、文本切分、Embedding 调用、向量存储和查询、Prompt 拼接、Chat API 调用。每一环都不复杂但组合起来需要注意很多细节。3.4 Function Calling 与 AgentFunction Calling 是模型在对话过程中请求调用某个函数的机制。简单理解模型知道自己能力边界当它需要实时数据或执行业务操作时会输出一个结构化调用请求例如“查询订单状态”。Agent 进一步把大模型变成业务流程引擎。典型流程是用户给出目标。模型分析需要哪些工具。调用你提供的函数。拿到工具结果后再次推理。循环直到完成目标。Java 后端很适合写 Agent 的底层工具层因为业务系统对接的是 Java 服务。比如模型可以调用“查询库存”“创建工单”“发送短信”等函数这些函数实际由 Spring Service 实现再把结果返回给模型。4. 从 Java 后端到 AI 应用的迁移路径4.1 复用 Spring Boot 作为 AI 应用底座不需要为了 AI 应用开发重新选一套框架Spring Boot 完全可以作为底座。你过去熟悉的 Controller、Service、Repository 分层可以继续沿用。AI 相关能力作为 Service 的一部分暴露出来例如AiChatService、RagService。这样做的好处是对团队友好代码结构容易理解。4.2 设计一个对话式 AI 服务一个最简单的 AI 服务可以这样分层Controller接收 HTTP 请求返回响应。Service调用大模型 API处理业务逻辑。Config保存模型配置创建 HTTP 客户端。相比普通接口多了一个“Prompt 构造”环节。很多团队会单独维护一份 Prompt 模板文件方便产品人员和开发人员一起调整。4.3 集成向量数据库第一阶段直接在代码里写一个内存 Map 存放向量就能跑通 RAG。生产环境则需要真正的向量数据库。常见选型有PostgreSQL pgvector适合数据量可控、团队不想引入太重组件。Milvus适合大规模向量检索功能丰富。Elasticsearch如果已有的检索体系是 ES可以复用。Redis 向量模块适合低延迟查询。不同的向量数据库对依赖、部署和写入策略要求不同建议先把 RAG 流程跑通再根据数据量和 QPS 选型。不要一上来就折腾分布式向量数据库否则很容易被运维问题淹没。4.4 流式响应大模型生成文本通常比较慢如果让接口等到全部生成完再返回用户体验很差。更常见的做法是使用 SSE即 Server-Sent Events把模型返回的每个片段实时推送给前端。SSE 和普通文本流的大致思路是客户端 - POST /api/chat/stream 服务端 - 接收到问题 服务端 - 调用大模型流式接口 服务端 - 通过SSE逐字返回 前端 - EventSource 接收并渲染在 Spring 中可以使用SseEmitter实现。流式接口除了提升体验还能让用户在等待过程中看到“模型正在生成”减少焦虑感。这是 AI 应用开发里非常值得掌握的交互方式。5. 完整实战案例Java Spring Boot 的文档问答助手下面我们用前面学的知识做一个可以运行的 AI 文档问答助手。目标是先把本地文档拆成小段调用 Embedding 接口生成向量检索出最相关片段再让大模型基于片段回答问题。5.1 项目依赖创建 Spring Boot 3 项目时引入 web 和 validation 依赖即可dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-validation/artifactId /dependencyJackson 会由 Spring Boot 自动引入不需要额外添加。配置信息放在application.propertiesspring.application.nameai-demo server.port8080 # 大模型服务商地址请替换为实际服务商文档提供的内容 ai.api-base-urlhttps://your-llm-api.example.com/v1 ai.api-key${LLM_API_KEY} # 模型名称请按服务商文档填写 ai.chat-modelchat-model-name ai.embedding-modelembedding-model-name # 单个文档块最大字符数 ai.chunk-size500 ai.chunk-overlap50 ai.top-k3 ai.max-context-length2000这里把 API Key 用环境变量${LLM_API_KEY}注入避免把真实密钥提交到 Git。5.2 编写配置类创建AiProperties.java读取配置package com.example.ai.config; import org.springframework.boot.context.properties.ConfigurationProperties; ConfigurationProperties(prefix ai) public class AiProperties { private String apiBaseUrl; private String apiKey; private String chatModel; private String embeddingModel; private int chunkSize; private int chunkOverlap; private int topK; private int maxContextLength; public String getApiBaseUrl() { return apiBaseUrl; } public void setApiBaseUrl(String apiBaseUrl) { this.apiBaseUrl apiBaseUrl; } public String getApiKey() { return apiKey; } public void setApiKey(String apiKey) { this.apiKey apiKey; } public String getChatModel() { return chatModel; } public void setChatModel(String chatModel) { this.chatModel chatModel; } public String getEmbeddingModel() { return embeddingModel; } public void setEmbeddingModel(String embeddingModel) { this.embeddingModel embeddingModel; } public int getChunkSize() { return chunkSize; } public void setChunkSize(int chunkSize) { this.chunkSize chunkSize; } public int getChunkOverlap() { return chunkOverlap; } public void setChunkOverlap(int chunkOverlap) { this.chunkOverlap chunkOverlap; } public int getTopK() { return topK; } public void setTopK(int topK) { this.topK topK; } public int getMaxContextLength() { return maxContextLength; } public void setMaxContextLength(int maxContextLength) { this.maxContextLength maxContextLength; } }ConfigurationProperties需要被 Spring 扫描到。我们可以结合EnableConfigurationProperties显式注册。5.3 配置 RestClient创建RestClientConfig.java把服务商地址和鉴权信息统一注入package com.example.ai.config; import org.springframework.boot.context.properties.EnableConfigurationProperties; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.http.client.SimpleClientHttpRequestFactory; import org.springframework.web.client.RestClient; Configuration EnableConfigurationProperties(AiProperties.class) public class RestClientConfig { Bean public RestClient restClient(AiProperties props) { SimpleClientHttpRequestFactory factory new SimpleClientHttpRequestFactory(); factory.setConnectTimeout(10_000); factory.setReadTimeout(60_000); return RestClient.builder() .baseUrl(props.getApiBaseUrl()) .requestFactory(factory) .defaultHeader(Authorization, Bearer props.getApiKey()) .defaultHeader(Content-Type, application/json) .build(); } }这里设置 10 秒连接超时和 60 秒读取超时。大模型接口响应通常比普通接口慢读取超时最好设置得宽松一些。5.4 文本切分器RAG 的第一步是切分文档。实际项目中可以按标题、段落、语义切分这里先按固定窗口切分并允许相邻片段保留重叠区域减少关键信息断裂package com.example.ai.rag; import org.springframework.stereotype.Component; import java.util.ArrayList; import java.util.List; Component public class TextSplitter { public ListString split(String text, int chunkSize, int overlap) { ListString chunks new ArrayList(); if (text null || text.isEmpty()) { return chunks; } int start 0; while (start text.length()) { int end Math.min(start chunkSize, text.length()); String chunk text.substring(start, end); if (!chunk.isBlank()) { chunks.add(chunk); } if (end text.length()) { break; } start chunkSize - overlap; } return chunks; } }切分粒度会影响检索质量。切得太小语义不完整切得太大容易混入无关内容。500 个字符左右是一个适合中文文档的起点。5.5 向量存储与检索先用内存 Map 保存向量。键是文档片段值是向量数组。检索时计算余弦相似度package com.example.ai.rag; import org.springframework.stereotype.Component; import java.util.List; import java.util.Map; import java.util.concurrent.ConcurrentHashMap; Component public class VectorStore { private final MapString, ListDouble store new ConcurrentHashMap(); public void save(String chunk, ListDouble vector) { store.put(chunk, vector); } public ListDouble get(String chunk) { return store.get(chunk); } public MapString, ListDouble entries() { return store; } public void clear() { store.clear(); } }计算余弦相似度的方法public double cosineSimilarity(ListDouble a, ListDouble b) { if (a null || b null || a.size() ! b.size()) { return 0; } double dot 0; double normA 0; double normB 0; for (int i 0; i a.size(); i) { dot a.get(i) * b.get(i); normA a.get(i) * a.get(i); normB b.get(i) * b.get(i); } if (normA 0 || normB 0) { return 0; } return dot / (Math.sqrt(normA) * Math.sqrt(normB)); }真实项目会使用向量数据库提供的近似最近邻检索但原理是一样的。5.6 核心 RAG 服务下面的RagService是完整示例的入口。它负责加载文档、切分、生成向量、检索、构造 Prompt 并调用大模型package com.example.ai.service; import com.example.ai.config.AiProperties; import com.example.ai.rag.TextSplitter; import com.example.ai.rag.VectorStore; import com.fasterxml.jackson.databind.JsonNode; import com.fasterxml.jackson.databind.ObjectMapper; import org.springframework.core.io.ClassPathResource; import org.springframework.stereotype.Service; import org.springframework.web.client.RestClient; import java.nio.charset.StandardCharsets; import java.util.Comparator; import java.util.HashMap; import java.util.List; import java.util.Map; Service public class RagService { private final RestClient restClient; private final AiProperties props; private final TextSplitter textSplitter; private final VectorStore vectorStore; private final ObjectMapper objectMapper; public RagService(RestClient restClient, AiProperties props, TextSplitter textSplitter, VectorStore vectorStore, ObjectMapper objectMapper) { this.restClient restClient; this.props props; this.textSplitter textSplitter; this.vectorStore vectorStore; this.objectMapper objectMapper; } public String ask(String question) { ListString relatedChunks search(question); String context String.join(\n\n, relatedChunks); String prompt 请根据以下资料回答问题如果资料中没有答案请直接说明资料中未提及。\n\n资料\n context \n\n问题 question; MapString, Object requestBody Map.of( model, props.getChatModel(), messages, List.of( Map.of(role, system, content, 你是企业知识库助手回答需要简洁准确), Map.of(role, user, content, prompt) ), temperature, 0.3 ); JsonNode response restClient.post() .uri(/chat/completions) .body(requestBody) .retrieve() .body(JsonNode.class); if (response null || response.hasNonNull(error)) { throw new RuntimeException(模型服务返回异常: response); } return response.at(/choices/0/message/content).asText(); } private ListString search(String question) { ListDouble questionVector embedding(question); return vectorStore.entries().stream() .sorted(Comparator.comparingDouble( entry - -cosineSimilarity(questionVector, entry.getValue()))) .limit(props.getTopK()) .map(Map.Entry::getKey) .toList(); } private ListDouble embedding(String text) { MapString, Object requestBody Map.of( model, props.getEmbeddingModel(), input, text ); JsonNode response restClient.post() .uri(/embeddings) .body(requestBody) .retrieve() .body(JsonNode.class); if (response null || response.hasNonNull(error)) { throw new RuntimeException(Embedding接口异常); } return objectMapper.convertValue( response.at(/data/0/embedding), List.class ); } private double cosineSimilarity(ListDouble a, ListDouble b) { if (a null || b null || a.size() ! b.size()) { return 0; } double dot 0; double normA 0; double normB 0; for (int i 0; i a.size(); i) { dot a.get(i) * b.get(i); normA a.get(i) * a.get(i); normB b.get(i) * b.get(i); } if (normA 0 || normB 0) { return 0; } return dot / (Math.sqrt(normA) * Math.sqrt(normB)); } public void loadDocument(String classpathResource) throws Exception { ClassPathResource resource new ClassPathResource(classpathResource); String content new String(resource.getInputStream().readAllBytes(), StandardCharsets.UTF_8); ListString chunks textSplitter.split(content, props.getChunkSize(), props.getChunkOverlap()); for (String chunk : chunks) { ListDouble vector embedding(chunk); vectorStore.save(chunk, vector); } } }启动时加载一次文档。你可以写一个ApplicationRunnerpackage com.example.ai.config; import com.example.ai.service.RagService; import org.springframework.boot.ApplicationArguments; import org.springframework.boot.ApplicationRunner; import org.springframework.stereotype.Component; Component public class DataInitializer implements ApplicationRunner { private final RagService ragService; public DataInitializer(RagService ragService) { this.ragService ragService; } Override public void run(ApplicationArguments args) throws Exception { ragService.loadDocument(docs/sample.txt); } }5.7 编写 Controller把 AI 能力暴露成 REST 接口package com.example.ai.controller; import com.example.ai.service.AiChatService; import com.example.ai.service.RagService; import org.springframework.web.bind.annotation.PostMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; RestController public class AiController { private final AiChatService aiChatService; private final RagService ragService; public AiController(AiChatService aiChatService, RagService ragService) { this.aiChatService aiChatService; this.ragService ragService; } PostMapping(/api/chat) public String chat(RequestParam(message) String message) { return aiChatService.chat(message); } PostMapping(/api/rag/ask) public String ask(RequestParam(question) String question) { return ragService.ask(question); } }5.8 运行与验证用 Maven 启动项目mvn spring-boot:run然后打开新的终端调用普通对话接口curl -X POST http://localhost:8080/api/chat \ -H Content-Type: application/x-www-form-urlencoded \ -d message你好请介绍一下Spring Boot调用 RAG 问答接口curl -X POST http://localhost:8080/api/rag/ask \ -H Content-Type: application/x-www-form-urlencoded \ -d question你整理的文档里提到了哪些注册中心如果资料库中有相关内容模型会基于检索片段回答而不是凭空编造。这个最小闭环已经覆盖了 AI 应用开发的完整主干后续可以继续替换组件。6. 常见问题与排查思路6.1 模型接口返回 401 Unauthorized可能是因为 API Key 没配置或者配置错误。也可能是服务商要求认证方式不是Authorization: Bearer xxx。排查思路检查环境变量LLM_API_KEY是否已设置。在本地启动参数中临时打印一下props.getApiKey()前几位。用 curl 直接请求服务商接口排除 Java 代码问题。查看服务商文档确认鉴权 Header 格式。6.2 响应很慢或直接超时大模型接口本身延迟较高也可能网络不稳定。先看日志中请求耗时再用简单的 Prompt 测试模型服务。常用优化方案调大 RestClient 的读取超时时间。关闭模型无关参数比如不要设置过高的max_tokens。把超时响应放在异步线程中执行。对耗时接口使用流式 SSE先给用户“正在输入中”的反馈。6.3 检索结果不准答案质量差这是 RAG 项目最常见的问题根源通常不在模型而在数据链路。检查点包括文档切分是否合理是否存在把一段完整逻辑拆到两个块的情况。Embedding 模型是否适合中文场景。是否只依赖余弦相似度没有结合关键词过滤或重排序。返回给模型的上下文是否太长把无关信息也带了进去。建议先人工抽查几个问题看看向量检索排在前面的片段到底是不是正确答案。如果相关片段没问题那就是 Prompt 构造或模型选择的问题。6.4 模型输出不是合法 JSON即使要求模型只输出 JSON也可能因为返回了额外解释或代码块导致解析失败。处理方式解析前先清理字符串去掉json 和标记。使用模型服务商的 JSON Mode。解析失败时自动重试一次同时把错误信息写入日志。6.5 依赖冲突和类找不到如果使用 Spring AI 等框架版本差异很容易导致运行时找不到类。建议先锁定 Spring Boot 版本再根据 Spring AI 官方文档选择对应版本。如果是本文的手动 HTTP 调用方式主要依赖是 Spring Boot 本身冲突概率会小很多。这也是我建议新手先手写一次调用的原因。7. 最佳实践与工程建议7.1 API Key 安全管理不要把 API Key 写在配置文件并提交到 Git。推荐使用环境变量或配置中心并且按服务商要求设置额度限制和监控。如果团队使用 Nacos、Apollo 这类配置中心可以把 Key 放入配置中心通过加密配置项管理。生产环境还要定期轮换 Key防范泄露风险。7.2 成本控制与限流大模型调用是按 Token 计费的一个不设防的 AI 接口很容易被刷出高额账单。常见的成本控制手段限制单次请求的max_tokens。使用 Redis 缓存常见问题和答案。对接口做用户维度限流。对超长文档做裁剪不要无脑把全部上下文塞给模型。对失败请求做熔断避免模型服务异常时引发雪崩。在 Java 后端里可以用 Sentinel、Resilience4j 等组件实现限流熔断或者通过网关层统一拦截。7.3 日志与可观测性AI 应用的日志和普通后端不太一样。除了记录接口耗时、异常还需要记录 Prompt 和模型返回结果。大模型输出不稳定如果没有日志出问题后很难定位是数据问题、Prompt 问题还是模型本身问题。建议每条请求记录用户问题。系统 Prompt。检索到的文档片段。模型返回原文。耗时、Token 消耗。但要注意隐私合规不要让日志把用户敏感信息全部打出来。必要时要先脱敏。7.4 测试策略AI 应用测试不能只用单测验证逻辑因为模型输出具有随机性。推荐做法对 Embedding、向量检索、文件切分等纯逻辑部分做单元测试。对大模型调用部分使用 Mock Server录制固定响应避免每次测试都调外部 API。建立一个小型评估集每次修改 Prompt 或切分策略后跑一遍评估集人工对比答案质量。线上环境增加反馈按钮把用户不满意的问题沉淀成测试用例。7.5 高可用设计生产环境不要把大模型当成“永远不会挂”的内部服务。模型服务商可能限流、故障、调整版本应用层要做降级方案。可以考虑多模型 Provider 切换例如主用 A 服务商B 服务商作为备用。模型返回异常时快速切换。另外面向用户的 AI 功能最好加一个“AI 暂不可用”的兜底响应而不是让整个接口 500。8. 学习路线图与资源建议8.1 第一阶段理解大模型与 API 调用用 3 到 5 天完成基础接入。目标是能够用 Java 或 curl 调用大模型 API实现一个「发送消息 - 返回结果」的简单问答接口。这个阶段不需要关注复杂算法只需要理解大模型是怎么通过 HTTP 提供能力的。系统角色、用户角色、助手角色区别。Token 与上下文的含义。Temperature 等参数对输出的影响。8.2 第二阶段完成一个 Spring Boot AI 小项目用一周时间把第一阶段的知识落到项目中。建议实现一个带前端页面的 AI 助手可以是一个简单的客服问答页面也可以是代码解释工具。这一阶段的价值在于激活你已有的 Spring Boot 工程能力接口设计、参数校验、异常处理、异步、日志。尽量强迫自己写出分层清晰、可扩展的代码而不是把所有逻辑塞进 Controller。8.3 第三阶段掌握 RAG这是 AI 应用开发的核心可视化成果。可以从“本地文档问答”开始逐步加入文本切分策略。Embedding 模型选择。向量数据库。多路召回与重排序。上下文裁剪。建议至少完整做完一个“帮助中心文档问答机器人”项目。过程中你需要自己设计向量表结构、编写检索接口、处理知识库更新问题。8.4 第四阶段深入 Agent 与工作流当你对 RAG 比较熟练后可以学习 Function Calling、Agent 编排。尝试让模型调用查询接口、数据库接口、消息推送接口实现一个能自动执行任务的小系统。这个阶段可以关注 Spring AI 的进展。Spring AI 提供了 ChatClient、EmbeddingModel、VectorStore 等抽象能够帮你节省不少底层代码。但学习时一定要对着官方文档因为版本变化较快。8.5 第五阶段工程化与面试到了这个阶段你已经能完成 AI 应用开发的核心动作了。接下来要补的是业务落地能力监控与告警。成本分析。内容安全过滤。私有化部署方案。团队协作与 Prompt 版本管理。面试时比起背 Prompt 模板面试官更愿意听到你讲清楚一个完整链路文档是怎么索引的检索质量怎么评估模型调用失败怎么办日志怎么排查。因此给自己留一个 mini 项目持续迭代是比看大量视频更有效的方式。9. 转型心得不要丢掉 Java 后端基本功转型 AI 应用开发最怕的是把原来的 Java 技巧全丢掉然后去和算法工程师抢位置。实际上企业里更缺的是“能稳定交付 AI 功能的人”。Java 后端转型时要注意组合两个能力一是大模型应用开发的模式二是传统的工程治理能力。比如数据库事务、分布式锁、消息队列、监控告警、权限安全这些经验在 AI 应用里同样关键。建议你现在就动手做一个小任务找一个自己熟悉的业务场景比如“内部员工规章制度问答”用前面给出的示例代码跑通。不要纠结选哪个大模型也不要纠结选哪个向量库先把最小链路跑通。跑通之后再逐步替换成生产级组件。当你能够清楚地说出“我的系统里文档是怎么切分的、检索结果是否可靠、模型出错如何降级、成本如何控制”时你已经是一名合格的 AI 应用开发工程师了。