1.集成生态全景解析构建企业级智能体系统的集成之道2.长期记忆集成深度解析让智能体真正“记住“用户3.Agent 状态存储AgentStateStore深度解析构建可恢复、可扩展的智能体运行时4.RAG 知识库集成全攻略从自建向量库到第三方平台一篇讲透5.技能仓库Skill Repository完全实战指南6.协议集成全景解析A2A、AG-UI、Agent Protocol 三大开放协议实战指南7.集成 Higress AI 网关智能体流量治理的生产级实战8.深度集成 Nacos智能体注册发现、技能管理与动态治理全实战9.集成 Scheduler 调度器让智能体“按时上班“的生产级定时调度实战10.集成 Chat Completions Web一行依赖让你的 Agent 变身 OpenAI 兼容服务11.集成在线训练Training让你的 Agent 越用越聪明一、引言模型上线那天就是它开始退化的那天AI Agent 已全面进入生产运营阶段。在客服自动化、运维诊断、数据查询、业务流程编排等场景中Agent 通过调用工具、规划任务、与用户多轮交互展现出显著的生产力价值。为适配特定业务需求开发者普遍基于开源大语言模型LLM采用监督微调SFT、强化微调RFT等技术对 Agent 进行定制化优化在推理成本、响应延迟与任务成功率之间寻求最佳平衡。然而模型一旦部署上线其能力便趋于静态。退化场景具体表现业务变化产品上新、政策调整Agent 无法适应新规则工具演进内部系统接口升级Agent 调用方式过时用户行为漂移用户提问方式变化Agent 理解准确率下降竞争压力新模型发布旧模型性价比优势消失长尾问题训练数据未覆盖的边缘场景持续暴露核心矛盾传统训练 → 部署 → 等下次训练的离线模式无法应对生产环境的持续变化。AgentScope Java 的解法通过 agentscope-extensions-training 插件将Trinity-RFT强化微调框架深度集成到 Agent 运行时构建一条高效、安全、可落地的端到端在线训练路径——让 Agent 边运行边进化。二、什么是在线训练2.1 定义在线训练Online Training是一种在生产环境的实时系统中利用真实用户交互数据持续优化智能体Agent行为的训练范式。与传统离线训练的核心区别维度离线训练传统在线训练AgentScope数据来源预先标注的静态数据集生产环境实时交互轨迹训练时机开发阶段 / 定期批量运行中持续进行更新频率周级 / 月级小时级 / 天级数据新鲜度可能过时始终反映最新业务部署影响需要停机或灰度切换模型热更新零停机反馈闭环人工标注 → 训练 → 评估自动采集 → 训练 → 验证 → 上线2.2 核心价值传统模式 训练数据(静态) → 模型训练 → 部署上线 → [能力固化] → 人工发现问题 → 重新训练 → 重新部署 在线训练模式 部署上线 → 持续采集真实交互 → 自动训练优化 → 模型热更新 → [持续进化] ↑ │ └────────────────── 反馈闭环 ──────────────────────────────┘三、架构设计三组件解耦式在线训练3.1 核心架构AgentScope Java 在线训练方案采用解耦式架构将在线训练流程划分为三个独立组件支持灵活部署与独立扩缩容┌─────────────────────────────────────────────────────────────────────┐ │ 生产环境Agent 运行时 │ │ │ │ ┌───────────────────────────────────────────────────────────────┐ │ │ │ AgentScope Java Agent │ │ │ │ │ │ │ │ 用户请求 → ReAct 推理循环 → 工具调用 → 生成响应 → 返回用户 │ │ │ │ │ │ │ │ │ │ └──── ① DataCollector数据采集器──────────┘ │ │ │ │ │ │ │ │ └────────────────────┼──────────────────────────────────────────┘ │ └───────────────────────┼─────────────────────────────────────────────┘ │ 轨迹数据异步写入 ↓ ┌─────────────────────────────────────────────────────────────────────┐ │ ② TrajectoryStore轨迹存储 │ │ │ │ ┌───────────────────────────────────────────────────────────────┐ │ │ │ • 对话历史多轮 messages │ │ │ │ • 工具调用记录tool_name, input, output │ │ │ │ • Agent 推理过程思考链 / ReAct 步骤 │ │ │ │ • 用户反馈信号点赞/点踩/评分/隐式信号 │ │ │ │ • 任务完成状态成功/失败/超时 │ │ │ │ • 元数据时间戳、模型版本、Agent 版本 │ │ │ └───────────────────────────────────────────────────────────────┘ │ └───────────────────────┬─────────────────────────────────────────────┘ │ 训练数据批量读取 ↓ ┌─────────────────────────────────────────────────────────────────────┐ │ ③ TrainingRunner训练调度器 │ │ │ │ ┌───────────────────────────────────────────────────────────────┐ │ │ │ • 数据筛选与质量评估 │ │ │ │ • 训练任务编排SFT / RFT / 蒸馏 │ │ │ │ • 调用 Trinity-RFT 执行分布式训练 │ │ │ │ • 模型评估与验证 │ │ │ │ • 模型热更新推送新权重到推理服务 │ │ │ └───────────────────────────────────────────────────────────────┘ │ └─────────────────────────────────────────────────────────────────────┘ │ ↓ ┌─────────────────────────────────────────────────────────────────────┐ │ Trinity-RFT 训练引擎GPU 集群 │ │ │ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────────────┐ │ │ │ SFT │ │ PPO │ │ GRPO │ │ 知识蒸馏 │ │ │ │(监督微调) │ │(强化学习) │ │(组相对) │ │ (大模型→小模型) │ │ │ └──────────┘ └──────────┘ └──────────┘ └──────────────────┘ │ └─────────────────────────────────────────────────────────────────────┘3.2 三大组件职责| 组件 | 职责 | 部署位置 || ① DataCollector | 嵌入 Agent 运行时自动采集交互轨迹 | 与 Agent 同进程 / 同 Pod || ② TrajectoryStore | 持久化存储轨迹数据支持查询与筛选 | 独立服务数据库/对象存储 || ③ TrainingRunner | 调度训练任务调用 Trinity-RFT管理模型版本 | 独立 GPU 集群 / 训练平台 | 设计哲学三个组件完全解耦可以独立部署、独立扩缩容、独立升级。数据采集不影响推理性能训练不影响在线服务。四、核心能力详解4.1 自动化数据采集数据采集、轨迹存储、训练调度等流程由框架自动完成大幅降低工程复杂度。开发者无需手动编写数据管道代码。采集内容// 框架自动采集的数据结构无需手动编码publicclassAgentTrajectory{privateStringsessionId;// 会话标识privateStringagentName;// Agent 名称privateStringmodelVersion;// 模型版本privateListMessagemessages;// 完整对话历史privateListToolCalltoolCalls;// 工具调用记录privateListReasoningStepsteps;// ReAct 推理步骤privateFeedbackSignalfeedback;// 用户反馈privateTaskResultresult;// 任务完成状态privatelongtimestamp;// 时间戳privateMapString,Stringmetadata;// 扩展元数据}反馈信号类型信号类型来源说明显式正反馈用户点赞 / “有帮助”高质量正样本显式负反馈用户点踩 / “没帮助”高优先级优化目标隐式正反馈用户采纳建议 / 完成任务中等强度正信号隐式负反馈用户重复提问 / 切换人工中等强度负信号任务结果工具调用成功/失败客观执行结果评分用户打分1~5连续值反馈4.2 统一训练接口底层深度集成Trinity-RFTv0.4原生支持多种主流优化范式训练范式说明适用场景SFT监督微调基于高质量问答对进行有监督学习新增能力 / 纠正错误PPO近端策略优化基于奖励模型的强化学习优化对话策略 / 工具选择GRPO组相对策略优化无需额外奖励模型的强化学习降低训练成本知识蒸馏大模型能力迁移到小模型降低推理成本 关键价值开发者无需切换训练框架亦无需深入分布式训练细节即可使用前沿优化技术。4.3 模型热更新训练完成后新模型权重通过热更新机制推送到推理服务实现零停机切换训练完成 → 模型评估 → 通过验证 → 推送新权重 → 推理服务热加载 → 生效 ↓ 旧版本保留支持秒级回滚4.4 安全与质量保障机制说明数据脱敏采集前自动过滤敏感信息手机号、身份证等质量评估训练数据经过自动化质量打分低质数据自动过滤A/B 验证新模型先灰度 5%~10% 流量验证效果后全量切换自动回滚新模型效果指标下降时自动回滚到上一版本训练隔离训练在独立 GPU 集群执行不影响在线推理五、快速上手集成在线训练插件5.1 添加依赖!-- AgentScope Java 在线训练插件 --dependencygroupIdio.agentscope/groupIdartifactIdagentscope-extensions-training/artifactIdversion${agentscope.version}/version/dependency5.2 配置数据采集器# application.ymlagentscope:training:enabled:true# 数据采集配置data-collector:# 采集策略collect-mode:full# full全量/ sampled采样sample-rate:0.1# 采样率 10%生产环境推荐# 存储后端store-type:oss# oss / local / databasestore-endpoint:oss-cn-hangzhou.aliyuncs.comstore-bucket:agent-trajectories# 脱敏配置desensitize:enabled:truepatterns:-phone-id_card-email# 训练调度配置training-runner:# Trinity-RFT 服务地址trinity-endpoint:http://trinity-rft-service:8080# 训练触发策略trigger:type:scheduled# scheduled / threshold / manualcron:0 0 2 * * ?# 每天凌晨 2 点# 或数据量达到阈值时触发# type: threshold# min-samples: 1000# 训练算法algorithm:sft# sft / ppo / grpo / distillation# 基座模型base-model:qwen2.5-7b-instruct# 训练超参数hyperparams:learning-rate:2e-5batch-size:16epochs:3warmup-ratio:0.1# 模型更新配置model-update:auto-deploy:true# 训练完成后自动部署canary-ratio:0.05# 灰度 5% 流量rollback-on-degradation:true# 效果下降自动回滚evaluation-metrics:-task-success-rate-user-satisfaction-response-latency5.3 编程式配置高级importio.agentscope.extensions.training.TrainingConfig;importio.agentscope.extensions.training.DataCollectorConfig;importio.agentscope.extensions.training.TrainingRunnerConfig;ConfigurationpublicclassTrainingConfiguration{BeanpublicTrainingConfigtrainingConfig(){returnTrainingConfig.builder()// 数据采集.dataCollector(DataCollectorConfig.builder().collectMode(CollectMode.SAMPLED).sampleRate(0.1).storeType(StoreType.OSS).desensitizeEnabled(true).build())// 训练调度.trainingRunner(TrainingRunnerConfig.builder().trinityEndpoint(http://trinity-rft:8080).algorithm(TrainingAlgorithm.SFT).baseModel(qwen2.5-7b-instruct).triggerCron(0 0 2 * * ?).build())// 模型更新.modelUpdate(ModelUpdateConfig.builder().autoDeploy(true).canaryRatio(0.05).rollbackOnDegradation(true).build()).build();}}5.4 自定义反馈信号采集importio.agentscope.extensions.training.FeedbackCollector;importio.agentscope.extensions.training.FeedbackSignal;RestControllerRequestMapping(/feedback)publicclassFeedbackController{privatefinalFeedbackCollectorfeedbackCollector;PostMapping(/rate)publicResponseEntityVoidrateSession(RequestParamStringsessionId,RequestParamintscore){// 1~5 分// 采集用户评分作为训练信号feedbackCollector.collect(FeedbackSignal.builder().sessionId(sessionId).type(FeedbackType.USER_RATING).value(score).timestamp(System.currentTimeMillis()).build());returnResponseEntity.ok().build();}PostMapping(/thumbs)publicResponseEntityVoidthumbsUpDown(RequestParamStringsessionId,RequestParambooleanhelpful){feedbackCollector.collect(FeedbackSignal.builder().sessionId(sessionId).type(helpful?FeedbackType.POSITIVE:FeedbackType.NEGATIVE).build());returnResponseEntity.ok().build();}}六、Trinity-RFT底层训练引擎6.1 项目定位Trinity-RFT是 AgentScope 团队开源的后训练框架GitHub: agentscope-ai/Trinity-RFT专为 Agentic 应用的强化学习训练设计。特性说明Agentic 原生专为 Agent 场景设计多轮对话、工具调用、任务规划多算法支持SFT、PPO、GRPO、DPO、知识蒸馏分布式训练支持多机多卡大规模训练数据管道内置数据清洗、格式化、增强管道评估框架集成 OpenJudge 智能体模型评测模型管理版本管理、A/B 测试、灰度发布6.2 支持的训练算法┌─────────────────────────────────────────────────────────────────┐ │ Trinity-RFT 算法矩阵 │ ├─────────────────┬───────────────────────────────────────────────┤ │ SFT │ 基于高质量标注数据的有监督微调 │ │ │ 适用新增能力、纠正明确错误 │ ├─────────────────┼───────────────────────────────────────────────┤ │ PPO │ 基于奖励模型的近端策略优化 │ │ │ 适用优化对话策略、工具选择偏好 │ ├─────────────────┼───────────────────────────────────────────────┤ │ GRPO │ 组相对策略优化无需额外奖励模型 │ │ │ 适用降低训练成本、快速迭代 │ ├─────────────────┼───────────────────────────────────────────────┤ │ DPO │ 直接偏好优化 │ │ │ 适用基于用户偏好对比数据优化 │ ├─────────────────┼───────────────────────────────────────────────┤ │ 知识蒸馏 │ 大模型 → 小模型能力迁移 │ │ │ 适用降低推理成本、边缘部署 │ └─────────────────┴───────────────────────────────────────────────┘6.3 与 AgentScope 的集成方式AgentScope Java Agent生产运行时 │ │ ① 自动采集交互轨迹 ↓ TrajectoryStore轨迹存储 │ │ ② 批量导出训练数据 ↓ TrainingRunner训练调度 │ │ ③ 调用 Trinity-RFT API ↓ Trinity-RFTGPU 集群 │ │ ④ 输出新模型权重 ↓ Model Registry模型仓库 │ │ ⑤ 热更新推送 ↓ 推理服务vLLM / TGI / 百炼 │ │ ⑥ Agent 自动使用新模型 ↓ AgentScope Java Agent进化后七、典型应用场景7.1 智能客服持续优化场景电商客服 Agent 每天处理 10 万 对话 Week 1Agent 上线处理退换货问题准确率 82% ↓ 采集用户反馈点赞/点踩/转人工率 Week 2在线训练触发使用 5000 条高质量轨迹 SFT ↓ 模型热更新 Week 3退换货准确率提升至 89% ↓ 持续采集 Week 4新政策上线7天无理由改为15天Agent 自动适应 ↓ 2天内通过在线训练学会新规则 Week 5准确率稳定在 93%7.2 运维 Agent 工具调用优化场景SRE Agent 负责告警诊断与自动修复 问题Agent 经常选错诊断工具该用 kubectl 时用了 docker ↓ 在线训练 1. 采集所有工具调用轨迹 2. 标记成功/失败的调用链 3. 使用 PPO 强化工具选择策略 4. 奖励函数任务完成率 × 响应速度 ↓ 效果工具选择准确率从 71% → 94%7.3 代码审查 Agent 蒸馏降本场景代码审查 Agent 使用 qwen-max成本高 目标将能力蒸馏到 qwen-7b成本降低 90% 流程 1. qwen-max 处理 10000 条代码审查任务 2. 采集完整推理轨迹 审查结论 3. 使用知识蒸馏训练 qwen-7b 4. 评估审查准确率保持 95% 5. 灰度切换 → 全量上线 ↓ 成本月均模型调用费用从 ¥50,000 降至 ¥5,0007.4 多轮对话策略优化场景旅行规划 Agent 需要多轮交互收集用户偏好 问题Agent 经常一次性问太多问题用户体验差 在线训练GRPO - 正样本分 2~3 轮逐步收集用户完成规划 - 负样本一次问 5 个问题用户放弃 - 奖励用户完成率 交互轮次合理性 ↓ 效果用户完成率从 62% → 85%八、与 AgentScope 生态的协同8.1 与事件系统的联动AgentScope Java 2.0 内置 28 种类型化事件在线训练插件通过事件系统实现零侵入采集Agent 推理事件流 RUN_STARTED → TEXT_MESSAGE_CONTENT → TOOL_CALL_START → TOOL_CALL_END → TEXT_MESSAGE_CONTENT → RUN_FINISHED │ ↓ DataCollector 自动监听 轨迹数据自动写入 TrajectoryStore 关键开发者无需在业务代码中手动埋点事件系统自动完成数据采集。8.2 与可观测体系的联动在线训练指标 → OpenTelemetry → Grafana Dashboard 监控面板 ├─ 训练数据量趋势每日新增轨迹数 ├─ 数据质量分布高/中/低质量占比 ├─ 训练任务状态排队/执行中/完成/失败 ├─ 模型版本历史各版本效果对比 ├─ 灰度效果新旧模型 A/B 指标 └─ 回滚记录触发原因、恢复时间8.3 与 Higress 网关的联动Higress AI 网关 ├─ 记录每次模型调用的 Token 消耗 ├─ 标记请求使用的模型版本 ├─ 支持按模型版本分流灰度 └─ 提供模型切换的流量控制 ↓ 在线训练产出的新模型 → 通过 Higress 灰度放量8.4 与 Nacos 的联动Nacos Config Service ├─ 训练配置动态下发学习率、批次大小等 ├─ 模型版本路由规则灰度比例 └─ 训练开关紧急停止训练九、生产环境最佳实践9.1 数据质量管控策略实现方式目的采样率控制生产环境 5%~20% 采样平衡数据量与存储成本质量打分自动评估轨迹完整性、反馈明确性过滤低质数据去重语义相似度去重避免过拟合脱敏正则 NER 双重脱敏合规要求时间衰减近期数据权重更高适应业务变化9.2 训练安全训练前检查清单 □ 数据量 ≥ 最小阈值避免过拟合 □ 数据质量评分 ≥ 阈值 □ 无敏感信息泄露 □ 基座模型版本正确 □ GPU 资源充足 □ 回滚方案就绪 训练中监控 □ Loss 曲线正常收敛 □ 验证集指标持续提升 □ 无 NaN / Inf 异常 □ 显存使用正常 训练后验证 □ 标准评测集通过率 ≥ 基线 □ 安全性测试通过无有害输出 □ 延迟指标无退化 □ 灰度验证通过9.3 灰度发布策略阶段 1内部测试0% 外部流量 └─ 使用标准评测集 人工抽检 阶段 2小流量灰度5% 流量 └─ 对比新旧模型成功率、延迟、用户满意度 └─ 持续 24~48 小时 阶段 3扩大灰度20% → 50% └─ 确认无退化后逐步放量 阶段 4全量切换100% └─ 保留旧版本 7 天支持秒级回滚9.4 成本控制成本项优化策略存储成本采样采集 定期清理过期数据训练成本低峰期训练凌晨 竞价实例评估成本自动化评估替代人工推理成本蒸馏到小模型降低单次调用成本9.5 训练频率建议业务场景建议频率理由高频客服10万/天每日数据充足变化快中频业务1万/天每周数据积累需要时间低频专业1000/天每两周~每月避免过拟合新上线初期前两周每日快速适应十、与传统微调方案对比维度传统离线微调AgentScope 在线训练数据准备人工标注周级准备自动采集零人工训练触发手动发起自动调度Cron/阈值数据新鲜度可能过时数周始终 ≤ 24 小时部署方式手动替换模型文件自动热更新 灰度回滚能力手动回退自动检测 秒级回滚工程复杂度需要 MLOps 团队框架内置开箱即用反馈闭环月级天级 / 小时级适配语言通常 PythonJava 原生AgentScope十一、选型决策何时需要在线训练你的场景是否需要在线训练关键理由Agent 日活 100业务稳定❌ 暂不需要数据量不足手动优化即可Agent 日活 1000业务频繁变化✅ 强烈推荐持续适应业务变化有明确的用户反馈机制✅ 推荐反馈信号是训练的黄金数据使用开源模型可微调✅ 前提条件需要模型权重可修改使用闭源 API如 GPT-4❌ 不适用无法修改模型权重对成本敏感想用大模型效果小模型成本✅ 推荐知识蒸馏场景需要快速迭代周级→天级✅ 强烈推荐自动化闭环十二、Roadmap未来演进根据 AgentScope Java 官方 Roadmap在线训练能力的持续演进方向方向说明GRPO 算法支持无需额外奖励模型的强化学习降低训练门槛多 Agent 联合训练多个协作 Agent 的联合策略优化上下文工程联动训练数据自动优化 Prompt / 上下文策略联邦学习多租户数据不出域的联合训练自动数据增强基于现有轨迹自动生成变体训练数据训练效果自动归因识别哪些数据/策略变化带来了效果提升十三、总结AgentScope Java 的在线训练集成为智能体系统补上了持续进化的最后一块拼图价值维度具体收益持续优化Agent 从真实交互中学习越用越聪明零人工数据采集、训练调度、模型部署全自动安全可控脱敏、灰度、自动回滚生产级安全保障算法丰富SFT / PPO / GRPO / 蒸馏统一接口工程简化无需 MLOps 团队框架内置全链路Java 原生与 AgentScope Java 深度集成无语言切换一句话总结传统模式是训练好了再上线AgentScope 在线训练是上线了继续训练。这不是锦上添花而是 Agent 从能用到好用到持续好用的必经之路。 AgentScope Java 2.0 集成在线训练（Training）：让你的 Agent 越用越聪明
1.集成生态全景解析构建企业级智能体系统的集成之道2.长期记忆集成深度解析让智能体真正“记住“用户3.Agent 状态存储AgentStateStore深度解析构建可恢复、可扩展的智能体运行时4.RAG 知识库集成全攻略从自建向量库到第三方平台一篇讲透5.技能仓库Skill Repository完全实战指南6.协议集成全景解析A2A、AG-UI、Agent Protocol 三大开放协议实战指南7.集成 Higress AI 网关智能体流量治理的生产级实战8.深度集成 Nacos智能体注册发现、技能管理与动态治理全实战9.集成 Scheduler 调度器让智能体“按时上班“的生产级定时调度实战10.集成 Chat Completions Web一行依赖让你的 Agent 变身 OpenAI 兼容服务11.集成在线训练Training让你的 Agent 越用越聪明一、引言模型上线那天就是它开始退化的那天AI Agent 已全面进入生产运营阶段。在客服自动化、运维诊断、数据查询、业务流程编排等场景中Agent 通过调用工具、规划任务、与用户多轮交互展现出显著的生产力价值。为适配特定业务需求开发者普遍基于开源大语言模型LLM采用监督微调SFT、强化微调RFT等技术对 Agent 进行定制化优化在推理成本、响应延迟与任务成功率之间寻求最佳平衡。然而模型一旦部署上线其能力便趋于静态。退化场景具体表现业务变化产品上新、政策调整Agent 无法适应新规则工具演进内部系统接口升级Agent 调用方式过时用户行为漂移用户提问方式变化Agent 理解准确率下降竞争压力新模型发布旧模型性价比优势消失长尾问题训练数据未覆盖的边缘场景持续暴露核心矛盾传统训练 → 部署 → 等下次训练的离线模式无法应对生产环境的持续变化。AgentScope Java 的解法通过 agentscope-extensions-training 插件将Trinity-RFT强化微调框架深度集成到 Agent 运行时构建一条高效、安全、可落地的端到端在线训练路径——让 Agent 边运行边进化。二、什么是在线训练2.1 定义在线训练Online Training是一种在生产环境的实时系统中利用真实用户交互数据持续优化智能体Agent行为的训练范式。与传统离线训练的核心区别维度离线训练传统在线训练AgentScope数据来源预先标注的静态数据集生产环境实时交互轨迹训练时机开发阶段 / 定期批量运行中持续进行更新频率周级 / 月级小时级 / 天级数据新鲜度可能过时始终反映最新业务部署影响需要停机或灰度切换模型热更新零停机反馈闭环人工标注 → 训练 → 评估自动采集 → 训练 → 验证 → 上线2.2 核心价值传统模式 训练数据(静态) → 模型训练 → 部署上线 → [能力固化] → 人工发现问题 → 重新训练 → 重新部署 在线训练模式 部署上线 → 持续采集真实交互 → 自动训练优化 → 模型热更新 → [持续进化] ↑ │ └────────────────── 反馈闭环 ──────────────────────────────┘三、架构设计三组件解耦式在线训练3.1 核心架构AgentScope Java 在线训练方案采用解耦式架构将在线训练流程划分为三个独立组件支持灵活部署与独立扩缩容┌─────────────────────────────────────────────────────────────────────┐ │ 生产环境Agent 运行时 │ │ │ │ ┌───────────────────────────────────────────────────────────────┐ │ │ │ AgentScope Java Agent │ │ │ │ │ │ │ │ 用户请求 → ReAct 推理循环 → 工具调用 → 生成响应 → 返回用户 │ │ │ │ │ │ │ │ │ │ └──── ① DataCollector数据采集器──────────┘ │ │ │ │ │ │ │ │ └────────────────────┼──────────────────────────────────────────┘ │ └───────────────────────┼─────────────────────────────────────────────┘ │ 轨迹数据异步写入 ↓ ┌─────────────────────────────────────────────────────────────────────┐ │ ② TrajectoryStore轨迹存储 │ │ │ │ ┌───────────────────────────────────────────────────────────────┐ │ │ │ • 对话历史多轮 messages │ │ │ │ • 工具调用记录tool_name, input, output │ │ │ │ • Agent 推理过程思考链 / ReAct 步骤 │ │ │ │ • 用户反馈信号点赞/点踩/评分/隐式信号 │ │ │ │ • 任务完成状态成功/失败/超时 │ │ │ │ • 元数据时间戳、模型版本、Agent 版本 │ │ │ └───────────────────────────────────────────────────────────────┘ │ └───────────────────────┬─────────────────────────────────────────────┘ │ 训练数据批量读取 ↓ ┌─────────────────────────────────────────────────────────────────────┐ │ ③ TrainingRunner训练调度器 │ │ │ │ ┌───────────────────────────────────────────────────────────────┐ │ │ │ • 数据筛选与质量评估 │ │ │ │ • 训练任务编排SFT / RFT / 蒸馏 │ │ │ │ • 调用 Trinity-RFT 执行分布式训练 │ │ │ │ • 模型评估与验证 │ │ │ │ • 模型热更新推送新权重到推理服务 │ │ │ └───────────────────────────────────────────────────────────────┘ │ └─────────────────────────────────────────────────────────────────────┘ │ ↓ ┌─────────────────────────────────────────────────────────────────────┐ │ Trinity-RFT 训练引擎GPU 集群 │ │ │ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────────────┐ │ │ │ SFT │ │ PPO │ │ GRPO │ │ 知识蒸馏 │ │ │ │(监督微调) │ │(强化学习) │ │(组相对) │ │ (大模型→小模型) │ │ │ └──────────┘ └──────────┘ └──────────┘ └──────────────────┘ │ └─────────────────────────────────────────────────────────────────────┘3.2 三大组件职责| 组件 | 职责 | 部署位置 || ① DataCollector | 嵌入 Agent 运行时自动采集交互轨迹 | 与 Agent 同进程 / 同 Pod || ② TrajectoryStore | 持久化存储轨迹数据支持查询与筛选 | 独立服务数据库/对象存储 || ③ TrainingRunner | 调度训练任务调用 Trinity-RFT管理模型版本 | 独立 GPU 集群 / 训练平台 | 设计哲学三个组件完全解耦可以独立部署、独立扩缩容、独立升级。数据采集不影响推理性能训练不影响在线服务。四、核心能力详解4.1 自动化数据采集数据采集、轨迹存储、训练调度等流程由框架自动完成大幅降低工程复杂度。开发者无需手动编写数据管道代码。采集内容// 框架自动采集的数据结构无需手动编码publicclassAgentTrajectory{privateStringsessionId;// 会话标识privateStringagentName;// Agent 名称privateStringmodelVersion;// 模型版本privateListMessagemessages;// 完整对话历史privateListToolCalltoolCalls;// 工具调用记录privateListReasoningStepsteps;// ReAct 推理步骤privateFeedbackSignalfeedback;// 用户反馈privateTaskResultresult;// 任务完成状态privatelongtimestamp;// 时间戳privateMapString,Stringmetadata;// 扩展元数据}反馈信号类型信号类型来源说明显式正反馈用户点赞 / “有帮助”高质量正样本显式负反馈用户点踩 / “没帮助”高优先级优化目标隐式正反馈用户采纳建议 / 完成任务中等强度正信号隐式负反馈用户重复提问 / 切换人工中等强度负信号任务结果工具调用成功/失败客观执行结果评分用户打分1~5连续值反馈4.2 统一训练接口底层深度集成Trinity-RFTv0.4原生支持多种主流优化范式训练范式说明适用场景SFT监督微调基于高质量问答对进行有监督学习新增能力 / 纠正错误PPO近端策略优化基于奖励模型的强化学习优化对话策略 / 工具选择GRPO组相对策略优化无需额外奖励模型的强化学习降低训练成本知识蒸馏大模型能力迁移到小模型降低推理成本 关键价值开发者无需切换训练框架亦无需深入分布式训练细节即可使用前沿优化技术。4.3 模型热更新训练完成后新模型权重通过热更新机制推送到推理服务实现零停机切换训练完成 → 模型评估 → 通过验证 → 推送新权重 → 推理服务热加载 → 生效 ↓ 旧版本保留支持秒级回滚4.4 安全与质量保障机制说明数据脱敏采集前自动过滤敏感信息手机号、身份证等质量评估训练数据经过自动化质量打分低质数据自动过滤A/B 验证新模型先灰度 5%~10% 流量验证效果后全量切换自动回滚新模型效果指标下降时自动回滚到上一版本训练隔离训练在独立 GPU 集群执行不影响在线推理五、快速上手集成在线训练插件5.1 添加依赖!-- AgentScope Java 在线训练插件 --dependencygroupIdio.agentscope/groupIdartifactIdagentscope-extensions-training/artifactIdversion${agentscope.version}/version/dependency5.2 配置数据采集器# application.ymlagentscope:training:enabled:true# 数据采集配置data-collector:# 采集策略collect-mode:full# full全量/ sampled采样sample-rate:0.1# 采样率 10%生产环境推荐# 存储后端store-type:oss# oss / local / databasestore-endpoint:oss-cn-hangzhou.aliyuncs.comstore-bucket:agent-trajectories# 脱敏配置desensitize:enabled:truepatterns:-phone-id_card-email# 训练调度配置training-runner:# Trinity-RFT 服务地址trinity-endpoint:http://trinity-rft-service:8080# 训练触发策略trigger:type:scheduled# scheduled / threshold / manualcron:0 0 2 * * ?# 每天凌晨 2 点# 或数据量达到阈值时触发# type: threshold# min-samples: 1000# 训练算法algorithm:sft# sft / ppo / grpo / distillation# 基座模型base-model:qwen2.5-7b-instruct# 训练超参数hyperparams:learning-rate:2e-5batch-size:16epochs:3warmup-ratio:0.1# 模型更新配置model-update:auto-deploy:true# 训练完成后自动部署canary-ratio:0.05# 灰度 5% 流量rollback-on-degradation:true# 效果下降自动回滚evaluation-metrics:-task-success-rate-user-satisfaction-response-latency5.3 编程式配置高级importio.agentscope.extensions.training.TrainingConfig;importio.agentscope.extensions.training.DataCollectorConfig;importio.agentscope.extensions.training.TrainingRunnerConfig;ConfigurationpublicclassTrainingConfiguration{BeanpublicTrainingConfigtrainingConfig(){returnTrainingConfig.builder()// 数据采集.dataCollector(DataCollectorConfig.builder().collectMode(CollectMode.SAMPLED).sampleRate(0.1).storeType(StoreType.OSS).desensitizeEnabled(true).build())// 训练调度.trainingRunner(TrainingRunnerConfig.builder().trinityEndpoint(http://trinity-rft:8080).algorithm(TrainingAlgorithm.SFT).baseModel(qwen2.5-7b-instruct).triggerCron(0 0 2 * * ?).build())// 模型更新.modelUpdate(ModelUpdateConfig.builder().autoDeploy(true).canaryRatio(0.05).rollbackOnDegradation(true).build()).build();}}5.4 自定义反馈信号采集importio.agentscope.extensions.training.FeedbackCollector;importio.agentscope.extensions.training.FeedbackSignal;RestControllerRequestMapping(/feedback)publicclassFeedbackController{privatefinalFeedbackCollectorfeedbackCollector;PostMapping(/rate)publicResponseEntityVoidrateSession(RequestParamStringsessionId,RequestParamintscore){// 1~5 分// 采集用户评分作为训练信号feedbackCollector.collect(FeedbackSignal.builder().sessionId(sessionId).type(FeedbackType.USER_RATING).value(score).timestamp(System.currentTimeMillis()).build());returnResponseEntity.ok().build();}PostMapping(/thumbs)publicResponseEntityVoidthumbsUpDown(RequestParamStringsessionId,RequestParambooleanhelpful){feedbackCollector.collect(FeedbackSignal.builder().sessionId(sessionId).type(helpful?FeedbackType.POSITIVE:FeedbackType.NEGATIVE).build());returnResponseEntity.ok().build();}}六、Trinity-RFT底层训练引擎6.1 项目定位Trinity-RFT是 AgentScope 团队开源的后训练框架GitHub: agentscope-ai/Trinity-RFT专为 Agentic 应用的强化学习训练设计。特性说明Agentic 原生专为 Agent 场景设计多轮对话、工具调用、任务规划多算法支持SFT、PPO、GRPO、DPO、知识蒸馏分布式训练支持多机多卡大规模训练数据管道内置数据清洗、格式化、增强管道评估框架集成 OpenJudge 智能体模型评测模型管理版本管理、A/B 测试、灰度发布6.2 支持的训练算法┌─────────────────────────────────────────────────────────────────┐ │ Trinity-RFT 算法矩阵 │ ├─────────────────┬───────────────────────────────────────────────┤ │ SFT │ 基于高质量标注数据的有监督微调 │ │ │ 适用新增能力、纠正明确错误 │ ├─────────────────┼───────────────────────────────────────────────┤ │ PPO │ 基于奖励模型的近端策略优化 │ │ │ 适用优化对话策略、工具选择偏好 │ ├─────────────────┼───────────────────────────────────────────────┤ │ GRPO │ 组相对策略优化无需额外奖励模型 │ │ │ 适用降低训练成本、快速迭代 │ ├─────────────────┼───────────────────────────────────────────────┤ │ DPO │ 直接偏好优化 │ │ │ 适用基于用户偏好对比数据优化 │ ├─────────────────┼───────────────────────────────────────────────┤ │ 知识蒸馏 │ 大模型 → 小模型能力迁移 │ │ │ 适用降低推理成本、边缘部署 │ └─────────────────┴───────────────────────────────────────────────┘6.3 与 AgentScope 的集成方式AgentScope Java Agent生产运行时 │ │ ① 自动采集交互轨迹 ↓ TrajectoryStore轨迹存储 │ │ ② 批量导出训练数据 ↓ TrainingRunner训练调度 │ │ ③ 调用 Trinity-RFT API ↓ Trinity-RFTGPU 集群 │ │ ④ 输出新模型权重 ↓ Model Registry模型仓库 │ │ ⑤ 热更新推送 ↓ 推理服务vLLM / TGI / 百炼 │ │ ⑥ Agent 自动使用新模型 ↓ AgentScope Java Agent进化后七、典型应用场景7.1 智能客服持续优化场景电商客服 Agent 每天处理 10 万 对话 Week 1Agent 上线处理退换货问题准确率 82% ↓ 采集用户反馈点赞/点踩/转人工率 Week 2在线训练触发使用 5000 条高质量轨迹 SFT ↓ 模型热更新 Week 3退换货准确率提升至 89% ↓ 持续采集 Week 4新政策上线7天无理由改为15天Agent 自动适应 ↓ 2天内通过在线训练学会新规则 Week 5准确率稳定在 93%7.2 运维 Agent 工具调用优化场景SRE Agent 负责告警诊断与自动修复 问题Agent 经常选错诊断工具该用 kubectl 时用了 docker ↓ 在线训练 1. 采集所有工具调用轨迹 2. 标记成功/失败的调用链 3. 使用 PPO 强化工具选择策略 4. 奖励函数任务完成率 × 响应速度 ↓ 效果工具选择准确率从 71% → 94%7.3 代码审查 Agent 蒸馏降本场景代码审查 Agent 使用 qwen-max成本高 目标将能力蒸馏到 qwen-7b成本降低 90% 流程 1. qwen-max 处理 10000 条代码审查任务 2. 采集完整推理轨迹 审查结论 3. 使用知识蒸馏训练 qwen-7b 4. 评估审查准确率保持 95% 5. 灰度切换 → 全量上线 ↓ 成本月均模型调用费用从 ¥50,000 降至 ¥5,0007.4 多轮对话策略优化场景旅行规划 Agent 需要多轮交互收集用户偏好 问题Agent 经常一次性问太多问题用户体验差 在线训练GRPO - 正样本分 2~3 轮逐步收集用户完成规划 - 负样本一次问 5 个问题用户放弃 - 奖励用户完成率 交互轮次合理性 ↓ 效果用户完成率从 62% → 85%八、与 AgentScope 生态的协同8.1 与事件系统的联动AgentScope Java 2.0 内置 28 种类型化事件在线训练插件通过事件系统实现零侵入采集Agent 推理事件流 RUN_STARTED → TEXT_MESSAGE_CONTENT → TOOL_CALL_START → TOOL_CALL_END → TEXT_MESSAGE_CONTENT → RUN_FINISHED │ ↓ DataCollector 自动监听 轨迹数据自动写入 TrajectoryStore 关键开发者无需在业务代码中手动埋点事件系统自动完成数据采集。8.2 与可观测体系的联动在线训练指标 → OpenTelemetry → Grafana Dashboard 监控面板 ├─ 训练数据量趋势每日新增轨迹数 ├─ 数据质量分布高/中/低质量占比 ├─ 训练任务状态排队/执行中/完成/失败 ├─ 模型版本历史各版本效果对比 ├─ 灰度效果新旧模型 A/B 指标 └─ 回滚记录触发原因、恢复时间8.3 与 Higress 网关的联动Higress AI 网关 ├─ 记录每次模型调用的 Token 消耗 ├─ 标记请求使用的模型版本 ├─ 支持按模型版本分流灰度 └─ 提供模型切换的流量控制 ↓ 在线训练产出的新模型 → 通过 Higress 灰度放量8.4 与 Nacos 的联动Nacos Config Service ├─ 训练配置动态下发学习率、批次大小等 ├─ 模型版本路由规则灰度比例 └─ 训练开关紧急停止训练九、生产环境最佳实践9.1 数据质量管控策略实现方式目的采样率控制生产环境 5%~20% 采样平衡数据量与存储成本质量打分自动评估轨迹完整性、反馈明确性过滤低质数据去重语义相似度去重避免过拟合脱敏正则 NER 双重脱敏合规要求时间衰减近期数据权重更高适应业务变化9.2 训练安全训练前检查清单 □ 数据量 ≥ 最小阈值避免过拟合 □ 数据质量评分 ≥ 阈值 □ 无敏感信息泄露 □ 基座模型版本正确 □ GPU 资源充足 □ 回滚方案就绪 训练中监控 □ Loss 曲线正常收敛 □ 验证集指标持续提升 □ 无 NaN / Inf 异常 □ 显存使用正常 训练后验证 □ 标准评测集通过率 ≥ 基线 □ 安全性测试通过无有害输出 □ 延迟指标无退化 □ 灰度验证通过9.3 灰度发布策略阶段 1内部测试0% 外部流量 └─ 使用标准评测集 人工抽检 阶段 2小流量灰度5% 流量 └─ 对比新旧模型成功率、延迟、用户满意度 └─ 持续 24~48 小时 阶段 3扩大灰度20% → 50% └─ 确认无退化后逐步放量 阶段 4全量切换100% └─ 保留旧版本 7 天支持秒级回滚9.4 成本控制成本项优化策略存储成本采样采集 定期清理过期数据训练成本低峰期训练凌晨 竞价实例评估成本自动化评估替代人工推理成本蒸馏到小模型降低单次调用成本9.5 训练频率建议业务场景建议频率理由高频客服10万/天每日数据充足变化快中频业务1万/天每周数据积累需要时间低频专业1000/天每两周~每月避免过拟合新上线初期前两周每日快速适应十、与传统微调方案对比维度传统离线微调AgentScope 在线训练数据准备人工标注周级准备自动采集零人工训练触发手动发起自动调度Cron/阈值数据新鲜度可能过时数周始终 ≤ 24 小时部署方式手动替换模型文件自动热更新 灰度回滚能力手动回退自动检测 秒级回滚工程复杂度需要 MLOps 团队框架内置开箱即用反馈闭环月级天级 / 小时级适配语言通常 PythonJava 原生AgentScope十一、选型决策何时需要在线训练你的场景是否需要在线训练关键理由Agent 日活 100业务稳定❌ 暂不需要数据量不足手动优化即可Agent 日活 1000业务频繁变化✅ 强烈推荐持续适应业务变化有明确的用户反馈机制✅ 推荐反馈信号是训练的黄金数据使用开源模型可微调✅ 前提条件需要模型权重可修改使用闭源 API如 GPT-4❌ 不适用无法修改模型权重对成本敏感想用大模型效果小模型成本✅ 推荐知识蒸馏场景需要快速迭代周级→天级✅ 强烈推荐自动化闭环十二、Roadmap未来演进根据 AgentScope Java 官方 Roadmap在线训练能力的持续演进方向方向说明GRPO 算法支持无需额外奖励模型的强化学习降低训练门槛多 Agent 联合训练多个协作 Agent 的联合策略优化上下文工程联动训练数据自动优化 Prompt / 上下文策略联邦学习多租户数据不出域的联合训练自动数据增强基于现有轨迹自动生成变体训练数据训练效果自动归因识别哪些数据/策略变化带来了效果提升十三、总结AgentScope Java 的在线训练集成为智能体系统补上了持续进化的最后一块拼图价值维度具体收益持续优化Agent 从真实交互中学习越用越聪明零人工数据采集、训练调度、模型部署全自动安全可控脱敏、灰度、自动回滚生产级安全保障算法丰富SFT / PPO / GRPO / 蒸馏统一接口工程简化无需 MLOps 团队框架内置全链路Java 原生与 AgentScope Java 深度集成无语言切换一句话总结传统模式是训练好了再上线AgentScope 在线训练是上线了继续训练。这不是锦上添花而是 Agent 从能用到好用到持续好用的必经之路。