ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

Ragent 会话记忆:最近 N 轮 + 持久化摘要如何平衡 Token 成本与上下文

Ragent 会话记忆:最近 N 轮 + 持久化摘要如何平衡 Token 成本与上下文 Ragent 会话记忆最近 N 轮 持久化摘要如何平衡 Token 成本与上下文【免费下载链接】ragent企业级 Agentic RAG 智能体 - 全链路覆盖文档解析、多路检索、意图识别、问题重写、会话记忆、MCP 工具调用与深度思考。面向真实业务场景从 0 到 1 完整工程实现。项目地址: https://gitcode.com/gh_mirrors/ragent1/ragentRagent 是一款企业级 Agentic RAG 智能体其会话记忆模块通过「裁剪 摘要」两道水位门在保证多轮对话上下文完整的前提下把 Token 成本牢牢压在可控范围内。本文将带你快速看懂它的上下文裁剪、持久化摘要与长期记忆注入是怎么工作的。为什么多轮对话的上下文会失控在 Agent 场景里每一轮对话往往不只是一问一答还可能包含多轮工具调用。一次知识库检索返回的原文可能有几万字符这些工具结果是上下文膨胀的头号元凶也是 Token 成本的大头。如果无脑保留全部历史会遇到两个问题成本问题每轮推理都要把历史原文完整发给模型字符越多账单越贵窗口问题上下文逼近模型窗口上限时要么报错要么被粗暴截断丢失关键信息。Ragent 的解法是用字符数作为 Token 的粗代理来统一度量AgentContextChars.java并在每轮推理前按水位自动瘦身让最近 N 轮的原文始终在场、远期内容压缩成摘要。核心预算一个配置项统管全局会话上下文工程的所有阈值都从一个配置派生agent.memory.contextWindowChars默认1,200,000 字符。它的注释写得很直白——换模型只需要动这一个数。注意它不是模型标称窗口填充时需要先扣掉人设、工具 schema、输出预留等固定开销AgentMemoryProperties.java。两道门按固定比例派生水位比例动作裁剪门50%只把过老的工具结果换成占位符压缩门80%裁剪顶不住才用模型做摘要压缩保留段20%压缩切点之后至少保留的原文量 80% 而非 100% 才动手是刻意留了两成余量给压缩过程中那次模型调用自己。第一道门50% 水位裁剪老工具结果裁剪器 AgentContextTrimmer.java 的策略非常克制几乎零成本只动白名单工具默认只有search_knowledge这类可回收工具的结果会被处理对话原文一律不碰保留最近循环最近 2 个已完成工具循环 本轮正在进行的循环额外受保护不参与裁剪替换为占位符老结果被换成[历史工具结果已省略原长 X 字符原入参 Y]模型依然知道当时问了什么不划算就放弃可回收字符不足当前上下文的 20%整次跳过永不产生孤儿块只替换 tool_result、不动 tool_use避免被供应商判 400。裁剪不改消息条数、不发网络请求异常时直接退回原列表对对话零打扰AgentContextCompactionMiddleware.java。第二道门80% 水位持久化摘要压缩当上下文超过 80% 水位、且末条消息是用户消息工具循环已闭合时压缩器 AgentContextCompactor.java 才出场。它把早期原文换成一条摘要消息要点如下安全切点从尾部保留够 20% 原文后切点只落在最近的用户轮起点绝不在工具调用中间下刀值得才压切点前的可替换素材要超过总量一半否则放弃迭代式摘要新一代摘要以旧摘要为底稿增量更新避免信息逐代衰减结构化校验摘要必须具备分节结构至少 3 个##小节超长时按小节边界截断长度夹逼摘要正文上限 0.1 × 预算并夹在 [1500, 6000] 字符之间防止摘要本身变成新包袱防注入素材用带一次性 nonce 的围栏包裹原文里出现的围栏标记会被中和用户诉求一节原样搬运不被改写AgentConversationSummarizer.java每代留档每次压缩都会写入压缩审计表记录代次、压缩前后字符数运维可回溯落库失败只报警不回滚压缩本身。压缩含同步模型调用因此切到独立线程池执行不占用推理线程任何一步失败生成失败、结构不合格、保留段有孤儿工具结果都整体放弃并退回裁剪层上下文原封不动。跨越会话长期记忆注入除了会话内的最近 N 轮 摘要Ragent 还有一层跨会话的长期记忆后台抽取每轮结束后异步检查待处理用户消息满 3 条才值得叫一次模型抽取事实避免为两三句话浪费调用容量夹逼记忆注入块上限 0.005 × 预算同样夹在 [1500, 6000] 字符顶到上限时先尝试受限合并压不动才容量淘汰注入位置讲究记忆块插在人设之后、会话首条消息之前且与压缩摘要一样用 USER 角色承载——这个位置错位都会破坏压缩中间件的引用比对或被供应商拒绝AgentUserMemoryMiddleware.java。长期记忆的注入块不走上下文预算这笔账配置contextWindowChars时也要一并扣掉。运维出口与调优建议配置项作用适用场景agent.memory.summary-enabled关掉即只留裁剪层摘要模型不可用时的降级出口agent.memory.long-term-enabled关掉即停抽取与注入需要停用跨会话记忆时agent.memory.evictable-tools允许裁剪的工具白名单工具结果普遍很大时扩大范围️新手上手建议先只调contextWindowChars这一个数观察裁剪/压缩触发频率日志与审计表都有完整记录如果工具结果特别大优先确认它是否在evictable-tools白名单里多数成本问题在第一道门就能解决链路追踪与上下文裁剪复用同一套字符口径后台 Trace 面板里的数字可直接和压缩审计比对。小结Ragent 的会话记忆不追求记住一切而是分层取舍最近 2 个工具循环的原文必须保真远期工具结果先降级为占位符再老的对话浓缩为结构化摘要跨会话事实沉淀为长期记忆。三道防线全部围绕一个字符预算配置展开让 Token 成本、上下文完整性和工程可运维性之间取得了干净的平衡。【免费下载链接】ragent企业级 Agentic RAG 智能体 - 全链路覆盖文档解析、多路检索、意图识别、问题重写、会话记忆、MCP 工具调用与深度思考。面向真实业务场景从 0 到 1 完整工程实现。项目地址: https://gitcode.com/gh_mirrors/ragent1/ragent创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表