大模型应用场景介绍大模型应用技术特点门槛低天花板高RAG开发背景大模型的知识冻结随着LLM规模扩大训练成本与周期相应增加模型无法实时学习到最新的信息或动态变化。导致LLM难以应对诸如”请推荐现在的热门影片“等时间敏感的问题大模型幻觉涉及到大模型从未在训练过程中学习过的信息时大模型无法给出准确的答复转而开始臆想和编造答案举例LLM在考试的时候面对陌生的领域答复能力有限然后就准备放飞自我了而此时RAG给了一些提示和思路让LLM懂了开始往这个提示的方向做最终考试的正确率从60%到了90%何为RAG?Retrieval-Augmented Generation检索增强生成Agent开发充分利用LLM的推理决策能力通过增加规划、记忆何工具调用的能力构造一个能够独立思考、逐步完成给定目标的Agent智能体类比举例OpenAI的元老翁丽莲(Lilian Weng)于2023年6月在个人博客https://lilianweng.github.io/posts/2023-06-23-agent/首次提出了现代AI Agent架构。一个数学公式来表示Agent LLM Planning Tools Memory Action比如打车到西藏玩。大脑中枢规划行程的你规划步骤1规划打车路线步骤2订饭店、酒店。。。调用工具调用MCP或FunctionCalling等API滴滴打车、携程、美团订酒店饭店记忆能力沟通时要知道上下文。比如订酒店得知道是西藏路上的酒店不能聊着聊着忘了最初的目的。能够执行上述操作。说走就走不能纸上谈兵智能体核心要素被细化为以下模块1、大模型LLM作为“大脑”提供推理、规划和知识理解能力是AI Agent的决策中枢。大脑主要由一个大型语言模型 LLM 组成承担着信息处理和决策等功能 并可以呈现推理和规划的过程能很好地应对未知任务。2、规划决策Planning通过任务分解、反思与自省框架实现复杂任务处理。例如利用思维链Chain of Thought将目标拆解为子任务并通过反馈优化策略。3、工具使用Tool Use调用外部工具如API、数据库扩展能力边界4、记忆Memory智能体像人类一样能留存学到的知识以及交互习惯等这样的机制能让智能体在处理重复工作时调用以前的经验从而避免用户进行大量重复交互。短期记忆存储单次对话周期的上下文信息属于临时信息存储机制。受限于模型的上下文窗口长度。ChatGPT支持约8k token的上下文GPT4支持约32k token的上下文最新的很多大模型OpenAI GPT‐5.5 / GPT‐5.4 Pro支持100 万 Token1M、AnthropicClaude Opus 4.7支持200 万 Token、DeepSeek‐V4‐Pro支持100 万 Token、甚至有模型支持1000万 token的上下文 相当于2000万字文本或20小时视频长期记忆可以横跨多个会话或时间周期可存储并调用核心知识非即时任务。比如关于用户的偏好过去执行过的指令等长期记忆可以通过模型参数微调固化知识知识图谱结构化语义网络或向量数据库相似性检索方式实现5、行动实际执行决策的模块涵盖软件接口操作如自动订票和物理交互如机器人执行搬运。比如检索推理编程等。智能体会形成完整的计划流程。例如先读取以前工作的经验和记忆之后规划子目标并使用相应工具去处理问题最后输出给用户并完成反思。