DeepSeek 的 Input Cache（输入缓存）是什么？一文讲清原理、作用和使用技巧

DeepSeek 的 Input Cache输入缓存是什么一文讲清原理、作用和使用技巧在使用 DeepSeek API 时你可能会看到一个概念Input Cache输入缓存。很多人第一次看到都会有几个疑问Input Cache 是什么它缓存的是 Prompt 还是回答为什么开启缓存后响应更快、费用更低开发时怎样才能提高缓存命中率本文就从这些问题出发介绍 Input Cache 的工作原理以及在实际开发中的使用建议。一、为什么需要 Input Cache先来看一次普通的大模型调用过程。假设我们发送下面这样一段 Prompt你是一名专业的 Java 面试官。 请根据下面要求生成面试题 要求 1. 包括 Java 基础 2. 包括 JVM 3. 包括 Spring 4. 包括 MySQL 5. 每道题附答案 现在请生成 20 道题。对于模型来说它并不是直接读懂这段文字而是需要经过一系列计算Prompt │ ▼ Tokenizer 分词 │ ▼ Token │ ▼ Embedding │ ▼ Transformer 多层计算 │ ▼ 生成回答真正消耗 GPU 算力的是Transformer 对输入进行编码计算。如果每次请求都包含几千甚至上万 Token而这些内容又基本相同那么模型每次都重新计算一遍就会浪费大量算力和时间。因此大模型服务通常都会引入Input Cache来减少重复计算。二、什么是 Input CacheInput Cache 可以理解为把模型已经计算过的输入内容缓存起来当下次请求拥有相同的前缀时直接复用之前的计算结果而不是重新计算。例如第一次请求你是一名 Java 老师。 请根据下面要求生成试题 要求 1. 2. 3. 4. 5. 生成 Java 集合相关试题。第二次请求你是一名 Java 老师。 请根据下面要求生成试题 要求 1. 2. 3. 4. 5. 生成 JVM 相关试题。可以发现只有最后一句不同。前面的 Prompt 完全一致。第一次请求固定 Prompt │ ▼ GPU 完整计算 │ ▼ 缓存中间结果第二次请求固定 Prompt │ ▼ 直接读取缓存 │ ▼ 只计算后面新增内容因此响应速度更快GPU 计算量更少API 成本更低。三、缓存的到底是什么很多人以为 Input Cache 缓存的是回答其实并不是。它缓存的是模型处理输入 Prompt 时产生的中间计算结果KV Cache。也就是说缓存的是Prompt │ ▼ Transformer 编码计算 │ ▼ KV Cache缓存而不是Prompt │ ▼ 最终回答所以即使输入前半部分相同只要最后的问题不同模型依然可以生成完全不同的回答。例如第一次介绍 Python。第二次介绍 Java。虽然最终回答不同但前面的系统 Prompt 可以直接复用缓存。四、缓存的是计算过程不是最终回答这是 Input Cache 最容易产生误解的地方。很多人第一次看到缓存两个字就会认为模型是不是把回答一起缓存了下次直接返回答案是否定的。DeepSeek 的输入缓存不会缓存最终回答缓存的是模型处理输入时产生的中间状态包括输入 Prompt 的重复前缀长上下文对应的中间计算结果可复用的 KV CacheKey-Value Cache状态也就是说它缓存的是模型读懂前面这段 Prompt所完成的计算。而不是模型最后生成的回答。例如第一次请求你是一位 Java 面试官…… 请生成 Java 集合相关的面试题。第二次请求你是一位 Java 面试官…… 请生成 JVM 相关的面试题。由于前面的 Prompt 完全一致模型可以直接复用已经计算好的上下文状态只需要继续处理最后变化的内容。需要注意的是即使命中了缓存模型仍然会重新生成回答。因此回答仍然需要重新推理temperature、top_p等采样参数依然会生效输出仍然可能存在随机性。换句话说Input Cache 只是减少了模型理解输入的计算量并没有跳过回答生成这一过程。DeepSeek 官方文档也明确说明输入缓存只匹配用户输入的前缀部分输出仍然需要继续推理因此依然会受到temperature、top_p等参数的影响。五、什么情况下能够命中缓存Input Cache 是否能够生效取决于输入前缀是否一致。这里需要特别注意不是意思相同而是 Token 完全一致。例如第一次你是一名 AI 老师。第二次你是一名AI老师。虽然人看起来几乎一样但是AI 老师 AI老师Tokenizer 分词后的结果可能已经不同因此缓存无法命中。再例如第一次生成 10 道题。第二次生成 20 道题。由于只有最后几个 Token 不同因此前面的内容仍然可以命中缓存。六、哪些内容最适合缓存一般来说长期不变的 Prompt最适合缓存。1. System Prompt例如你是一位专业 Java 老师。 输出 JSON。 严格遵循 Schema。 禁止输出 Markdown。System Prompt 基本每次请求都相同因此缓存命中率最高。2. Few-shot 示例例如输入 ...... 输出 ...... 输入 ...... 输出 ......Few-shot 示例通常有几百到几千 Token非常适合缓存。3. RAG 检索内容例如知识库 ...... ...... 用户问题 ......如果知识库内容没有变化那么大部分 Token 都可以复用。4. 固定业务规则例如必须输出 JSON。 必须包含以下字段。 禁止解释。 禁止 Markdown。这些规则建议始终保持一致。七、哪些情况不会命中缓存以下情况都会导致缓存命中率下降。Prompt 经常变化例如当前时间 2026-07-20下一次当前时间 2026-07-21由于 Token 已经变化因此缓存失效。每次加入随机 UUID例如request_id238947下一次request_id928374同样无法命中缓存。不断增长的聊天记录例如用户 AI 用户 AI ......随着历史越来越长缓存收益会逐渐下降。八、为什么 Input Cache 可以降低费用因为模型推理过程中真正消耗算力的是输入编码阶段。例如Prompt 5000 Token 回答 300 Token模型的大部分计算都发生在5000 Token │ ▼ Transformer 编码如果这 5000 Token 可以直接读取缓存那么 GPU 就不用重复计算。因此很多模型厂商都会对Cache Hit Token采用更低的计费价格。这也是为什么开启 Input Cache 后API 成本通常会下降。具体价格以 DeepSeek 官方文档为准。九、开发时如何提高缓存命中率想充分利用 Input Cache可以遵循以下几个原则。1. 固定 System Prompt不要每次动态拼接 Prompt。例如你是一位专业老师……尽量保持完全一致。2. Few-shot 放在前面Few-shot 示例尽量固定。不要频繁修改示例内容。3. 固定内容放前面推荐按照下面的顺序组织 PromptSystem Prompt ↓ Few-shot ↓ 知识库内容 ↓ 用户问题这样只有最后的问题发生变化前面的内容都可以命中缓存。4. 避免在固定 Prompt 中加入动态信息例如当前时间 随机 UUID 随机编号 当前日期都会降低缓存命中率。十、Input Cache 与聊天记忆Memory的区别很多人容易把 Input Cache 和 Memory 混为一谈。实际上它们解决的是两个完全不同的问题。Input CacheMemory减少重复计算保存历史上下文缓存 Prompt 的计算结果记录用户历史信息提高响应速度提高回答连续性降低 API 成本增强长期记忆能力用户几乎无感知用户能够感知简单来说Input Cache 关注的是性能优化。Memory 关注的是上下文记忆。两者可以同时存在并不会互相替代。总结Input Cache 本质上是一种推理优化技术。它不会缓存模型最终生成的回答而是缓存模型处理输入时产生的中间计算结果。当多个请求拥有相同的前缀 Prompt 时模型可以直接复用这些计算结果只对新增或变化的部分继续推理。对于 RAG、智能客服、Agent、AI 出题系统等需要频繁调用大模型的应用来说合理设计 Prompt 结构、提高缓存命中率可以带来以下收益减少重复计算提高响应速度降低 GPU 算力消耗减少 API 成本提高系统吞吐量在高并发场景下表现更稳定。一句话总结Input Cache 的本质不是缓存回答而是缓存模型理解输入时的计算过程。通过复用相同 Prompt 前缀的计算结果实现少算一次从而达到提速、降本的目的。