【AI黑话日日新】什么是上下文长度？大模型的“记忆力“到底由什么决定？

关键词：上下文长度、Context Window、Token、注意力机制、长文本、RAG适用读者：对大模型（LLM）有一定了解、希望系统理解"上下文窗口"概念及其工程影响的开发者。引言在调用大模型 API 时，你是否遇到过这样的提示：context_length_exceeded—— 当前输入的 token 数量超过了模型支持的最大上下文长度。无论是把一整份 PDF 塞进提示词，还是让模型连续对话上百轮，最终都会撞上同一堵墙：上下文长度（Context Length）。它常被通俗地理解为模型的"记忆力"，但这个说法既对也不对。本文将从定义、技术原理、关键挑战到工程实践，系统性地讲清楚这件事。一、什么是上下文长度上下文长度，也称上下文窗口（Context Window），指的是一个语言模型在单次推理中能够同时处理的 token 总量上限。这里有两个关键点需要澄清：1. 单位是 T