Python 如何给 AI API 加缓存：减少重复请求并提升响应速度

在 AI 工具、自动化脚本和知识问答项目中相同问题可能被重复请求。给稳定结果增加缓存可以减少重复调用也能让常见问题更快返回。为什么需要缓存如果每次请求都直接访问 AI API可能会遇到这些情况相同问题被重复处理响应时间不稳定批量任务重复消耗资源测试阶段反复发送相同请求常见问题无法快速返回缓存的基本思路是收到请求 → 生成缓存键 → 查询缓存 → 命中则直接返回 → 未命中才调用 API不过缓存并不适合所有请求。随机性较高、依赖实时信息或包含隐私内容的请求需要谨慎处理。一、先用字典实现最小缓存本地测试时可以先使用 Python 字典cache{}defget_cached(key):returncache.get(key)defsave_cache(key,value):cache[key]value这种方式简单但程序重启后数据会消失而且不适合多进程或多实例服务。它更适合验证缓存逻辑是否正确。二、如何生成稳定的缓存键缓存键不能只使用用户问题还应该考虑模型和关键参数importhashlibimportjsondefbuild_cache_key(prompt:str,model:str,temperature:float0.0)-str:payload{prompt:prompt,model:model,temperature:temperature,}rawjson.dumps(payload,ensure_asciiFalse,sort_keysTrue)returnhashlib.sha256(raw.encode(utf-8)).hexdigest()这样可以避免不同模型、不同参数之间互相读错缓存。如果系统提示词、工具参数或版本号会影响结果也应该把它们加入缓存键。三、把缓存接到 API 调用前面下面是一个简单的完整示例fromopenaiimportOpenAI clientOpenAI(api_keyyour-api-key,base_urlhttps://your-api-domain.com/v1,)cache{}defask_llm(prompt:str,model:stryour-model-name)-str:keybuild_cache_key(prompt,model)ifkeyincache:returncache[key]responseclient.chat.completions.create(modelmodel,messages[{role:user,content:prompt}],)resultresponse.choices[0].message.content cache[key]resultreturnresult第一次请求会访问 API后续相同请求可以直接从缓存返回。四、为什么要设置过期时间缓存不能永久有效。内容更新、提示词变化或模型升级后旧结果可能已经不适用。可以给缓存增加过期时间importtime cache{}defsave_cache(key:str,value:str,ttl:int300):cache[key]{value:value,expires_at:time.time()ttl,}defread_cache(key:str):itemcache.get(key)ifnotitem:returnNoneifitem[expires_at]time.time():cache.pop(key,None)returnNonereturnitem[value]ttl300表示缓存 5 分钟后过期。实际时间要根据内容更新频率来设置。五、哪些内容适合缓存比较适合缓存的内容固定格式的文本转换重复的分类任务稳定的代码解释常见开发问题测试环境中的固定请求不适合直接缓存的内容实时新闻实时价格或库存强依赖当前时间的任务包含个人隐私的信息每次都要求随机结果的创作任务缓存前要先判断同一个输入在一段时间内是否允许返回相同结果。六、使用 SQLite 保存本地缓存如果希望程序重启后缓存仍然存在可以使用 SQLiteimportsqlite3importtime connsqlite3.connect(cache.db)conn.execute( CREATE TABLE IF NOT EXISTS responses ( cache_key TEXT PRIMARY KEY, content TEXT NOT NULL, expires_at REAL NOT NULL ) )conn.commit()写入缓存defsave_sqlite_cache(key:str,content:str,ttl:int300):expires_attime.time()ttl conn.execute(INSERT OR REPLACE INTO responses VALUES (?, ?, ?),(key,content,expires_at),)conn.commit()读取缓存defread_sqlite_cache(key:str):rowconn.execute(SELECT content, expires_at FROM responses WHERE cache_key ?,(key,),).fetchone()ifnotrow:returnNonecontent,expires_atrowifexpires_attime.time():conn.execute(DELETE FROM responses WHERE cache_key ?,(key,))conn.commit()returnNonereturncontentSQLite 适合单机、小型项目。多实例服务则需要考虑共享缓存方案。七、缓存设计中的几个注意点1. 不要缓存敏感信息缓存内容可能长期留在磁盘或内存中隐私数据需要脱敏或禁止缓存。2. 缓存键要包含版本号提示词或业务规则变更后可以通过修改版本号让旧缓存自然失效。3. 控制缓存大小长期运行的程序要定期清理过期数据避免内存持续增长。4. 记录命中率缓存是否有效应该通过命中次数、未命中次数和响应耗时来判断。5. 注意并发写入多个任务同时查询同一个未命中键可能重复发起 API 请求。重要场景可以增加锁或合并请求机制。八、一个实用的优化顺序建议按以下顺序实施先用字典验证缓存逻辑给缓存键加入模型和参数增加过期时间记录命中率和耗时根据项目规模选择 SQLite 或共享缓存对敏感内容增加过滤规则先解决重复请求再考虑更复杂的缓存架构通常更容易维护。九、结语AI API 缓存的重点不是把所有回答都保存下来而是识别哪些请求可以安全复用。对于 Python AI 项目来说比较稳妥的做法是生成稳定的缓存键把模型和参数纳入判断设置合理的过期时间避免缓存敏感内容用数据观察实际命中效果如果你正在做 AI 工具或自动化脚本可以先从本地缓存开始确认逻辑稳定后再根据请求量选择持久化或共享缓存方案。免责声明本文内容仅用于技术交流与经验分享具体实现请结合项目实际情况调整。