FastGPT | 24 - AI 模型配置与 LLM 调用层

FastGPT | 24 - AI 模型配置与 LLM 调用层
开篇问题上一篇我们已经把 RAG 检索链路走到了后半段:多查询召回 - RRF 融合 - Rerank 重排 - quoteQA 注入 Chat - quoteList 引用展示但这条链路里一直有一个默认前提:FastGPT 能稳定调用 LLM、Embedding、Rerank、VLM、TTS、STT 等模型。这句话看起来简单,落到源码里却包含很多工程问题:模型配置从哪里加载?为什么前端展示的是模型名称,但底层请求要用真实 model?LLM、Embedding、Rerank、Audio 是不是同一套调用接口?不同供应商的参数差异如何适配?用户自带 OpenAI Key 时,系统模型配置还会不会覆盖用户配置?Token 如何统计?用量如何计费?模型调用详情如何追踪?接入新模型时最容易踩哪些坑?本篇就围绕这些问题,拆 FastGPT 的 AI 模型配置与 LLM 调用层。先给结论FastGPT 的模型层不是一个简单的model: string。