1. 为什么 FastGPT 知识库总是卡在向量模型这一步FastGPT 知识库部署这件事真正让人卡住的往往不是 Docker 本身而是向量模型接不进去。我见过太多人把 FastGPT 容器跑起来了页面也能打开结果一建知识库就报错要么是「索引模型不可用」要么是文件上传后一直转圈不到「已就绪」。这类问题的根子通常有三个向量模型服务没起、config.json 里的 vectorModels 名字和实际渠道对不上、以及 OPENAI_BASE_URL 少了 /v1 这个后缀。FastGPT 是一套开箱即用的知识库问答系统它能做什么简单说就是把你手里的 PDF、Word、Markdown 喂进去它切成块、转成向量存起来之后你用自然语言提问它先检索相关片段再交给大模型组织答案。适合谁适合想在内网或本地跑一套私有知识库的开发者、运维和小团队。它依赖两个核心模型一个语言模型负责理解和生成一个向量模型负责把文本转成向量做语义检索。Docker 部署的好处是环境隔离、一条命令拉起但配置文件写错一个字整条链路就断。这篇就聚焦 Docker 环境下 FastGPT 知识库的完整部署流程重点解决向量模型接入和 config.json 编写这两个最容易翻车的地方。我会给出可复制的 docker-compose 骨架、config 配置片段以及知识库检索的验证动作帮你把本地知识库问答链路真正跑通。下面所有命令和配置都可以直接改 IP 后用。2. 前置准备TaoToken 与模型接入的定位在动手之前先把模型接入这一层想清楚。FastGPT 本身不生产模型它通过 OpenAI 兼容接口去调用语言模型和向量模型。你可以选择本地跑 Ollama 加载语言模型也可以走统一的 API 网关来管理多个模型渠道。TaoToken 在这里的角色就是后者——它提供 OpenAI 兼容的调用入口把语言模型和向量模型的请求统一收口省得你在 FastGPT 里到处填不同厂商的地址和密钥。TaoToken 能做什么它把模型调用抽象成标准的 /v1/chat/completions 和 /v1/embeddings 接口FastGPT 只要认这个格式就能接。适合谁适合不想在每台机器上单独维护模型服务、希望一个 Key 管多个模型的场景。官网入口在 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 基址是 https://taotoken.net/api 注意这个地址后面拼 /v1 才是完整的 OpenAI 兼容路径。如果你走本地 Ollama 路线语言模型可以用 deepseek-r1 这类向量模型用 m3e-large。如果你走 TaoToken 路线语言模型和向量模型都可以在它的模型列表里选然后在 FastGPT 的 config.json 里把 model 和 name 写成对应的模型标识。两条路线的区别只在于 OPENAI_BASE_URL 和 CHAT_API_KEY 填什么后面的知识库配置完全一样。需要提前准备的一台装了 Docker 和 Docker Compose 的 Linux 机器Fedora、Ubuntu 都行至少 16G 内存跑 32B 模型建议 32G 以上以及一个能访问模型服务的网络环境。GPU 不是必须的但向量模型用 GPU 会快很多。3. 可复制的 docker-compose 与 config 配置3.1 docker-compose 骨架FastGPT 官方推荐用 docker-compose 编排核心服务包括 fastgpt、mongo、pg带 pgvector、one-api 这几个。下面是一个精简骨架你可以直接存成 docker-compose.ymlversion: 3.3 services: fastgpt: image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.7 container_name: fastgpt ports: - 3000:3000 networks: - fastgpt environment: - DEFAULT_ROOT_PSW1234 - OPENAI_BASE_URLhttp://你的IP:13000/v1 - CHAT_API_KEYsk-你的令牌 - DB_MAX_LINK30 - TOKEN_KEYany - ROOT_KEYroot_key - FILE_TOKEN_KEYfiletoken volumes: - ./config.json:/app/data/config.json depends_on: - mongo - pg mongo: image: mongo:5.0.18 container_name: mongo networks: - fastgpt restart: always volumes: - ./mongo/data:/data/db pg: image: pgvector/pgvector:0.7.0-pg15 container_name: pg networks: - fastgpt restart: always environment: - POSTGRES_USERusername - POSTGRES_PASSWORDpassword - POSTGRES_DBpostgres volumes: - ./pg/data:/var/lib/postgresql/data one-api: image: justsong/one-api container_name: one-api ports: - 13000:3000 networks: - fastgpt restart: always environment: - TZAsia/Shanghai volumes: - ./one-api/data:/data networks: fastgpt:这里有几个点必须注意。OPENAI_BASE_URL 一定要带 /v1这是 FastGPT 拼接请求路径的约定少了它就会 404。CHAT_API_KEY 填的是你在 one-api 里创建的令牌不是模型厂商的原始 Key。DEFAULT_ROOT_PSW 是 FastGPT 首次启动时 root 用户的密码登录后记得改。3.2 向量模型服务如果你用本地 m3e-large 做向量模型单独起一个容器并把它挂到 fastgpt 同一个网络里docker pull registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest docker run -d -p 6008:6008 --gpus all \ --name m3e \ --network fastgpt_fastgpt \ registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest没有 GPU 就把 --gpus all 去掉用 CPU 跑速度慢但能验证链路。启动后用 curl 测一下curl http://localhost:6008/v1/embeddings \ -H Content-Type: application/json \ -d {model:m3e,input:测试文本}返回里带 data 数组和 embedding 向量就说明向量服务正常。3.3 config.json 关键片段config.json 是 FastGPT 的模型注册表llmModels 和 vectorModels 两个数组决定了页面上能选哪些模型。下面是最小可用配置{ llmModels: [ { model: deepseek-r1:32b, name: deepseek-r1:32b, maxContext: 15000, maxResponse: 3000, quoteMaxToken: 13000, maxTemperature: 1.2, charsPointsPrice: 0, censor: false, vision: false, datasetProcess: true, usedInClassify: true, usedInExtractFields: true, usedInToolCall: true, usedInQueryExtension: true, toolChoice: true, functionCall: false, defaultConfig: {} } ], vectorModels: [ { model: m3e, name: m3e, charsPointsPrice: 0, defaultToken: 700, maxToken: 3000, weight: 100, defaultConfig: {} } ] }model 和 name 必须和 one-api 渠道里填的模型名一致否则 FastGPT 找不到。datasetProcess 至少有一个模型要设为 true不然建知识库时会报「没有可用的处理模型」。vectorModels 里的 maxToken 建议不超过向量模型的最大输入限制m3e-large 通常按 3000 以内设比较稳。改完配置后重启docker compose down docker compose up -d4. 验证请求与知识库检索成功结果4.1 模型连通性验证先确认 one-api 里两个渠道都测试通过。登录 http://你的IP:13000 初始账号 root、密码 123456。在「渠道」里分别添加语言模型和向量模型Base URL 填模型服务地址密钥自定义。点「测试模型」响应成功栏出现耗时数字就说明通了。然后在「令牌」里新建一个令牌模型范围勾上刚才两个模型复制 sk- 开头的 Key填回 docker-compose.yml 的 CHAT_API_KEY。4.2 FastGPT 页面配置访问 http://你的IP:3000 用 root 和你设置的 DEFAULT_ROOT_PSW 登录。进入「账号—模型供应商」新增模型把 config.json 里定义的语言模型和向量模型都加上点测试出现「成功」即可。4.3 建知识库并验证检索点右上角「新建—通用知识库」索引模型选 m3e文本理解模型选 deepseek-r1:32b。上传一个测试文件处理方式选「分块存储」分块条件选「原文长度大于 1000」索引增强勾选「标题加入索引」分块处理参数选自定义按段落分块最大段落深度 4最大分块大小 1000索引大小 1024。上传后看文件状态变成「已就绪」说明向量化完成。然后新建一个简易应用关联这个知识库搜索方式选「混合检索」引用上限设 3000最低相关度设 0.4。在对话框里问一个只有你文档里才有的问题如果回答里带出了文档内容整条链路就通了。5. 本篇常见错误排查5.1 知识库报「索引模型不可用」最常见的原因是 config.json 里 vectorModels 的 model 名和 one-api 渠道里的模型名不一致。FastGPT 是拿 config.json 的 model 字段去请求 one-api 的one-api 再按渠道里的模型名转发。两边必须完全一样大小写敏感。改完记得 docker compose down 再 up光 restart 不会重新读 config.json。5.2 文件一直不到「已就绪」先看 fastgpt 容器日志docker logs -f fastgpt如果看到 embedding 请求超时多半是向量模型服务没连上。确认 m3e 容器和 fastgpt 在同一个 network 里用容器名或 IP 都能通。如果看到 401是 CHAT_API_KEY 不对或令牌没勾选向量模型。5.3 OPENAI_BASE_URL 少了 /v1这个错误很隐蔽表现是模型测试能过但知识库处理失败。因为 FastGPT 处理知识库时走的是 embeddings 接口路径是 /v1/embeddings少了 /v1 就拼成了 /embeddings直接 404。检查 docker-compose.yml 里 OPENAI_BASE_URL 结尾是不是 /v1。5.4 分块预览不理想如果分块切得太碎或太长回到参数设置那一步调整。信息密度高的短问答把分块大小调到 512长篇叙事调到 1024 以上。索引大小不要超过向量模型的最大输入m3e-large 建议 1024 到 2048 之间。6. 模型接入与长期编码的入口选择跑通之后如果你只是偶尔验证模型效果直接用模型对话页面测最方便https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。如果你要把这套知识库接进日常编码或 Agent 工作流长期用下来 Coding Plan 更划算https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。需要管理多个 Key 和渠道时控制台在 https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API Key 创建页在 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。接入细节和参数说明看文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。如果你用 Claude Code 这类工具Anthropic 兼容入口在 https://taotoken.net/claudecode-anthropic?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。最后说个我踩过的坑config.json 改完一定要 down 再 uprestart 不会重新挂载配置文件。还有 one-api 的令牌额度设成无限不然知识库处理到一半额度用完会静默失败。把这两点记住FastGPT 知识库在 Docker 里跑通基本就是一次的事。 FastGPT知识库部署实战：Docker 环境下的向量模型配置与验证
1. 为什么 FastGPT 知识库总是卡在向量模型这一步FastGPT 知识库部署这件事真正让人卡住的往往不是 Docker 本身而是向量模型接不进去。我见过太多人把 FastGPT 容器跑起来了页面也能打开结果一建知识库就报错要么是「索引模型不可用」要么是文件上传后一直转圈不到「已就绪」。这类问题的根子通常有三个向量模型服务没起、config.json 里的 vectorModels 名字和实际渠道对不上、以及 OPENAI_BASE_URL 少了 /v1 这个后缀。FastGPT 是一套开箱即用的知识库问答系统它能做什么简单说就是把你手里的 PDF、Word、Markdown 喂进去它切成块、转成向量存起来之后你用自然语言提问它先检索相关片段再交给大模型组织答案。适合谁适合想在内网或本地跑一套私有知识库的开发者、运维和小团队。它依赖两个核心模型一个语言模型负责理解和生成一个向量模型负责把文本转成向量做语义检索。Docker 部署的好处是环境隔离、一条命令拉起但配置文件写错一个字整条链路就断。这篇就聚焦 Docker 环境下 FastGPT 知识库的完整部署流程重点解决向量模型接入和 config.json 编写这两个最容易翻车的地方。我会给出可复制的 docker-compose 骨架、config 配置片段以及知识库检索的验证动作帮你把本地知识库问答链路真正跑通。下面所有命令和配置都可以直接改 IP 后用。2. 前置准备TaoToken 与模型接入的定位在动手之前先把模型接入这一层想清楚。FastGPT 本身不生产模型它通过 OpenAI 兼容接口去调用语言模型和向量模型。你可以选择本地跑 Ollama 加载语言模型也可以走统一的 API 网关来管理多个模型渠道。TaoToken 在这里的角色就是后者——它提供 OpenAI 兼容的调用入口把语言模型和向量模型的请求统一收口省得你在 FastGPT 里到处填不同厂商的地址和密钥。TaoToken 能做什么它把模型调用抽象成标准的 /v1/chat/completions 和 /v1/embeddings 接口FastGPT 只要认这个格式就能接。适合谁适合不想在每台机器上单独维护模型服务、希望一个 Key 管多个模型的场景。官网入口在 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 基址是 https://taotoken.net/api 注意这个地址后面拼 /v1 才是完整的 OpenAI 兼容路径。如果你走本地 Ollama 路线语言模型可以用 deepseek-r1 这类向量模型用 m3e-large。如果你走 TaoToken 路线语言模型和向量模型都可以在它的模型列表里选然后在 FastGPT 的 config.json 里把 model 和 name 写成对应的模型标识。两条路线的区别只在于 OPENAI_BASE_URL 和 CHAT_API_KEY 填什么后面的知识库配置完全一样。需要提前准备的一台装了 Docker 和 Docker Compose 的 Linux 机器Fedora、Ubuntu 都行至少 16G 内存跑 32B 模型建议 32G 以上以及一个能访问模型服务的网络环境。GPU 不是必须的但向量模型用 GPU 会快很多。3. 可复制的 docker-compose 与 config 配置3.1 docker-compose 骨架FastGPT 官方推荐用 docker-compose 编排核心服务包括 fastgpt、mongo、pg带 pgvector、one-api 这几个。下面是一个精简骨架你可以直接存成 docker-compose.ymlversion: 3.3 services: fastgpt: image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.7 container_name: fastgpt ports: - 3000:3000 networks: - fastgpt environment: - DEFAULT_ROOT_PSW1234 - OPENAI_BASE_URLhttp://你的IP:13000/v1 - CHAT_API_KEYsk-你的令牌 - DB_MAX_LINK30 - TOKEN_KEYany - ROOT_KEYroot_key - FILE_TOKEN_KEYfiletoken volumes: - ./config.json:/app/data/config.json depends_on: - mongo - pg mongo: image: mongo:5.0.18 container_name: mongo networks: - fastgpt restart: always volumes: - ./mongo/data:/data/db pg: image: pgvector/pgvector:0.7.0-pg15 container_name: pg networks: - fastgpt restart: always environment: - POSTGRES_USERusername - POSTGRES_PASSWORDpassword - POSTGRES_DBpostgres volumes: - ./pg/data:/var/lib/postgresql/data one-api: image: justsong/one-api container_name: one-api ports: - 13000:3000 networks: - fastgpt restart: always environment: - TZAsia/Shanghai volumes: - ./one-api/data:/data networks: fastgpt:这里有几个点必须注意。OPENAI_BASE_URL 一定要带 /v1这是 FastGPT 拼接请求路径的约定少了它就会 404。CHAT_API_KEY 填的是你在 one-api 里创建的令牌不是模型厂商的原始 Key。DEFAULT_ROOT_PSW 是 FastGPT 首次启动时 root 用户的密码登录后记得改。3.2 向量模型服务如果你用本地 m3e-large 做向量模型单独起一个容器并把它挂到 fastgpt 同一个网络里docker pull registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest docker run -d -p 6008:6008 --gpus all \ --name m3e \ --network fastgpt_fastgpt \ registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest没有 GPU 就把 --gpus all 去掉用 CPU 跑速度慢但能验证链路。启动后用 curl 测一下curl http://localhost:6008/v1/embeddings \ -H Content-Type: application/json \ -d {model:m3e,input:测试文本}返回里带 data 数组和 embedding 向量就说明向量服务正常。3.3 config.json 关键片段config.json 是 FastGPT 的模型注册表llmModels 和 vectorModels 两个数组决定了页面上能选哪些模型。下面是最小可用配置{ llmModels: [ { model: deepseek-r1:32b, name: deepseek-r1:32b, maxContext: 15000, maxResponse: 3000, quoteMaxToken: 13000, maxTemperature: 1.2, charsPointsPrice: 0, censor: false, vision: false, datasetProcess: true, usedInClassify: true, usedInExtractFields: true, usedInToolCall: true, usedInQueryExtension: true, toolChoice: true, functionCall: false, defaultConfig: {} } ], vectorModels: [ { model: m3e, name: m3e, charsPointsPrice: 0, defaultToken: 700, maxToken: 3000, weight: 100, defaultConfig: {} } ] }model 和 name 必须和 one-api 渠道里填的模型名一致否则 FastGPT 找不到。datasetProcess 至少有一个模型要设为 true不然建知识库时会报「没有可用的处理模型」。vectorModels 里的 maxToken 建议不超过向量模型的最大输入限制m3e-large 通常按 3000 以内设比较稳。改完配置后重启docker compose down docker compose up -d4. 验证请求与知识库检索成功结果4.1 模型连通性验证先确认 one-api 里两个渠道都测试通过。登录 http://你的IP:13000 初始账号 root、密码 123456。在「渠道」里分别添加语言模型和向量模型Base URL 填模型服务地址密钥自定义。点「测试模型」响应成功栏出现耗时数字就说明通了。然后在「令牌」里新建一个令牌模型范围勾上刚才两个模型复制 sk- 开头的 Key填回 docker-compose.yml 的 CHAT_API_KEY。4.2 FastGPT 页面配置访问 http://你的IP:3000 用 root 和你设置的 DEFAULT_ROOT_PSW 登录。进入「账号—模型供应商」新增模型把 config.json 里定义的语言模型和向量模型都加上点测试出现「成功」即可。4.3 建知识库并验证检索点右上角「新建—通用知识库」索引模型选 m3e文本理解模型选 deepseek-r1:32b。上传一个测试文件处理方式选「分块存储」分块条件选「原文长度大于 1000」索引增强勾选「标题加入索引」分块处理参数选自定义按段落分块最大段落深度 4最大分块大小 1000索引大小 1024。上传后看文件状态变成「已就绪」说明向量化完成。然后新建一个简易应用关联这个知识库搜索方式选「混合检索」引用上限设 3000最低相关度设 0.4。在对话框里问一个只有你文档里才有的问题如果回答里带出了文档内容整条链路就通了。5. 本篇常见错误排查5.1 知识库报「索引模型不可用」最常见的原因是 config.json 里 vectorModels 的 model 名和 one-api 渠道里的模型名不一致。FastGPT 是拿 config.json 的 model 字段去请求 one-api 的one-api 再按渠道里的模型名转发。两边必须完全一样大小写敏感。改完记得 docker compose down 再 up光 restart 不会重新读 config.json。5.2 文件一直不到「已就绪」先看 fastgpt 容器日志docker logs -f fastgpt如果看到 embedding 请求超时多半是向量模型服务没连上。确认 m3e 容器和 fastgpt 在同一个 network 里用容器名或 IP 都能通。如果看到 401是 CHAT_API_KEY 不对或令牌没勾选向量模型。5.3 OPENAI_BASE_URL 少了 /v1这个错误很隐蔽表现是模型测试能过但知识库处理失败。因为 FastGPT 处理知识库时走的是 embeddings 接口路径是 /v1/embeddings少了 /v1 就拼成了 /embeddings直接 404。检查 docker-compose.yml 里 OPENAI_BASE_URL 结尾是不是 /v1。5.4 分块预览不理想如果分块切得太碎或太长回到参数设置那一步调整。信息密度高的短问答把分块大小调到 512长篇叙事调到 1024 以上。索引大小不要超过向量模型的最大输入m3e-large 建议 1024 到 2048 之间。6. 模型接入与长期编码的入口选择跑通之后如果你只是偶尔验证模型效果直接用模型对话页面测最方便https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。如果你要把这套知识库接进日常编码或 Agent 工作流长期用下来 Coding Plan 更划算https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。需要管理多个 Key 和渠道时控制台在 https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API Key 创建页在 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。接入细节和参数说明看文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。如果你用 Claude Code 这类工具Anthropic 兼容入口在 https://taotoken.net/claudecode-anthropic?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。最后说个我踩过的坑config.json 改完一定要 down 再 uprestart 不会重新挂载配置文件。还有 one-api 的令牌额度设成无限不然知识库处理到一半额度用完会静默失败。把这两点记住FastGPT 知识库在 Docker 里跑通基本就是一次的事。