Kotaemon文档问答快速部署启动、模型、索引与验证四步走【免费下载链接】kotaemonAn open-source RAG-based tool for chatting with your documents.项目地址: https://gitcode.com/GitHub_Trending/kot/kotaemonKotaemon 是一个开源的 RAG 文档问答工具让你在自己的机器上上传 PDF、Office 等文档然后用 LLM 与之对话并获得带引用的回答。本文按实际使用顺序组织内容先确认环境能启动再接入模型然后上传文档最后验证问答质量每一步都给出可核对的检查项与关键路径。启动前确认运行环境与安装方式先确定用哪种方式部署再核对启动后的登录信息。方式一源码脚本安装适合本地开发git clone https://gitcode.com/GitHub_Trending/kot/kotaemon cd kotaemon脚本安装Linux 执行 scripts/run_linux.shmacOS 执行 scripts/run_macos.shWindows 执行 scripts/run_windows.bat。脚本会安装 MinicondaPython 3.10、依赖与 PDF.js 浏览器插件。手动安装uv sync --python 3.10创建环境然后python app.py启动服务。方式二Docker 安装使用ghcr.io/cinnamon/kotaemon:main-lite通用或main-full需要处理 .doc/.docx 等更多格式将-p 7860:7860映射端口并用-v ./ktem_app_data:/app/ktem_app_data挂载数据目录。启动后核对三件事浏览器访问http://localhost:7860/能打开 WebUI默认用户名与密码均为admin可在界面内追加新用户项目根目录出现ktem_app_data文件夹——之后所有文件、索引与数据库都存放在这里备份或迁移机器时只需拷贝这个目录。注意项目根目录的.env文件只在首次启动时用于预填模型配置后续改动请直接在 WebUI 中设置。接入模型为问答管道准备 LLM 与 EmbeddingKotaemon 的问答依赖两类模型负责生成回答的 LLM 和负责文档向量化检索的 Embedding。至少需要各配置一个。通过 Resources 界面添加进入Resources选项卡在LLMs子页签选择Add填写名称、选择供应商如ChatOpenAI、填入 API 密钥与模型名可勾选设为默认切到Embedding Models子页签重复上述操作。配置本地模型实现私有 RAG如果文档敏感不希望数据出内网可接入本地模型详见 docs/local_model.mdOllama 方式推荐先执行ollama pull llama3.1:8b与ollama pull nomic-embed-text再在 Resources 中以 OpenAI 类型添加参数为api_key: ollama、base_url: http://localhost:11434/v1/Docker 部署时把localhost换成host.docker.internal。GGUF 权重方式下载 GGUF 模型后运行LOCAL_MODELpath/to/GGUF python scripts/serve_local.py在界面中以base_url: http://localhost:8000/v1/接入。选择 GGUF 权重时模型体积应小于设备内存并预留约 2GB。例如 16GB 内存的机器建议选用 10GB 以内的模型。接入本地模型后还要完成两处联动设置将 File Collection 的嵌入模型设为本地模型并在检索设置中把 LLM 相关性打分模型改为本地模型机器负载高时可关闭该打分功能。处理文档上传并确认索引生效问答的质量取决于文档是否被正确索引。打开File Index选项卡页面分为上传区和文件列表两部分。上传操作与核对要点将文件拖入上传区或点击选择点击Upload and Index处理完成后界面会给出通知此时文件才真正可用于检索。上传前核对三个限制单文件不超过 10MB、单文件不超过 500 页、最多 100 个文件。重新上传同名文件时注意“Force re-index”选项开启才会重建索引关闭则跳过已存在的文件。完成后在文件列表核对文件名、大小、页数与上传日期列表下方还会汇总总页数与总大小。如果某个文件上传后无法被检索引用优先重新执行一次强制重新索引并确认该文件使用的嵌入模型与当前默认模型一致——更换嵌入模型后旧索引会失效。验证问答检查检索结果与引用质量切回Chat选项卡界面由三块组成左侧会话设置面板、中间对话区、右侧信息面板。验证时按以下顺序检查文件范围会话面板中可设Disabled不使用任何文档、Search All全部文件参与检索或Select仅勾选指定文件。回答偏离预期时先确认这里勾选的是目标文档。发送测试问题处理过程中会显示 Thinking...随后开始流式输出回答。查看信息面板右侧展示检索到的证据与引用引用位置在浏览器内 PDF 查看器中会高亮显示面板同时给出多个分数用于判断质量。面板中的分数含义分数来源Answer confidenceLLM 给出的回答置信度LLM relevant scoreLLM 对“问题与证据相关性”的评分Reranking scoreCohere 重排模型的评分Vectorstore score向量相似度或全文检索得分相关度排序为LLM relevant score Reranking score Vectorstore score默认整体相关度直接取 LLM 评分。若相关度普遍偏低说明检索质量不佳可进入Settings → Retrieval Settings调整检索与打分模型仍不理想时可在推理类型中从默认管道切换为分解式或 Agent 管道ReAct / ReWOO以支持多跳问题。排障入口数据目录、配置文件与关键路径当界面表现异常时按下面的路径逐项定位而不是从头重装路径作用排查点ktem_app_data/user_data/sql.dbSQLite 应用数据库会话、用户、模型配置是否完整ktem_app_data/user_data/files上传文件存储文件是否真实落盘ktem_app_data/user_data/docstore、vectorstore全文索引与向量索引索引目录是否为空flowsettings.py开发者配置KH_DOCSTORE、KH_VECTORSTORE、KH_REASONINGS是否符合预期.env项目根目录模型凭据模板仅在首次启动生效改动后需在 UI 重配settings.yaml.exampleGraphRAG 参数模板配合.env中USE_CUSTOMIZED_GRAPHRAG_SETTING使用libs/ktem/ktem/db/engine.py数据库连接入口读取KH_DATABASE建立连接常见定位思路模型连接失败 → 回 Resources 选项卡核对密钥与 base_url索引无结果 → 检查 docstore/vectorstore 目录是否有数据、嵌入模型是否更换过行为不符合预期 → 检查flowsettings.py中启用的推理管道与存储类型。更多背景可参考 docs/usage.md 与 docs/pages/app/settings/overview.md。下一步完整检查清单http://localhost:7860/可打开admin/admin能登录Resources 中至少各有一个可用的 LLM 与 Embedding 模型且默认模型已勾选本地模型场景Ollama 或 llama-cpp 服务正在运行base_url 与内存规格匹配File Index 中目标文件显示正常页数且已完成一次强制索引Chat 中文件范围选中目标文档信息面板相关度分数符合预期ktem_app_data可正常读写docstore 与 vectorstore 目录有数据按顺序走完这份清单绝大多数“装不起来、连不上模型、答非所问”的问题都能定位到具体环节。【免费下载链接】kotaemonAn open-source RAG-based tool for chatting with your documents.项目地址: https://gitcode.com/GitHub_Trending/kot/kotaemon创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Kotaemon文档问答快速部署：启动、模型、索引与验证四步走
Kotaemon文档问答快速部署启动、模型、索引与验证四步走【免费下载链接】kotaemonAn open-source RAG-based tool for chatting with your documents.项目地址: https://gitcode.com/GitHub_Trending/kot/kotaemonKotaemon 是一个开源的 RAG 文档问答工具让你在自己的机器上上传 PDF、Office 等文档然后用 LLM 与之对话并获得带引用的回答。本文按实际使用顺序组织内容先确认环境能启动再接入模型然后上传文档最后验证问答质量每一步都给出可核对的检查项与关键路径。启动前确认运行环境与安装方式先确定用哪种方式部署再核对启动后的登录信息。方式一源码脚本安装适合本地开发git clone https://gitcode.com/GitHub_Trending/kot/kotaemon cd kotaemon脚本安装Linux 执行 scripts/run_linux.shmacOS 执行 scripts/run_macos.shWindows 执行 scripts/run_windows.bat。脚本会安装 MinicondaPython 3.10、依赖与 PDF.js 浏览器插件。手动安装uv sync --python 3.10创建环境然后python app.py启动服务。方式二Docker 安装使用ghcr.io/cinnamon/kotaemon:main-lite通用或main-full需要处理 .doc/.docx 等更多格式将-p 7860:7860映射端口并用-v ./ktem_app_data:/app/ktem_app_data挂载数据目录。启动后核对三件事浏览器访问http://localhost:7860/能打开 WebUI默认用户名与密码均为admin可在界面内追加新用户项目根目录出现ktem_app_data文件夹——之后所有文件、索引与数据库都存放在这里备份或迁移机器时只需拷贝这个目录。注意项目根目录的.env文件只在首次启动时用于预填模型配置后续改动请直接在 WebUI 中设置。接入模型为问答管道准备 LLM 与 EmbeddingKotaemon 的问答依赖两类模型负责生成回答的 LLM 和负责文档向量化检索的 Embedding。至少需要各配置一个。通过 Resources 界面添加进入Resources选项卡在LLMs子页签选择Add填写名称、选择供应商如ChatOpenAI、填入 API 密钥与模型名可勾选设为默认切到Embedding Models子页签重复上述操作。配置本地模型实现私有 RAG如果文档敏感不希望数据出内网可接入本地模型详见 docs/local_model.mdOllama 方式推荐先执行ollama pull llama3.1:8b与ollama pull nomic-embed-text再在 Resources 中以 OpenAI 类型添加参数为api_key: ollama、base_url: http://localhost:11434/v1/Docker 部署时把localhost换成host.docker.internal。GGUF 权重方式下载 GGUF 模型后运行LOCAL_MODELpath/to/GGUF python scripts/serve_local.py在界面中以base_url: http://localhost:8000/v1/接入。选择 GGUF 权重时模型体积应小于设备内存并预留约 2GB。例如 16GB 内存的机器建议选用 10GB 以内的模型。接入本地模型后还要完成两处联动设置将 File Collection 的嵌入模型设为本地模型并在检索设置中把 LLM 相关性打分模型改为本地模型机器负载高时可关闭该打分功能。处理文档上传并确认索引生效问答的质量取决于文档是否被正确索引。打开File Index选项卡页面分为上传区和文件列表两部分。上传操作与核对要点将文件拖入上传区或点击选择点击Upload and Index处理完成后界面会给出通知此时文件才真正可用于检索。上传前核对三个限制单文件不超过 10MB、单文件不超过 500 页、最多 100 个文件。重新上传同名文件时注意“Force re-index”选项开启才会重建索引关闭则跳过已存在的文件。完成后在文件列表核对文件名、大小、页数与上传日期列表下方还会汇总总页数与总大小。如果某个文件上传后无法被检索引用优先重新执行一次强制重新索引并确认该文件使用的嵌入模型与当前默认模型一致——更换嵌入模型后旧索引会失效。验证问答检查检索结果与引用质量切回Chat选项卡界面由三块组成左侧会话设置面板、中间对话区、右侧信息面板。验证时按以下顺序检查文件范围会话面板中可设Disabled不使用任何文档、Search All全部文件参与检索或Select仅勾选指定文件。回答偏离预期时先确认这里勾选的是目标文档。发送测试问题处理过程中会显示 Thinking...随后开始流式输出回答。查看信息面板右侧展示检索到的证据与引用引用位置在浏览器内 PDF 查看器中会高亮显示面板同时给出多个分数用于判断质量。面板中的分数含义分数来源Answer confidenceLLM 给出的回答置信度LLM relevant scoreLLM 对“问题与证据相关性”的评分Reranking scoreCohere 重排模型的评分Vectorstore score向量相似度或全文检索得分相关度排序为LLM relevant score Reranking score Vectorstore score默认整体相关度直接取 LLM 评分。若相关度普遍偏低说明检索质量不佳可进入Settings → Retrieval Settings调整检索与打分模型仍不理想时可在推理类型中从默认管道切换为分解式或 Agent 管道ReAct / ReWOO以支持多跳问题。排障入口数据目录、配置文件与关键路径当界面表现异常时按下面的路径逐项定位而不是从头重装路径作用排查点ktem_app_data/user_data/sql.dbSQLite 应用数据库会话、用户、模型配置是否完整ktem_app_data/user_data/files上传文件存储文件是否真实落盘ktem_app_data/user_data/docstore、vectorstore全文索引与向量索引索引目录是否为空flowsettings.py开发者配置KH_DOCSTORE、KH_VECTORSTORE、KH_REASONINGS是否符合预期.env项目根目录模型凭据模板仅在首次启动生效改动后需在 UI 重配settings.yaml.exampleGraphRAG 参数模板配合.env中USE_CUSTOMIZED_GRAPHRAG_SETTING使用libs/ktem/ktem/db/engine.py数据库连接入口读取KH_DATABASE建立连接常见定位思路模型连接失败 → 回 Resources 选项卡核对密钥与 base_url索引无结果 → 检查 docstore/vectorstore 目录是否有数据、嵌入模型是否更换过行为不符合预期 → 检查flowsettings.py中启用的推理管道与存储类型。更多背景可参考 docs/usage.md 与 docs/pages/app/settings/overview.md。下一步完整检查清单http://localhost:7860/可打开admin/admin能登录Resources 中至少各有一个可用的 LLM 与 Embedding 模型且默认模型已勾选本地模型场景Ollama 或 llama-cpp 服务正在运行base_url 与内存规格匹配File Index 中目标文件显示正常页数且已完成一次强制索引Chat 中文件范围选中目标文档信息面板相关度分数符合预期ktem_app_data可正常读写docstore 与 vectorstore 目录有数据按顺序走完这份清单绝大多数“装不起来、连不上模型、答非所问”的问题都能定位到具体环节。【免费下载链接】kotaemonAn open-source RAG-based tool for chatting with your documents.项目地址: https://gitcode.com/GitHub_Trending/kot/kotaemon创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考