如何搭建本地知识库：llm wiki+gbrain

问题日常工作里信息散得到处都是。PDF 在下载文件夹里堆着网页文章在浏览器收藏夹里吃灰微信聊天记录里的关键信息过几天就找不到了邮件里的决策结论沉在收件箱深处。这些东西有几个共同的问题第一没法统一搜索。想找一个概念得在文件夹、浏览器、微信、邮箱里分别搜一遍。第二格式不统一。PDF、Word、Excel、网页、聊天记录每种格式有自己的打开方式没法放在一起检索。第三也是最关键的——这些知识对 AI 是不可见的。大模型再强也搜不到你本地的 PDF 和微信记录。我需要一套系统把所有知识统一存储、结构化管理既能让我自己快速检索也能让 AI Agent 直接调用。方案最终搭出来的系统由四个组件组成各司其职。LLM Wiki是知识的组织框架。它定义了知识怎么分类、怎么组织。本质就是磁盘上的一套目录结构和 Markdown 文件。按概念、资料来源、人物实体、方法论等分类存放。每个文件用 YAML frontmatter 标记类型、标签、创建时间等元数据。文件之间可以用[[slug]]语法互相引用形成知识网络。这套目录可以直接用 Obsidian 打开也可以用任何文本编辑器操作。GBrain是知识的搜索引擎。底层是 PostgreSQL 数据库加上 pgvector 向量扩展。所有知识存进去之后它能做几件事全文搜索关键词精确匹配、语义搜索理解问题意图找到相关内容即使关键词不完全一致、知识图谱自动提取人物、公司、概念等实体建立它们之间的关系、时间线按时间轴组织事件。它提供 MCP 接口AI Agent 可以直接调用这些能力。Obsidian是人类的编辑界面。它直接读写 LLM Wiki 目录下的 Markdown 文件本身不存储任何数据。我喜欢用它是因为图谱视图——能看到知识之间的关联网络哪些概念连着哪些人物哪些资料引用了哪些理论。它就是一个可视化窗口。MarkItDown是微软出的文件格式转换工具。PDF、Word、Excel、PPT、网页 HTML、甚至图片 OCR 和音频语音转文字统统转成干净的 Markdown。这是知识入库的关键一步——不管原始文件是什么格式最终都变成统一的 Markdown 文本。数据怎么进来知识进入系统有三种入口最终都汇到同一条管线。浏览器上传。内网有一个上传页面监听 8199 端口局域网内任何设备打开浏览器就能用。拖拽文件进去文件自动进入投递箱目录。命令行。直接把文件复制到投递箱目录cp report.pdf ~/llmwiki/inbox/。告诉 AI。对 Agent 说帮我导入这个 PDF或保存这篇文章{URL}Agent 会自动处理。不管哪种方式文件最终都落到同一个地方~/llmwiki/inbox/。然后一个叫 watchdog 的后台脚本接管后续处理检测到新文件判断文件类型——文本文件直接处理二进制文件先用 MarkItDown 转成 Markdown存档原始文件到raw/sources/目录按日期归档保存转换后的 .md 文件到wiki/sources/目录导入 GBrain 数据库存储 生成向量索引 提取实体关联原始文件移到inbox/.processed/归档整个过程全自动。用户只需要把文件丢进去剩下的交给系统。查询的时候三种方式都能用命令行gbrain search 关键词或gbrain query 如何构建投资组合语义搜索Obsidian 搜索框直接问 Agent。Agent 通过 MCP 协议连接 GBrain搜索知识后基于结果生成回答。实际使用场景搭好之后的日常是这样的场景一保存文章。早上看到一篇好文章浏览器里用 MarkDownload 扩展一键复制 Markdown粘贴给 Agent说保存到知识库。Agent 自动提取关键信息、识别文中提到的人物和公司、创建知识页面、建立关联。整个过程几秒钟。场景二导入报告。下午收到一份研究报告 PDF拖到上传页面。几秒钟后就能搜到了。问 Agent这份报告的核心观点是什么它能基于报告内容回答。问报告里提到了哪些公司它能列出并自动关联到知识库里已有的公司页面。场景三保存会议记录。开完会把微信聊天记录复制给 Agent说保存这段讨论。它会提取参与者、识别关键决策、创建时间线事件。下次问上次关于 XX 的讨论结论是什么直接就能找到。场景四研究辅助。做研究的时候问 Agent我之前保存过哪些关于因子投资的资料它会搜索知识库列出相关文章、报告、会议记录还能基于这些内容做综合分析。所有知识都存在本地 Mac Studio 上不上传到任何云端。搜索的时候既能精确匹配关键词也能理解语义——比如搜如何控制回撤即使文章里没有回撤这两个字只要内容是关于风险控制的也能找到。技术实现整套系统跑在一台 Mac Studio上不依赖外部服务。语言模型GBrain 用的三个模型全部本地部署。搜索意图理解和回答生成用 Qwen3.5-27B向量 embedding 用 Qwen3-Embedding-8B通过 omlx 推理服务器提供 OpenAI 兼容的 API。完全离线运行不需要调用任何外部 API。数据库PostgreSQL pgvector。向量维度 1024支持高效的语义相似度搜索。服务部署GBrain 以 HTTP 服务方式运行监听 3131 端口绑定 0.0.0.0内网可访问。支持 Bearer Token 认证可以为不同的 Agent 创建不同的 Token。文件上传服务监听 8199 端口。两个服务都配置了 macOS launchd 开机自启Mac Studio 开机后自动运行。文件处理watchdog 脚本基于 fswatch 监控文件系统事件只处理最近 1 分钟内新增的文件。MarkItDown 安装在独立的 Python 虚拟环境中不影响系统 Python。Agent 接口通过 MCPModel Context Protocol协议暴露 81 个工具包括搜索、读写、关联、标签、时间线等。Agent 调用时需要在请求头带 Bearer Token响应格式是 SSEServer-Sent Events。局限这套系统有几个明显的局限只支持文本。图片、音频、视频没法直接入库需要先转成文字。MarkItDown 支持图片 OCR 和音频转文字但效果取决于原始文件质量。需要手动维护结构。虽然有自动分类和实体提取但知识的组织还是需要人工干预。概念之间的关联、实体的归类、重要程度的判断Agent 能辅助但不能完全替代人的决策。本地部署没有云端同步。数据存在本地 Mac Studio 上。如果需要多设备访问只能通过内网。没有自动备份机制需要自己定期备份 PostgreSQL 数据库。学习成本。日常使用很简单——拖文件、问 Agent。但如果要深入了解系统配置、故障排查、自定义工作流需要一定的技术基础。至少要熟悉命令行和 Markdown。模型能力上限。本地部署的 27B 模型在复杂推理上不如 GPT-4 或 Claude实体提取和语义搜索的准确率也有提升空间。但好处是完全离线、没有 API 费用、数据不出本地。适合谁这套系统适合以下场景个人知识管理信息量大、来源分散需要 AI 辅助整理和检索知识注重数据隐私不想把知识上传到第三方平台有一定的技术能力能处理基本的命令行操作。不太适合的场景团队多人协作这是个人知识库设计没有多用户权限管理、需要严格版本管理的文档用 Git 更合适、纯图片/视频类素材管理。总结这套系统的核心思路知识统一存为 Markdown用向量数据库做语义搜索通过 MCP 让 AI Agent 能读能写。技术栈不复杂PostgreSQL pgvector 做存储和搜索Qwen 做语言模型Obsidian 做编辑器MarkItDown 做格式转换一个 watchdog 脚本做自动化处理。所有组件都是开源的跑在本地数据不出 Mac。搭好之后最大的感受知识终于能被搜到了。不管是几周前保存的文章还是昨天的会议记录问 Agent 一句话就能找到。而且 Agent 能基于知识库回答问题、生成分析、做头脑风暴——这才是知识管理的最终目的不只是存起来而是能用起来。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】