ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

Skill Seekers 使用指南:将文档网站、GitHub 仓库与 PDF 一键转化为 AI Skill 与 RAG 数据资产

Skill Seekers 使用指南:将文档网站、GitHub 仓库与 PDF 一键转化为 AI Skill 与 RAG 数据资产 Skill Seekers 使用指南将文档网站、GitHub 仓库与 PDF 一键转化为 AI Skill 与 RAG 数据资产【免费下载链接】Skill_SeekersConvert documentation websites, GitHub repositories, and PDFs into Claude AI skills with automatic conflict detection项目地址: https://gitcode.com/gh_mirrors/sk/Skill_Seekers本篇技术指南完整介绍 Skill Seekers 开源项目它如何把文档网站、GitHub 仓库、PDF、视频、Notebook、Wiki 等 18 种来源转化为结构化知识资产并导出到 Claude、Gemini、OpenAI 等 22 个目标平台喂给 AI Skill、RAG 流水线LangChain、LlamaIndex、Pinecone与编程助手Cursor、Windsurf、Cline。读完本文你将掌握安装 extras 的选择、create/package/scan等核心命令的实战用法、AI 增强与多源统一抓取的工作原理以及 MCP 集成与向 19 个 AI 代理安装 Skill 的具体操作。项目定位AI 系统的数据层Skill Seekers 的自我定位是AI 系统的数据层the data layer for AI systems一次准备数据即可导出到 22 个目标。它把分散的文档、代码仓库与文件资料转换成结构化的、可直接喂给大模型的知识资产省去手工整理数据、编写 prompt 上下文的繁琐过程。从仓库结构看项目是一个以 Python 包为核心的多模块工程CLI 层位于 src/skill_seekers/cli约 100 个模块MCP 服务器位于 src/skill_seekers/mcp嵌入与同步等能力分别位于 src/skill_seekers/embedding 与 src/skill_seekers/sync。入口定义在 pyproject.toml主命令skill-seekers对应 CLI 统一入口。环境要求与安装前置条件Python 3.10在 pyproject.toml 中声明requires-python 3.10。Git抓取 GitHub 仓库与执行 Git 操作时需要。安装命令与 extras项目按功能拆分了可选的安装依赖extras核心包只包含抓取、GitHub、PDF 与打包能力pip install skill-seekers # 核心抓取、GitHub、PDF、打包 pip install skill-seekers[all-llms] # 所有 LLM 平台支持 pip install skill-seekers[mcp] # MCP 服务器 pip install skill-seekers[all] # 全部不确定自己需要哪些依赖时可直接运行引导向导skill-seekers-setup完整的 extras 清单如下与 pyproject.toml 中[project.optional-dependencies]定义一一对应安装方式增加的能力skill-seekers[gemini]Google Gemini 支持skill-seekers[openai]OpenAI ChatGPT 支持skill-seekers[all-llms]所有 LLM 平台skill-seekers[mcp]面向 Claude Code、Cursor 等的 MCP 服务器skill-seekers[video]YouTube/Vimeo 转录与元数据提取skill-seekers[video-full] Whisper 转录与视觉帧提取skill-seekers[jupyter]Jupyter Notebook 支持skill-seekers[pptx]PowerPoint 支持skill-seekers[confluence]Confluence wiki 支持skill-seekers[notion]Notion 页面支持skill-seekers[rss]RSS/Atom feed 支持skill-seekers[chat]Slack/Discord 聊天导出支持skill-seekers[asciidoc]AsciiDoc 支持skill-seekers[all]全部需要说明的是video-full涉及 OpenCV、Whisper 等重型原生依赖因此 pyproject.toml 特意将其排除在all之外。安装skill-seekers[video-full]之后还需要运行一次 GPU 探测命令skill-seekers create --setup该命令会自动检测 GPU 类型并安装与之匹配的 PyTorch easyocr 视觉依赖变体。快速开始3 条命令产出第一个 Skill# 1. 安装 pip install skill-seekers # 2. 从任意来源创建 skill skill-seekers create https://docs.djangoproject.com/ # 3. 为你的 AI 平台打包 skill-seekers package output/django --target claude执行完毕后当前目录下会得到output/django-claude.zip可直接使用。创建时还可以指定用于增强enhancement的 AI 代理。默认代理是claude可通过--agent切换平台内置代理或用--agent-cmd指定任意自定义命令# 使用 Kimi 作为增强代理 skill-seekers create https://docs.djangoproject.com/ --agent kimi # 使用自定义代理命令 skill-seekers create https://docs.djangoproject.com/ --agent-cmd my-custom-agent run从源码看create命令的完整参数--agent、--agent-cmd、--enhance-level、--preset等在 src/skill_seekers/cli/arguments/create.py 中定义CLI 入口通过 COMMAND_CLASSES 分发表 将create委托给 CreateCommand。来源自动检测create之所以能从任意来源工作依靠的是 SourceDetector它按文件扩展名 → GitHub 仓库模式 → URL 结构 → 本地路径的优先级对输入做自动分类。例如输入owner/repo会被 GITHUB_REPO_PATTERN 识别为 GitHub 仓库输入manual.pdf会被识别为 PDF。Confluence、Notion、Slack/Discord 聊天属于 API/导出类来源无法从单个参数自动检测需使用专门的子命令。18 种来源类型全览skill-seekers create facebook/react # GitHub 仓库 skill-seekers create ./my-project # 本地代码库 skill-seekers create manual.pdf # PDF skill-seekers create report.docx # Word skill-seekers create book.epub # EPUB skill-seekers create notebook.ipynb # Jupyter skill-seekers create openapi.yaml # OpenAPI/Swagger skill-seekers create presentation.pptx # PowerPoint skill-seekers create guide.adoc # AsciiDoc skill-seekers create page.html # 本地 HTML或整个目录 skill-seekers create feed.rss # RSS/Atom skill-seekers create curl.1 # Man page # 视频YouTube、Vimeo 或本地文件——需要 skill-seekers[video] skill-seekers create --video-url https://www.youtube.com/watch?v... --name mytutorial skill-seekers create --setup # 自动安装与 GPU 匹配的视觉依赖 skill-seekers create --space-key TEAM --name wiki # Confluence skill-seekers create --database-id ... --name docs # Notion skill-seekers create --chat-export-path ./slack-export --name team-chat # Slack/Discord全部来源类型及其选项的详细说明见 抓取指南。从统一爬取器的 SOURCE_DISPATCH 分发表 可以看到每种来源对应的处理实现documentation、github、pdf、word、video、local、epub、jupyter、html、openapi、asciidoc、pptx、confluence、notion、rss、manpage、chat等 17 种内部类型加上自动检测层共同支撑起 README 宣称的 18 种来源。AI 引导的项目扫描scanscan是AI 驱动的项目知识库入口把scan指向一个项目AI 代理会读取其 manifest、README、Dockerfile/CI 与源码 import 样例然后为检测到的每个框架输出一份 config并额外生成一份project-codebase.json用于描述项目自身代码skill-seekers scan ./my-react-app --out ./configs/scanned/ # → react.json, vite.json, tailwind.json, jest.json, my-react-app-codebase.json skill-seekers create ./configs/scanned/react.json如果某个检测结果没有现成 presetAI 会现场生成一份新 config退出时你还可以选择把它发布回社区 config 仓库。从源码看scan_command.py 将流程拆成信号收集 → AI 检测 → config 解析/AI 生成 → codebase config 输出 → 可选发布几个薄层AI 调用统一走 AgentClient因此 API 与 LOCAL 代理两种模式都支持每次扫描还会与out_dir中上一次扫描结果做 diffScanDiff用于增量归档。文档导航官方文档按我想做什么组织如下表我想...读这个快速上手快速开始 —— 3 条命令到第一个 skill理解概念核心概念从来源提取内容抓取指南 —— 全部 18 种来源类型用 AI 增强 skill增强指南 · 增强模式导出 skill打包指南创建工作流Workflows查询某个命令CLI 参考 —— 全部 19 个命令配置配置格式 · 环境变量配置 MCPMCP 配置 · MCP 参考与 RAG/IDE 集成LangChain · RAG 流水线 · Cursor · Windsurf · Cline处理超大型文档集大文档支持 —— 10K–40K 页面理解架构UML 架构 —— 14 张图解决问题故障排查完整文档索引见 docs/README.md。新手建议从 零失误快速上手 开始。你能得到什么输出物与 22 个导出目标使用场景输出喂给AI Skills综合的SKILL.md 参考文件Claude Code、Gemini、GPTRAG 流水线带丰富元数据的文档分块LangChain、LlamaIndex、Haystack向量数据库预格式化、可直接 upsert 的数据Pinecone、Chroma、Weaviate、FAISS、QdrantAI 编程助手AI 自动读取的上下文文件Cursor、Windsurf、Cline、Continue.dev22 个导出目标skill-seekers package output/react --target claude # → Claude SkillZIP YAML skill-seekers package output/react --target langchain # → LangChain Documents skill-seekers package output/react --target llama-index # → LlamaIndex TextNodes skill-seekers package output/react --target ibm-bob # → IBM Bob skill 目录LLM 平台12 个claude·gemini·openai·minimax·opencode·kimi·deepseek·qwen·openrouter·together·fireworks·markdownRAG 与向量库8 个langchain·llama-index·haystack·chroma·faiss·weaviate·qdrant·pinecone其他2 个atlas·ibm-bob各平台的支持细节见 功能矩阵。从源码看所有目标都通过统一的抽象基类SkillAdaptor实现适配器代码集中在 src/skill_seekers/cli/adaptors包含 claude、gemini、openai、langchain、llama_index、chroma、weaviate、pinecone 等 26 个文件package命令通过 get_adaptor 按目标名动态获取对应适配器。打包的隐藏细节质量门禁打包前默认运行SkillQualityChecker质量检查除非加--skip-quality-check非交互环境或--yes下自动放行。RAG 平台自动分块当目标是langchain、llama-index、haystack、weaviate、chroma、faiss、qdrant、pinecone时即便未显式开启分块也会自动启用智能分块。为什么这很重要项目官方声明⚡99% 更快——数天的人工数据准备 → 15–45 分钟真正的 skill 质量——超过 500 行的SKILL.md含示例、模式与指南即用型 RAG 分块——智能分块保留代码块与上下文多来源——把 docs GitHub PDF 视频合并为单一知识资产一次准备全部目标——无需重新抓取即可导出到 22 个目标✅经过实战检验——3,900 测试、68 个 workflow 预设上述性能数字为项目 README 的官方表述仓库内tests/目录包含 200 个测试模块例如 test_package_skill.py、test_scan_command.py、test_unified.py、test_mcp_server.py可验证上述核心链路。核心特性详解文档抓取三层发现 llms.txt 容错解析针对 JavaScript SPA 站点采用三层发现策略sitemap.xml→llms.txt→ 无头浏览器渲染。当站点存在llms.txt时自动检测并使用官方称快 10 倍同时具备按主题的智能分类以及一个容错的 HTML 解析器作为兜底即便 markup 破损也能提取内容。相关文档抓取指南 · llms.txt 支持。从依赖看pyproject.toml 中html5lib1.1的注释明确写着针对破损 markup 的宽松 HTML 解析兜底对应 issue #96。GitHub 与代码库分析C3.xAST 解析、模式检测、实践指南三流架构代码分析AST、设计模式、测试、文档README、docs/、wiki与社区issues、PRs、元数据。C3.x 流水线新增了9 种语言上的 10 个 GoF 模式检测器、从测试中提取使用示例、AI 编写的实践指南how-to guides、配置提取与架构概览。skill-seekers create ./my-project --preset quick # 1–2 分钟浅层 skill-seekers create ./my-project --preset standard # 均衡默认 skill-seekers create ./my-project --preset comprehensive # 深度、详尽相关文档模式检测 · 实践指南 · 测试示例提取。实现上对应 unified_codebase_analyzer.py、architectural_pattern_detector.py 与 how_to_guide_builder.py。AI 增强单一传输层API 与 LOCAL 双模式所有 AI 调用都经过单一传输层支持两种模式API 模式Anthropic、Google Gemini、OpenAI、Moonshot/Kimi、MiniMaxLOCAL 模式Claude Code、Kimi Code、Codex、Copilot、OpenCode 或自定义代理——无 API 费用。用--enhance-level 0-3控制增强深度用--agent选择代理。从源码看这一设计落实为 AgentClient其 AGENT_PRESETS 表是 LOCAL 模式代理配置的唯一事实来源例如claude对应claude {prompt_file}且支持--dangerously-skip-permissions无头运行pyproject.toml 中minimax/kimi/deepseek/qwen/openrouter/together/fireworks均复用openai1.0.0依赖从源码结构看它们走 OpenAI 兼容协议。相关文档增强指南 · 增强模式 · 多代理配置。68 个 workflow 预设项目内置 68 个增强 workflow 预设YAML存放于 src/skill_seekers/workflows覆盖安全聚焦security-focus、REST API 设计rest-api-design、Unity 游戏开发unity-game-dev、Kubernetes 部署、向量数据库、WebSocket 实时架构等主题。管理命令skill-seekers workflows list # 列出所有 workflow内置 用户 skill-seekers workflows show security-focus # 查看 YAML 内容 skill-seekers workflows copy security-focus # 复制到用户目录以便编辑 skill-seekers workflows add ./my-workflow.yaml # 安装自定义 YAML skill-seekers workflows remove my-workflow # 删除用户 workflow skill-seekers workflows validate security-focus # 校验 YAML多来源统一抓取一份 config多种来源一份统一 config 可同时聚合文档、GitHub、PDF、视频等来源到单一知识资产并具备来源间的冲突检测与逐对合成synthesis。skill-seekers unified --config configs/godot_unified.json skill-seekers unified --config configs/react_unified.json --merge-mode ai-enhanced相关文档统一抓取。仓库中已有可直接参考的示例配置例如 configs/godot_unified.json、configs/astrovalley_unified.json。实现上UnifiedScraper 的流程是加载并校验统一 config → 抓取所有来源 → 用 ConflictDetector 检测冲突 → 用规则式rule-based或 AI 增强式ai-enhanced合并 → 构建统一 skill。视频提取三层转录兜底 屏上代码 OCR支持 YouTube、Vimeo 与本地视频文件。转录采用三层兜底字幕 → YouTube 转录 API → 本地 Whisper此外可选的视觉提取会对采样帧中的屏上代码应用 OCR。相关文档视频指南。从依赖看video-full extras 包含yt-dlp、faster-whisper、scenedetect[opencv]、pytesseract等需要说明的是 pyproject.toml 注释指出 easyocr 已从 extras 移除因为它会拉取 GPU 变体错误的 torch正确做法是安装后用skill-seekers create --setup按 GPU 自动安装。质量、同步与规模质量评分门禁skill-seekers quality output/react/ --threshold 7——低于阈值可拦截发布文档变更同步检测文档变化支持定时重抓取与通知对应 src/skill_seekers/sync 模块测试见 test_sync_monitor.py流式摄取面向超大文档集的分块流式摄入与增量更新。相关文档大文档支持 · 代码质量。MCP 集成40 个工具项目自带 MCP 服务器支持 Claude Code、Cursor、Windsurf、VS Code Cline、IntelliJ IDEA 等客户端# stdio 模式Claude Code、VS Code Cline python -m skill_seekers.mcp.server_fastmcp # HTTP 模式Cursor、Windsurf、IntelliJ python -m skill_seekers.mcp.server_fastmcp --transport http --port 8765启动后可直接用自然语言指挥你的助手例如请打包并上传 React skill。README 徽章标注 MCP 提供40 个工具从 server_fastmcp.py 的模块文档字符串看其工具按 7 大类组织Config、Scraping、Packaging、Splitting、Source、Marketplace、Vector Database、Workflow文档字符串中列出的工具数为 34 个两者差异可能来自不同版本的统计口径如是否计入 legacy 服务器 server.py 的工具实际工具清单以你安装版本运行时输出为准。相关文档MCP 配置 · MCP 参考 · HTTP 传输。安装到 19 个 AI 代理构建出的 skill 可以一键安装到19 个 AI 编程代理skill-seekers install-agent output/react/ --agent cursor skill-seekers install-agent output/react/ --agent all # 所有已检测到的代理 skill-seekers install-agent output/react/ --agent cursor --dry-run代理安装路径作用域Claude Code~/.claude/skills/全局Cursor.cursor/skills/项目VS Code / Copilot.github/skills/项目Amp~/.amp/skills/全局Goose~/.config/goose/skills/全局OpenCode~/.opencode/skills/全局Letta~/.letta/skills/全局Aide~/.aide/skills/全局Windsurf~/.windsurf/skills/全局Neovate~/.neovate/skills/全局Roo Code.roo/skills/项目Cline.cline/skills/项目Aider~/.aider/skills/全局Bolt.bolt/skills/项目Kilo Code.kilo/skills/项目Continue~/.continue/skills/全局Kimi Code~/.kimi/skills/全局IBM Bob.bob/skills/项目说明上表原样引自 READMEREADME 称覆盖 19 个代理。安装逻辑实现于 install_agent.py--dry-run便于先预览将写入的路径。上传到 Claudeexport ANTHROPIC_API_KEYsk-ant-... skill-seekers package output/react/ --upload # 打包并上传 skill-seekers upload output/react.zip # 上传已有 zip没有 API key也可以手动把output/react.zip上传到 Claude 官网的 Skills 页面。详见 上传指南。工作原理整体流水线如下抓取Scraping——提取所有页面优先检查llms.txt分类Categorization——把内容组织成主题API、指南、教程……增强Enhancement——AI 编写带示例的综合SKILL.md打包Packaging——聚合为平台就绪的产物上传Upload——发布到你的 AI 平台可选模块架构项目官方描述为8 个核心模块 5 个工具模块约 200 个类模块职责CLICoreGit 风格命令分发器、来源自动检测Scrapers构建在共享层上的 18 个来源类型提取器Adaptors统一 ABCSkillAdaptor背后的 22 种平台输出格式Analysis面向代码库的 C3.x 流水线、10 个 GoF 模式检测器Enhancement通过单一AgentClient传输层的 AI 增强Packaging打包、上传与安装 skillMCPFastMCP 服务器40 工具、10 个工具模块Sync文档变更检测与通知该架构对应的包级全景可参考 包概览 UML 图更多细节见 UML 架构、API 参考 与 Skill 架构。v3.9.0 新特性README 记录 v3.9.0 的更新包括注当前仓库 pyproject.toml 的版本号已推进到3.10.0.dev0开发版破损 markup 的 HTML 解析兜底#96——严重畸形的页面不再被提取为空格式良好的页面仍逐字节一致。对应 pyproject.toml 中的html5lib依赖注释。瞬时故障重试——文档抓取器#97与 MCP 的fetch_config#92对连接抖动与 5xx 错误做带退避的重试4xx 错误仍立即失败。仓库中有对应测试 test_scraper_retry.py 与 test_mcp_fetch_retry.py。Whisper 转录兜底#420——没有字幕的本地视频终于能获得真实转录。MiniMax 图像 OCR 注册表驱动的多模态提供商#423——提供商声明自己的通信协议与图像能力中国区签发的 key 走正确端点。GitHub issues 的 token 经济模式#169——GitHub skill 默认不再包含全部已关闭 issue 的历史。三个服务器统一的环境变量驱动 CORS#422、#424——不再使用带凭据的通配来源。完整历史见 CHANGELOG.md。性能参考项目官方数据文档规模耗时输出小 100 页5–10 分钟~2 MB中100–500 页15–30 分钟~10 MB大500–2,000 页30–60 分钟~40 MB巨大10K–40K 页使用stream见 大文档支持故障排查skill-seekers doctor # 诊断安装与环境 skill-seekers sync-config # 检测配置分歧常见问题与修复故障排查指南 · TROUBLESHOOTING.md。生态与协作Skill Seekers 是多仓库项目。除本仓库CLI 主体 MCP 服务器外生态还包括网站与文档仓库skillseekersweb、社区 config 仓库skill-seekers-configs、用于 CI/CD 的 GitHub Actionskill-seekers-action、Claude Code 插件skill-seekers-plugin以及 macOS 的 Homebrew taphomebrew-skill-seekers。如需自行构建技能可参考仓库内的 distribution/claude-plugin 与 distribution/github-action 目录。贡献指南见 CONTRIBUTING.md项目采用 MIT 许可见 LICENSE。【免费下载链接】Skill_SeekersConvert documentation websites, GitHub repositories, and PDFs into Claude AI skills with automatic conflict detection项目地址: https://gitcode.com/gh_mirrors/sk/Skill_Seekers创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表