ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

ChatDev 2.0 如何配置本地 LLM(Ollama、LM Studio)作为模型服务?

ChatDev 2.0 如何配置本地 LLM(Ollama、LM Studio)作为模型服务? ChatDev 2.0 如何配置本地 LLMOllama、LM Studio作为模型服务【免费下载链接】ChatDevChatDev 2.0: Dev All through LLM-powered Multi-Agent Collaboration项目地址: https://gitcode.com/GitHub_Trending/ch/ChatDev在跑 ChatDev 2.0DevAll的工作流时Agent 节点默认走云端模型需要填提供商的API_KEY和BASE_URL。如果你希望在本地用 Ollama 或 LM Studio 这类 OpenAI 兼容服务跑模型就可以把这两个变量指到本地端点而不用再去申请云端 Key。本文按「本地服务先就绪 → 改.env→ 改 YAML 节点 → 跑起来验证」的顺序说明适用前提是本地服务已经在其默认端口提供了 OpenAI 兼容的/v1接口。一、本地模型服务要跑在哪个地址仓库文档只负责把 ChatDev 指向一个本地端点Ollama / LM Studio 本身的安装与启动不在本仓库范围内。你需要确保本地服务已经在下面这个地址可达见 .env.exampleOllamahttp://localhost:11434/v1LM Studiohttp://localhost:1234/v1.env.example明确写着BASE_URL与API_KEY是模型调用鉴权的标准配置且「These variables support OpenAI, Gemini, LM Studio, Ollama, and other providers」并给出了上面两条示例BASE_URL。这两个地址都以/v1结尾即都是 OpenAI 兼容接口。二、用哪个 provider用openai 覆盖base_urlChatDev 2.0 里注册的模型 provider 只有openai和gemini两个见 builtin_providers.py。Ollama 与 LM Studio 对外提供的正是 OpenAI 兼容的/v1接口所以接入方式是沿用provider: openai再通过base_url把端点指到本地而不是新增一个 provider。Agent 节点的配置字段见 agent 节点文档与本地接入直接相关的有字段必填说明provider是模型提供商名称如openai、gemininame是模型名称如gpt-4o、gemini-2.0-flash-001base_url否API 端点 URL支持${VAR}占位符api_key否API 密钥建议使用环境变量${API_KEY}base_url支持${VAR}占位符这一点正好用来从.env读取本地端点避免把地址硬编码进 YAML。三、配置步骤1. 复制环境变量模板并填入本地值按 README 的说明先复制模板cp .env.example .env然后在项目根目录的.env里把BASE_URL与API_KEY改成你所用的本地服务# Ollama BASE_URLhttp://localhost:11434/v1 API_KEYollama # 或 LM Studio两者只二选一别同时保留两套 # BASE_URLhttp://localhost:1234/v1 # API_KEYlm-studio说明.env.example里这两行的默认值是 OpenAI 云端地址接入本地时按上表覆盖。API_KEY本地服务一般不校验真实密钥填一个占位值即可Ollama 常用ollamaLM Studio 可填任意非空值。2. 在 YAML 工作流里指向本地端点在 YAML 的 agent 节点上把provider设为openai用${BASE_URL}/${API_KEY}引用.envname填你本地实际加载的模型名。参考 agent 节点文档 的基础配置写法nodes: - id: LocalWriter type: agent config: provider: openai base_url: ${BASE_URL} api_key: ${API_KEY} name: qwen2.5:7b # 替换为你本地已加载的模型名Ollama / LM Studio role: | 你是一位专业的技术文档撰写者请用清晰简洁的语言回答问题。 params: temperature: 0.7其中name是一个读者必须替换的值它必须与你在 Ollama / LM Studio 里实际加载/可用的模型名一致例如 Ollama 的模型 ID。${BASE_URL}与${API_KEY}是文档已定义的占位符运行时会从.env解析不是未解析的变量。四、跑起来并验证配置完成后按 README 的两种方式启动并触发一次真实的模型调用启动前后端make dev然后访问 Web 控制台http://localhost:5173在Launch标签里选一个工作流、输入 prompt 执行或用 Python SDK 直接跑一个工作流from runtime.sdk import run_workflow result run_workflow( yaml_fileyaml_instance/demo.yaml, # 换成你改好的工作流 task_prompt用一句话回答11 等于几 ) if result.final_message: print(fOutput: {result.final_message.text_content()})验证落点agent 节点能否把请求发到本地端点并拿到模型输出。只要节点返回了模型文本说明本地服务已被正确接入反之若本地端点不可达请求会以 HTTP 状态码的形式失败。关于失败时的行为agent 节点文档 记录了retry自动重试策略默认enabled: true、max_attempts: 5触发重试的retry_on_status_codes为[408, 409, 425, 429, 500, 502, 503, 504]。也就是说本地服务没起来或过载时失败会表现为上面这些状态码并进入内置重试可用于判断「端点没通」还是「通了但模型名不对」。五、边界与限制本地服务Ollama / LM Studio的安装、模型下载与启动不在本仓库文档范围内文章只覆盖「把 ChatDev 指到本地端点」这一侧请自行保证端点在http://localhost:11434/v1或http://localhost:1234/v1可达。name必须是本地真实可用的模型名仓库文档不内置本地模型清单填错模型名不会通过文档侧的校验需自行按本地服务实际加载的模型来填。只有openai与gemini两个 provider 被注册接入本地模型走的是openaibase_url没有独立的ollama/lmstudioprovider。配置到位后用 Launch 或run_workflow触发一次调用、确认 agent 节点能取到本地模型输出即完成本次接入。【免费下载链接】ChatDevChatDev 2.0: Dev All through LLM-powered Multi-Agent Collaboration项目地址: https://gitcode.com/GitHub_Trending/ch/ChatDev创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表