TextGen 本地部署:3 步跑通开源 LLM 聊天与 OpenAI 兼容 API【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgenTextGen 是一款开源的本地 LLM 应用,支持聊天、视觉理解、工具调用,并提供 OpenAI/Anthropic 兼容 API,全程离线、零遥测。这篇指南带你走最短路径把它在本地跑起来:克隆仓库、装依赖、启动,然后你就拥有了一个私有的 LLM 聊天窗口,外加一个能用 curl 直接调用的 API,可以直接替换你现有代码里的 OpenAI 端点。先看看部署成功是什么效果动手之前先明确成功长什么样,这样中途每一步都有对照:浏览器打开http://127.0.0.1:7860,能看到 Web UI:Model 页加载模型,Chat 页开始对话;带上--api参数后,5000 端口会同时启动 API 服务器,curl http://127.0.0.1:5000/v1/chat/completions直接发一条消息即可;所有数据都留在本机,不产生日志,不向任何远程服务发请求。环境准备:比想象中少最小化部署不需要提前装 GPU 驱动或 conda 环境,只需要:Python 3.9(完整版安装由脚本自动通过 Miniforge 在installer_files里搭建环境,不用你操心);Git,用来克隆代码;约 10GB 空闲磁盘——仅完整版(含训练、图像生成)需要,便携版远小于此。最短路径:克隆、装依赖、启动三条命令到达最小可运行状态(Linux/macOS 写法;Windows 上激活虚拟环境用venv\Scripts\activate):git clone https://gitcode.com/GitHub_Trending/te/text-generation-webuicd text-generation-webui python -m venv venvsource venv/bin/activate pip install -r requirements/portable/requirements.txt --upgrade用虚拟环境是为了不污染系统 Python。portable依赖清单自带预编译好的依赖;如果是 AMD 显卡、纯 CPU 或 Apple 芯片,请换成requirements/portable/目录下对应的requirements_amd.txt、requirements_cpu_only.txt等,装错硬件清单是最常见的卡壳点。然后启动:python server.py --portable --api --auto-launch--portable会隐藏训练等便携版不支持的功能,--api开启 API 服务器,--auto-launch启动后自动打开浏览器。这一行跑完页面能打开,就已经完成大半了。下载第一个模型并确认它被识别模型是本地 LLM 唯一需要额外安装的东西:从 Hugging Face 下载单文件 GGUF 模型,直接放进user_data/models目录;也可以运行python download-model.py HuggingFace模型ID,它会自动下载到user_data/models;放好后无需任何配置,UI 会自动识别,在 Model 页选中加载即可。多文件模型(Transformers 16-bit、EXL3 等)则应放进user_data/models下的一个子文件夹,这类格式需要完整版安装,便携版不支持。关键配置:让每次启动更省事跑通后,你大概率希望每次启动都自动选模型、开 API。把持久参数写进 user_data/CMD_FLAGS.txt,一行一个 flag,每次启动自动读取:--model your-model.gguf --api --listen--model:启动即加载该模型,跳过 Model 页的手动选择;--api:开启 API,默认端口 5000,可用--api-port修改;--listen:让局域网内其他设备也能访问 Web UI,想用手机或另一台电脑连过来时用。完整参数表随时可以python server.py --help查看,不必背。验证部署成功:三个可观察信号 ✅按说服力从弱到强,三条全过才算真正跑通:http://127.0.0.1:7860页面能打开、各页签布局正常——UI 进程没问题;Model 页下拉列表里出现你放的模型,点击 Load 后加载完成——模型加载链路没问题;在 Chat 页发送任意一条消息能收到回复;或 curl 上面那个 API 端点能返回 JSON——端到端生成没问题。跑不起来?先看这三个坑路径含空格(仅影响一键安装脚本)。现象:运行start_linux.sh时终端提示 can not be silently installed under a path with spaces 后退出。原因:Miniforge 无法安装在含空格的路径下。解法:把项目挪到不含空格的纯英文路径再运行。模型加载后爆显存或生成极慢。原因通常是上下文长度太大。在 Model 页把ctx_size调小(设为 0 可让 llama.cpp 按可用内存自动计算),或把 KV 缓存量化类型改为q8_0/q4_0,用少量质量换取内存。各参数含义详见 docs/04 - Model Tab.md。依赖安装失败或极慢。现象:pip install反复拉源码或某个包报错。原因:依赖清单和实际硬件不匹配。确认显卡类型(NVIDIA/AMD/CPU)后,换requirements/portable/下对应的文件重新安装。跑通之后往哪走 最小状态跑通后,三条进阶路线都已就绪:完整版安装:运行start_linux.sh(Windows/macOS 各有对应脚本),自动搭建环境并让你选择 GPU 厂商,解锁 ExLlamaV3、Transformers 后端,以及 LoRA 微调、图像生成等能力;API 接入:参考 docs/12 - OpenAI API.md,现成的 OpenAI 客户端代码通常只需把 base_url 指过来就能工作;扩展:TTS、语音输入、翻译等位于extensions/目录,用--extensions参数按需启用。更细的各页签用法,docs/目录下的文档按模块组织,随时可以查阅。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 TextGen 本地部署:3 步跑通开源 LLM 聊天与 OpenAI 兼容 API
TextGen 本地部署:3 步跑通开源 LLM 聊天与 OpenAI 兼容 API【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgenTextGen 是一款开源的本地 LLM 应用,支持聊天、视觉理解、工具调用,并提供 OpenAI/Anthropic 兼容 API,全程离线、零遥测。这篇指南带你走最短路径把它在本地跑起来:克隆仓库、装依赖、启动,然后你就拥有了一个私有的 LLM 聊天窗口,外加一个能用 curl 直接调用的 API,可以直接替换你现有代码里的 OpenAI 端点。先看看部署成功是什么效果动手之前先明确成功长什么样,这样中途每一步都有对照:浏览器打开http://127.0.0.1:7860,能看到 Web UI:Model 页加载模型,Chat 页开始对话;带上--api参数后,5000 端口会同时启动 API 服务器,curl http://127.0.0.1:5000/v1/chat/completions直接发一条消息即可;所有数据都留在本机,不产生日志,不向任何远程服务发请求。环境准备:比想象中少最小化部署不需要提前装 GPU 驱动或 conda 环境,只需要:Python 3.9(完整版安装由脚本自动通过 Miniforge 在installer_files里搭建环境,不用你操心);Git,用来克隆代码;约 10GB 空闲磁盘——仅完整版(含训练、图像生成)需要,便携版远小于此。最短路径:克隆、装依赖、启动三条命令到达最小可运行状态(Linux/macOS 写法;Windows 上激活虚拟环境用venv\Scripts\activate):git clone https://gitcode.com/GitHub_Trending/te/text-generation-webuicd text-generation-webui python -m venv venvsource venv/bin/activate pip install -r requirements/portable/requirements.txt --upgrade用虚拟环境是为了不污染系统 Python。portable依赖清单自带预编译好的依赖;如果是 AMD 显卡、纯 CPU 或 Apple 芯片,请换成requirements/portable/目录下对应的requirements_amd.txt、requirements_cpu_only.txt等,装错硬件清单是最常见的卡壳点。然后启动:python server.py --portable --api --auto-launch--portable会隐藏训练等便携版不支持的功能,--api开启 API 服务器,--auto-launch启动后自动打开浏览器。这一行跑完页面能打开,就已经完成大半了。下载第一个模型并确认它被识别模型是本地 LLM 唯一需要额外安装的东西:从 Hugging Face 下载单文件 GGUF 模型,直接放进user_data/models目录;也可以运行python download-model.py HuggingFace模型ID,它会自动下载到user_data/models;放好后无需任何配置,UI 会自动识别,在 Model 页选中加载即可。多文件模型(Transformers 16-bit、EXL3 等)则应放进user_data/models下的一个子文件夹,这类格式需要完整版安装,便携版不支持。关键配置:让每次启动更省事跑通后,你大概率希望每次启动都自动选模型、开 API。把持久参数写进 user_data/CMD_FLAGS.txt,一行一个 flag,每次启动自动读取:--model your-model.gguf --api --listen--model:启动即加载该模型,跳过 Model 页的手动选择;--api:开启 API,默认端口 5000,可用--api-port修改;--listen:让局域网内其他设备也能访问 Web UI,想用手机或另一台电脑连过来时用。完整参数表随时可以python server.py --help查看,不必背。验证部署成功:三个可观察信号 ✅按说服力从弱到强,三条全过才算真正跑通:http://127.0.0.1:7860页面能打开、各页签布局正常——UI 进程没问题;Model 页下拉列表里出现你放的模型,点击 Load 后加载完成——模型加载链路没问题;在 Chat 页发送任意一条消息能收到回复;或 curl 上面那个 API 端点能返回 JSON——端到端生成没问题。跑不起来?先看这三个坑路径含空格(仅影响一键安装脚本)。现象:运行start_linux.sh时终端提示 can not be silently installed under a path with spaces 后退出。原因:Miniforge 无法安装在含空格的路径下。解法:把项目挪到不含空格的纯英文路径再运行。模型加载后爆显存或生成极慢。原因通常是上下文长度太大。在 Model 页把ctx_size调小(设为 0 可让 llama.cpp 按可用内存自动计算),或把 KV 缓存量化类型改为q8_0/q4_0,用少量质量换取内存。各参数含义详见 docs/04 - Model Tab.md。依赖安装失败或极慢。现象:pip install反复拉源码或某个包报错。原因:依赖清单和实际硬件不匹配。确认显卡类型(NVIDIA/AMD/CPU)后,换requirements/portable/下对应的文件重新安装。跑通之后往哪走 最小状态跑通后,三条进阶路线都已就绪:完整版安装:运行start_linux.sh(Windows/macOS 各有对应脚本),自动搭建环境并让你选择 GPU 厂商,解锁 ExLlamaV3、Transformers 后端,以及 LoRA 微调、图像生成等能力;API 接入:参考 docs/12 - OpenAI API.md,现成的 OpenAI 客户端代码通常只需把 base_url 指过来就能工作;扩展:TTS、语音输入、翻译等位于extensions/目录,用--extensions参数按需启用。更细的各页签用法,docs/目录下的文档按模块组织,随时可以查阅。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考