Text Generation WebUI 完整指南从本地部署到角色定制【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgenText Generation WebUITextGen是一个开源免费的本地大模型界面模型离线跑在 GGUF 等格式上支持多轮对话、视觉理解、工具调用并提供 OpenAI 兼容 API。以下内容全部来自仓库实际文件照做即可复现。它是什么能帮你做什么数据不出本机推理完全在本地运行100% 离线、零遥测界面同时提供 Web UI 和 API 两种入口不需要任何账号。多种对话形态Chat 页签支持 instruct / chat-instruct / chat 三种模式Notebook 页签可自由生成文本消息可附带图片也能上传文本、PDF、.docx 文件让模型解读。后端与量化自由支持 llama.cpp、ik_llama.cpp、Transformers、ExLlamaV3、TensorRT-LLM 五类后端兼容 GGUF 量化模型切换模型和后端无需重启。对开发者开放OpenAI/Anthropic 兼容 API含 tool-calling、内置 LoRA 训练与图像生成页签插件机制可扩展 TTS、语音输入等功能。十分钟跑起来三种系统各一条命令第一步克隆代码三平台通用git clone https://gitcode.com/GitHub_Trending/te/text-generation-webui cd text-generation-webui做完后你应该看到目录下有server.py、start_linux.sh、start_windows.bat、start_macos.sh以及user_data/等文件。第二步运行一键安装脚本脚本会自动下载 Miniforge在installer_files/里建好隔离的 Python 环境全程不用手动配依赖安装过程中会提示你选择 GPU 厂商。注意仓库所在路径不要包含空格。Linux./start_linux.shWindows双击或在终端中运行均可start_windows.batmacOS./start_macos.sh做完后你应该看到打开浏览器访问http://127.0.0.1:7860页面顶部出现 Chat、Default、Notebook、Parameters、Model、Training、Session 的页签栏即安装成功。如果你机器上已有 Python 3.9也可以跳过一键脚本走 README 里的 venv 便携路线python -m venv venv # macOS/Linux: source venv/bin/activate Windows: venv\Scripts\activate pip install -r requirements/portable/requirements.txt python server.py --portable --api --auto-launch第三步放入模型并验证从模型站下载一个 GGUF 格式的量化模型文件放进user_data/models/目录即可UI 会自动检测。做完后你应该看到Model 页签的模型列表中出现该模型点击加载后就能在 Chat 页签开始对话。日常使用三条小抄再次启动直接重跑同一个start_脚本即可。固定启动参数把 flag 写进 user_data/CMD_FLAGS.txt例如--api不必每次手输。更新项目运行对应系统的update_wizard_脚本。核心功能怎么用从多轮对话到工具调用场景日常问答与角色对话场景既想让模型按指令干活又想像 ChatGPT 那样和一个自定义角色聊天。操作在 Chat 页签的侧边栏选择 Mode——instruct适合指令模型chat/chat-instruct适合自定义角色提示词会由 Jinja2 模板自动格式化不需要手写格式。效果每段对话自动存入 Past chats可以分支Branch、重命名、删除、搜索历史消息可编辑回退。详细按钮说明见 docs/01 - Chat Tab.md。场景给模型看图片、读文档场景想问图片里的内容或者讨论一份 PDF/Word 文档。操作在消息里直接附带图片做视觉理解或上传文本文件、PDF、.docx。效果模型基于附件内容作答例如解释图表、总结文档要点。用法见 docs/Multimodal Tutorial.md。场景让模型自己用工具场景希望模型回答前先联网查资料、算数或掷骰子。操作每个工具就是一个.py文件放进 user_data/tools/ 目录仓库自带calculate.py、web_search.py、roll_dice.py等示例也支持 MCP 服务器。效果聊天过程中模型按需调用这些函数例如先搜索网页再组织答案。教程见 docs/Tool Calling Tutorial.md。进阶玩法与个性化定制量化怎么选最省事的路线是 GGUF 量化模型放进user_data/models/就能被便携版直接运行。要用全精度 Transformers、EXL3 等格式则需要完整安装requirements/full/ 目录按硬件提供了对应依赖文件requirements.txtNVIDIA、requirements_amd.txtAMD、requirements_cpu_only.txt、requirements_apple_intel.txt、requirements_apple_silicon.txt。更多--gpu-layers、--ctx-size等 flag 说明见 README.md 的 Command-line flags 一节。LoRA 微调让模型学会你的数据在 Training 页签选择基座模型和数据集多轮对话或纯文本均可即可训练一个 LoRA中断的训任务还能断点续训。数据集放在 user_data/training/datasets/仓库自带example_messages.json等示例训练逻辑在 modules/training.py操作细节见 docs/05 - Training Tab.md。角色定制用 YAML 写一个人物user_data/characters/ 目录下每个 YAML 文件就是一个角色包含名字、开场白greeting、背景上下文context与性格描述Example.yaml是开箱即用的样例Assistant.yaml是默认助手。在 Chat 页签把 Mode 切到chat或chat-instruct即可与该角色对话。用参数预设切换生成风格user_data/presets/ 内置三个预设Creative.yaml偏创意、Deterministic.yaml偏确定、Top-P.yaml在 Parameters 页签加载即可你也可以把自己的温度、top-p 等组合另存为 YAML。说明见 docs/03 - Parameters Tab.md。扩展插件TTS、语音输入、知识库extensions/ 目录自带多个插件silero_tts/coqui_tts做文本转语音、whisper_stt做语音输入、google_translate做翻译、superboogav2基于本地知识库问答、gallery展示生成的图片、ngrok用于临时共享。自研插件放进 user_data/extensions/依赖可用更新向导里的 Install/update extensions requirements 选项安装。说明见 docs/07 - Extensions.md。对外暴露 OpenAI 兼容 API在 user_data/CMD_FLAGS.txt 中写入--api即可启用提供 Chat、Completions、Messages 三类端点且支持 tool-calling可以当 OpenAI/Anthropic API 的本地替代使用。实现代码在 modules/api/调用示例见 docs/12 - OpenAI API.md。下一步想深入使用建议按页签顺序阅读 docs/ 目录下的文档选模型前先查 docs/What Works.md 里的已知可用组合。遇到无法解决的 bug先检索项目 issues没有现成答案再新建一个 issue 描述你的系统和报错。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Text Generation WebUI 完整指南：从本地部署到角色定制
Text Generation WebUI 完整指南从本地部署到角色定制【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgenText Generation WebUITextGen是一个开源免费的本地大模型界面模型离线跑在 GGUF 等格式上支持多轮对话、视觉理解、工具调用并提供 OpenAI 兼容 API。以下内容全部来自仓库实际文件照做即可复现。它是什么能帮你做什么数据不出本机推理完全在本地运行100% 离线、零遥测界面同时提供 Web UI 和 API 两种入口不需要任何账号。多种对话形态Chat 页签支持 instruct / chat-instruct / chat 三种模式Notebook 页签可自由生成文本消息可附带图片也能上传文本、PDF、.docx 文件让模型解读。后端与量化自由支持 llama.cpp、ik_llama.cpp、Transformers、ExLlamaV3、TensorRT-LLM 五类后端兼容 GGUF 量化模型切换模型和后端无需重启。对开发者开放OpenAI/Anthropic 兼容 API含 tool-calling、内置 LoRA 训练与图像生成页签插件机制可扩展 TTS、语音输入等功能。十分钟跑起来三种系统各一条命令第一步克隆代码三平台通用git clone https://gitcode.com/GitHub_Trending/te/text-generation-webui cd text-generation-webui做完后你应该看到目录下有server.py、start_linux.sh、start_windows.bat、start_macos.sh以及user_data/等文件。第二步运行一键安装脚本脚本会自动下载 Miniforge在installer_files/里建好隔离的 Python 环境全程不用手动配依赖安装过程中会提示你选择 GPU 厂商。注意仓库所在路径不要包含空格。Linux./start_linux.shWindows双击或在终端中运行均可start_windows.batmacOS./start_macos.sh做完后你应该看到打开浏览器访问http://127.0.0.1:7860页面顶部出现 Chat、Default、Notebook、Parameters、Model、Training、Session 的页签栏即安装成功。如果你机器上已有 Python 3.9也可以跳过一键脚本走 README 里的 venv 便携路线python -m venv venv # macOS/Linux: source venv/bin/activate Windows: venv\Scripts\activate pip install -r requirements/portable/requirements.txt python server.py --portable --api --auto-launch第三步放入模型并验证从模型站下载一个 GGUF 格式的量化模型文件放进user_data/models/目录即可UI 会自动检测。做完后你应该看到Model 页签的模型列表中出现该模型点击加载后就能在 Chat 页签开始对话。日常使用三条小抄再次启动直接重跑同一个start_脚本即可。固定启动参数把 flag 写进 user_data/CMD_FLAGS.txt例如--api不必每次手输。更新项目运行对应系统的update_wizard_脚本。核心功能怎么用从多轮对话到工具调用场景日常问答与角色对话场景既想让模型按指令干活又想像 ChatGPT 那样和一个自定义角色聊天。操作在 Chat 页签的侧边栏选择 Mode——instruct适合指令模型chat/chat-instruct适合自定义角色提示词会由 Jinja2 模板自动格式化不需要手写格式。效果每段对话自动存入 Past chats可以分支Branch、重命名、删除、搜索历史消息可编辑回退。详细按钮说明见 docs/01 - Chat Tab.md。场景给模型看图片、读文档场景想问图片里的内容或者讨论一份 PDF/Word 文档。操作在消息里直接附带图片做视觉理解或上传文本文件、PDF、.docx。效果模型基于附件内容作答例如解释图表、总结文档要点。用法见 docs/Multimodal Tutorial.md。场景让模型自己用工具场景希望模型回答前先联网查资料、算数或掷骰子。操作每个工具就是一个.py文件放进 user_data/tools/ 目录仓库自带calculate.py、web_search.py、roll_dice.py等示例也支持 MCP 服务器。效果聊天过程中模型按需调用这些函数例如先搜索网页再组织答案。教程见 docs/Tool Calling Tutorial.md。进阶玩法与个性化定制量化怎么选最省事的路线是 GGUF 量化模型放进user_data/models/就能被便携版直接运行。要用全精度 Transformers、EXL3 等格式则需要完整安装requirements/full/ 目录按硬件提供了对应依赖文件requirements.txtNVIDIA、requirements_amd.txtAMD、requirements_cpu_only.txt、requirements_apple_intel.txt、requirements_apple_silicon.txt。更多--gpu-layers、--ctx-size等 flag 说明见 README.md 的 Command-line flags 一节。LoRA 微调让模型学会你的数据在 Training 页签选择基座模型和数据集多轮对话或纯文本均可即可训练一个 LoRA中断的训任务还能断点续训。数据集放在 user_data/training/datasets/仓库自带example_messages.json等示例训练逻辑在 modules/training.py操作细节见 docs/05 - Training Tab.md。角色定制用 YAML 写一个人物user_data/characters/ 目录下每个 YAML 文件就是一个角色包含名字、开场白greeting、背景上下文context与性格描述Example.yaml是开箱即用的样例Assistant.yaml是默认助手。在 Chat 页签把 Mode 切到chat或chat-instruct即可与该角色对话。用参数预设切换生成风格user_data/presets/ 内置三个预设Creative.yaml偏创意、Deterministic.yaml偏确定、Top-P.yaml在 Parameters 页签加载即可你也可以把自己的温度、top-p 等组合另存为 YAML。说明见 docs/03 - Parameters Tab.md。扩展插件TTS、语音输入、知识库extensions/ 目录自带多个插件silero_tts/coqui_tts做文本转语音、whisper_stt做语音输入、google_translate做翻译、superboogav2基于本地知识库问答、gallery展示生成的图片、ngrok用于临时共享。自研插件放进 user_data/extensions/依赖可用更新向导里的 Install/update extensions requirements 选项安装。说明见 docs/07 - Extensions.md。对外暴露 OpenAI 兼容 API在 user_data/CMD_FLAGS.txt 中写入--api即可启用提供 Chat、Completions、Messages 三类端点且支持 tool-calling可以当 OpenAI/Anthropic API 的本地替代使用。实现代码在 modules/api/调用示例见 docs/12 - OpenAI API.md。下一步想深入使用建议按页签顺序阅读 docs/ 目录下的文档选模型前先查 docs/What Works.md 里的已知可用组合。遇到无法解决的 bug先检索项目 issues没有现成答案再新建一个 issue 描述你的系统和报错。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考