ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

text-generation-webui 模型下载完整指南:3 步把 Hugging Face 大模型存到本地

text-generation-webui 模型下载完整指南:3 步把 Hugging Face 大模型存到本地 text-generation-webui 模型下载完整指南3 步把 Hugging Face 大模型存到本地【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgentext-generation-webui 是一个跑在本地的大模型桌面工具文本、视觉、工具调用都支持数据不出机器。它自带一个独立的下载脚本download-model.py把从 Hugging Face 取模型这件事压缩成一条命令断点续传、校验和、多线程、格式过滤都替你做了不用再去浏览器里手点下载、手动整理文件。一条命令完成首次模型下载先拿到代码库再进目录git clone https://gitcode.com/GitHub_Trending/te/text-generation-webui cd text-generation-webui然后在目录里跑python download-model.py gpt2脚本会做三件事调用 Hugging Face 的接口拉取模型仓库的完整文件列表按规则挑出要下哪些文件创建目标目录并多线程下载每个文件带进度条。输入格式很宽松facebook/opt-1.3b这种标准路径、带:分支名的写法甚至直接粘完整的 Hugging Face 文件 URL 都可以识别。下载完想确认文件没下坏加--check即可脚本会逐个比对 sha256 校验和结果会打印在终端里python download-model.py gpt2 --check看清它替你过滤了哪些文件很多模型仓库里同一份权重有好几种格式全下载既费空间又没必要。这个脚本内置了一套筛选规则仓库里同时有 PyTorch 权重和 Safetensors 时只下 Safetensors因为后者加载更安全仓库是 GGUF 集合时不指定文件的情况下只挑 Q4_K_M 这一档量化它是体积和质量的常见平衡点配置文件、词表、tokenizer 这类小文件永远会跟着下载缺了它们模型加载不起来识别出 LoRA 适配器adapter_model.bin、adapter_config.json后文件会存进user_data/loras而不是模型目录。如果规则不合你意可以手动接管python download-model.py gpt2 --text-only python download-model.py big-model --exclude-pattern *.bin python download-model.py TheBloke/Llama-2-7B-Chat-GGUF --specific-file model-Q4_K_M.gguf--text-only只取配置和文本文件--exclude-pattern按正则排除--specific-file精确到单个文件这对只想拿某个 GGUF 分片的场景最省事。大文件怎么下得更快、更稳默认 4 线程并发、出错最多重试 7 次普通家用网络够用。大模型或网络差时把这几个参数一起调python download-model.py TheBloke/Llama-2-13B-GPTQ:gptq-4bit-32g-actorder_True \ --threads 8 --max-retries 15--branch可以不写进模型名后面用参数单独指定分支。下载中断时不用慌脚本默认断点续传再次运行同样的命令已下的部分通过 HTTP Range 请求接着写不会从零开始。只有你明确加--clean时才会丢弃本地已有文件重新下。下载出错时按这个顺序排查401/403 认证失败私仓或受限模型需要令牌。脚本会读HF_TOKEN环境变量也认HF_USER和HF_PASS这一对或者你之前用huggingface-cli login登录过的凭据。反复超时调大--max-retries重试间隔按 2 的指数递增给慢网络留足余量。默认磁盘不够--output直接把文件落到指定目录--model-dir则是在自定义根目录下按模型名建子文件夹。校验没过重新跑一次即可续传补齐仍失败就用--clean删掉残文件重来。国内网络设置HF_ENDPOINT环境变量可以整体切换 Hugging Face 端点脚本的接口调用和文件下载都会走新地址。下载的文件都躺在哪里不指定路径时存放规则是固定的多文件模型进user_data/models下的子目录目录名是作者_模型名非 main 分支还会拼上分支名单个 GGUF 文件直接平铺在user_data/models根下LoRA 进user_data/loras。每个非 GGUF 模型目录里还会有一个huggingface-metadata.txt记录了来源 URL、分支、下载时间和所有 LFS 文件的 sha256日后核对来源或重校验都靠它。接下来建议你先拿一个小模型比如 gpt2走通下载、校验两个环节再挑一个你真正要用的 GGUF 量化版配合--specific-file只取需要的分片。模型就位后就可以启动 Web UI 选模型开始对话了更多技巧可以看 docs/08 - Additional Tips.md。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表