一份搞定本地部署大模型用 localllm 把 LLM 装进自己电脑全程无需云服务【免费下载链接】localllm项目地址: https://gitcode.com/gh_mirrors/lo/localllmlocalllm是一个面向开发者和 AI 爱好者的命令行工具专门解决在本地跑大模型太麻烦的痛点。它把模型下载、服务启动、进程管理和 API 暴露封装成几条简单的命令即使你完全不懂模型推理的底层原理也能在几分钟内拥有一个属于自己的、完全离线可用的 AI 服务。对于重视数据隐私、想控制成本或者只是想在开发机上反复实验模型效果的普通用户来说这是目前上手门槛最低的本地大模型方案之一。先聊聊痛点为什么很多人装了模型却用不起来过去想在本地体验大模型通常会遇到三座大山拦路虎具体表现下载困难模型动辄几个 GB还要手动在 Hugging Face 页面里翻找合适的文件启动复杂跑推理要自己配环境、装依赖、写启动脚本一步出错全线崩溃调用麻烦模型跑起来后没有标准接口想接入自己的程序还得二次开发localllm 的思路很直接把这三件事全部收进一个命令行工具里让你只需要关心我要跑哪个模型剩下的交给它。它的技术底座也相当成熟——模型来自 Hugging Face 上现成的量化模型推理服务则复用llama-cpp-python自带的 Web Server。也就是说你拿到的是一个经过验证的开箱即用组合而不是一堆需要自己拼装的零件。核心能力速览这个工具到底能干什么在动手之前先用一张表看清它的全部功能能力对应命令一句话说明下载模型local-llm pull从 Hugging Face 拉取 GGUF 量化模型到本地缓存查看已下载local-llm list列出本地缓存里有哪些模型启动服务local-llm run拉起模型推理服务并暴露标准 HTTP API查看运行中local-llm ps看看当前有哪些模型正在提供服务停止服务local-llm kill按模型或文件名精确关闭对应进程删除模型local-llm rm清理磁盘上的模型文件释放空间全部操作都围绕local-llm这一个命令展开记忆成本极低。默认情况下模型会存放在~/.cache/huggingface/hub/这也是 Hugging Face 官方库的标准缓存位置和生态完全兼容。环境准备动手前先确认这三件事localllm 对硬件要求非常友好普通开发机就能跑Python 3.8 及以上版本以及配套的 pip 包管理工具足够的磁盘空间模型文件从几 GB 到十几 GB 不等建议预留 10GB 以上内存建议 8GB 以上量化模型对内存的需求远低于全精度模型这也是项目默认选择量化版的原因无需 GPU 也能运行CPU 推理只是速度慢一些用来学习和调试完全够用。这算是本地大模型方案里最平民的配置要求了。从零上手三步让第一个本地模型跑起来第一步克隆仓库并安装打开终端把项目拉到本地git clone https://gitcode.com/gh_mirrors/lo/localllm cd localllm接着安装依赖。推荐直接安装local-llm/子目录里的包pip install ./local-llm/.如果你打算二次开发或修改源码就用可编辑模式安装这样改完代码立即生效不用重复安装pip install --editable .安装完成后local-llm命令就全局可用了。第二步一条命令下载并启动模型这是最让人惊喜的一步。run命令会在模型不存在时自动帮你下载然后直接启动服务local-llm run TheBloke/Llama-2-13B-Ensemble-v5-GGUF 8000命令的第二个参数是端口号这里指定 8000。如果你不指定具体的模型文件工具会自动挑选 4-bit medium 量化Q4_K_M版本——这是精度和资源占用之间的最佳平衡点普通硬件上也能流畅运行。 小知识4-bit 量化就是把模型的权重压缩到 4 位精度体积能缩小到原来的四分之一左右而效果损失很小。这正是 localllm 能在普通电脑上跑大模型的关键。第三步验证服务是否真的可用服务启动后用项目自带的测试脚本发一个请求试试python3 querylocal.py这个脚本会向本地服务发送一个写一首关于猫的俳句的请求然后打印模型的回答。看到输出内容就说明你的本地大模型已经正式上岗了。如果你想更直观地操作可以直接在浏览器打开交互式 API 文档页面http://localhost:8000/docs这是 OpenAPI 自动生成的调试界面可以像填表单一样测试各种请求对新手非常友好。常用功能逐个讲透下载、管理、停止、删除如何下载指定模型文件如果你不想通过run隐式下载也可以用pull命令显式拉取local-llm pull TheBloke/Llama-2-13B-Ensemble-v5-GGUF某些模型仓库里包含多个量化版本的文件你可以用--filename参数指定要哪一个local-llm pull TheBloke/Llama-2-13B-Ensemble-v5-GGUF --filename llama-2-13b-ensemble-v5.Q4_K_S.gguf--filename参数在run、kill、rm命令中同样适用方便你精确控制某个具体文件。怎么查看本地有哪些模型local-llm list命令会输出模型缓存目录的路径以及里面所有已下载的模型清单。想确认哪些模型正在运行就用local-llm ps输出为空则说明当前没有服务在跑。这两个命令一查就知道你的模型资产现状。如何停止服务并释放资源停止全部实例local-llm kill TheBloke/Llama-2-13B-Ensemble-v5-GGUF只停某一个具体文件对应的服务local-llm kill TheBloke/Llama-2-13B-Ensemble-v5-GGUF --filename llama-2-13b-ensemble-v5.Q4_K_S.gguf模型的推理服务非常吃资源测试完记得及时关掉给开发机留出余量。磁盘不够用删除模型local-llm rm TheBloke/Llama-2-13B-Ensemble-v5-GGUF不带--filename会删除该仓库下的全部文件指定文件名则只删除对应的那一个。删除前建议先local-llm list确认一下免得误删还在用的模型。进阶技巧日志、环境变量与开放 API怎么让日志落盘方便排查问题模型启动时报错是最常见的问题。默认日志直接输出到终端排查起来不方便。项目提供了基于 YAML 的 Python 日志配置方案可以让日志写入文件local-llm run TheBloke/Llama-2-13B-Ensemble-v5-GGUF 8000 --log-config /path/to/log_config.yaml项目自带的 log_config.yaml 会把日志写到/var/log/local-llm.log并同时输出到标准输出。日志文件可以用tail -f实时跟踪tail -f /var/log/local-llm.log如果同时跑多个模型它们的日志会交错写入同一个文件注意区分。如何免去每次手动传日志配置通过环境变量LOG_CONFIG指定配置路径后就再也不用加--log-config参数了export LOG_CONFIG$(pip show local-llm | grep Location | awk {print $2})/log_config.yaml local-llm run TheBloke/Llama-2-13B-Ensemble-v5-GGUF 8000在 Cloud Workstations 镜像中这个环境变量已经预置好日志会自动落盘开箱即用。怎么把本地模型接入自己的程序localllm 启动的服务完全兼容 OpenAI 的 API 格式地址为http://localhost:8000/v1。这意味着任何支持 OpenAI 接口的客户端都能直接对接比如项目里的 querylocal.py 就是用它自带的 SDK 实现的from openai import OpenAI client OpenAI( api_keyfoo, base_urlhttp://localhost:8000/v1, ) chat_completion client.chat.completions.create( messages[{role: user, content: 请写一首关于猫的俳句}], model, ) print(chat_completion.choices[0].message.content)api_key 随便填一个占位符即可因为本地服务不校验身份。这样一个标准的 HTTP 接口让本地模型可以无缝嵌入到你的聊天机器人、自动化脚本甚至前端应用里数据全程不出本机。云上部署如何把本地服务搬到 Cloud Workstations除了单机使用项目还提供了完整的云工作站部署方案。仓库里的 Dockerfile 会构建一个内置local-llm工具的自定义镜像配合 cloudbuild.yaml 可以一键打包上传到 Artifact Registry。部署流程大致是设置好LOCALLLM_REGISTRY、LOCALLLM_IMAGE_NAME、LOCALLLM_CLUSTER、LOCALLLM_WORKSTATION等环境变量然后依次创建镜像仓库、构建推送镜像、创建工作站集群和配置最后启动工作站并通过 SSH 连接。进入工作站后运行local-llm run TheBloke/Llama-2-13B-Ensemble-v5-GGUF 8000就能在云端拥有一台随时可访问的大模型推理机。项目建议使用 e2-standard-32 机型32 vCPU、128GB 内存可以同时容纳多个模型实例。值得一提的是云镜像里同时保留了旧版命令名llm老用户无需改变习惯。避坑指南新手最容易踩的四个坑文件名必须匹配指定--filename时必须是模型仓库里真实存在的文件否则会报错。可以先到 Hugging Face 页面确认文件名再下载。端口不要冲突run命令指定的端口如果已被占用服务会启动失败。可以先local-llm ps看看有没有旧实例在跑。磁盘空间提前检查量化模型虽然体积小但下载和解压过程中仍需要临时空间别等到装到一半才想起来清理。及时停止服务模型进程常驻内存跑完实验记得local-llm kill否则机器会越来越卡。写在最后localllm 的价值在于把本地部署大模型这件听起来很专业的事压缩成了几条有规律的命令。它特别适合这几类人担心数据泄露想要完全本地运行的用户、想低成本体验大模型的个人开发者以及需要把模型服务化接入业务的团队。如果你想深入了解实现细节主程序入口在 local-llm/local_llm.py模型下载、文件管理、服务管理分别由 modeldownload.py、modelfiles.py、modelserving.py 负责代码量不大是学习 CLI 工具设计和进程管理的绝佳范本。最后提醒一句项目拉取的是 Hugging Face 上开源可用的量化模型请确认你使用的模型符合其许可条款同时模型生成的内容可能存在错误或偏差使用前务必独立核验项目方不对生成内容的准确性负责。准备就绪的话打开终端输入你的第一条local-llm run一个完全属于你的本地 AI 服务就在眼前。【免费下载链接】localllm项目地址: https://gitcode.com/gh_mirrors/lo/localllm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 一份搞定本地部署大模型：用 localllm 把 LLM 装进自己电脑，全程无需云服务
一份搞定本地部署大模型用 localllm 把 LLM 装进自己电脑全程无需云服务【免费下载链接】localllm项目地址: https://gitcode.com/gh_mirrors/lo/localllmlocalllm是一个面向开发者和 AI 爱好者的命令行工具专门解决在本地跑大模型太麻烦的痛点。它把模型下载、服务启动、进程管理和 API 暴露封装成几条简单的命令即使你完全不懂模型推理的底层原理也能在几分钟内拥有一个属于自己的、完全离线可用的 AI 服务。对于重视数据隐私、想控制成本或者只是想在开发机上反复实验模型效果的普通用户来说这是目前上手门槛最低的本地大模型方案之一。先聊聊痛点为什么很多人装了模型却用不起来过去想在本地体验大模型通常会遇到三座大山拦路虎具体表现下载困难模型动辄几个 GB还要手动在 Hugging Face 页面里翻找合适的文件启动复杂跑推理要自己配环境、装依赖、写启动脚本一步出错全线崩溃调用麻烦模型跑起来后没有标准接口想接入自己的程序还得二次开发localllm 的思路很直接把这三件事全部收进一个命令行工具里让你只需要关心我要跑哪个模型剩下的交给它。它的技术底座也相当成熟——模型来自 Hugging Face 上现成的量化模型推理服务则复用llama-cpp-python自带的 Web Server。也就是说你拿到的是一个经过验证的开箱即用组合而不是一堆需要自己拼装的零件。核心能力速览这个工具到底能干什么在动手之前先用一张表看清它的全部功能能力对应命令一句话说明下载模型local-llm pull从 Hugging Face 拉取 GGUF 量化模型到本地缓存查看已下载local-llm list列出本地缓存里有哪些模型启动服务local-llm run拉起模型推理服务并暴露标准 HTTP API查看运行中local-llm ps看看当前有哪些模型正在提供服务停止服务local-llm kill按模型或文件名精确关闭对应进程删除模型local-llm rm清理磁盘上的模型文件释放空间全部操作都围绕local-llm这一个命令展开记忆成本极低。默认情况下模型会存放在~/.cache/huggingface/hub/这也是 Hugging Face 官方库的标准缓存位置和生态完全兼容。环境准备动手前先确认这三件事localllm 对硬件要求非常友好普通开发机就能跑Python 3.8 及以上版本以及配套的 pip 包管理工具足够的磁盘空间模型文件从几 GB 到十几 GB 不等建议预留 10GB 以上内存建议 8GB 以上量化模型对内存的需求远低于全精度模型这也是项目默认选择量化版的原因无需 GPU 也能运行CPU 推理只是速度慢一些用来学习和调试完全够用。这算是本地大模型方案里最平民的配置要求了。从零上手三步让第一个本地模型跑起来第一步克隆仓库并安装打开终端把项目拉到本地git clone https://gitcode.com/gh_mirrors/lo/localllm cd localllm接着安装依赖。推荐直接安装local-llm/子目录里的包pip install ./local-llm/.如果你打算二次开发或修改源码就用可编辑模式安装这样改完代码立即生效不用重复安装pip install --editable .安装完成后local-llm命令就全局可用了。第二步一条命令下载并启动模型这是最让人惊喜的一步。run命令会在模型不存在时自动帮你下载然后直接启动服务local-llm run TheBloke/Llama-2-13B-Ensemble-v5-GGUF 8000命令的第二个参数是端口号这里指定 8000。如果你不指定具体的模型文件工具会自动挑选 4-bit medium 量化Q4_K_M版本——这是精度和资源占用之间的最佳平衡点普通硬件上也能流畅运行。 小知识4-bit 量化就是把模型的权重压缩到 4 位精度体积能缩小到原来的四分之一左右而效果损失很小。这正是 localllm 能在普通电脑上跑大模型的关键。第三步验证服务是否真的可用服务启动后用项目自带的测试脚本发一个请求试试python3 querylocal.py这个脚本会向本地服务发送一个写一首关于猫的俳句的请求然后打印模型的回答。看到输出内容就说明你的本地大模型已经正式上岗了。如果你想更直观地操作可以直接在浏览器打开交互式 API 文档页面http://localhost:8000/docs这是 OpenAPI 自动生成的调试界面可以像填表单一样测试各种请求对新手非常友好。常用功能逐个讲透下载、管理、停止、删除如何下载指定模型文件如果你不想通过run隐式下载也可以用pull命令显式拉取local-llm pull TheBloke/Llama-2-13B-Ensemble-v5-GGUF某些模型仓库里包含多个量化版本的文件你可以用--filename参数指定要哪一个local-llm pull TheBloke/Llama-2-13B-Ensemble-v5-GGUF --filename llama-2-13b-ensemble-v5.Q4_K_S.gguf--filename参数在run、kill、rm命令中同样适用方便你精确控制某个具体文件。怎么查看本地有哪些模型local-llm list命令会输出模型缓存目录的路径以及里面所有已下载的模型清单。想确认哪些模型正在运行就用local-llm ps输出为空则说明当前没有服务在跑。这两个命令一查就知道你的模型资产现状。如何停止服务并释放资源停止全部实例local-llm kill TheBloke/Llama-2-13B-Ensemble-v5-GGUF只停某一个具体文件对应的服务local-llm kill TheBloke/Llama-2-13B-Ensemble-v5-GGUF --filename llama-2-13b-ensemble-v5.Q4_K_S.gguf模型的推理服务非常吃资源测试完记得及时关掉给开发机留出余量。磁盘不够用删除模型local-llm rm TheBloke/Llama-2-13B-Ensemble-v5-GGUF不带--filename会删除该仓库下的全部文件指定文件名则只删除对应的那一个。删除前建议先local-llm list确认一下免得误删还在用的模型。进阶技巧日志、环境变量与开放 API怎么让日志落盘方便排查问题模型启动时报错是最常见的问题。默认日志直接输出到终端排查起来不方便。项目提供了基于 YAML 的 Python 日志配置方案可以让日志写入文件local-llm run TheBloke/Llama-2-13B-Ensemble-v5-GGUF 8000 --log-config /path/to/log_config.yaml项目自带的 log_config.yaml 会把日志写到/var/log/local-llm.log并同时输出到标准输出。日志文件可以用tail -f实时跟踪tail -f /var/log/local-llm.log如果同时跑多个模型它们的日志会交错写入同一个文件注意区分。如何免去每次手动传日志配置通过环境变量LOG_CONFIG指定配置路径后就再也不用加--log-config参数了export LOG_CONFIG$(pip show local-llm | grep Location | awk {print $2})/log_config.yaml local-llm run TheBloke/Llama-2-13B-Ensemble-v5-GGUF 8000在 Cloud Workstations 镜像中这个环境变量已经预置好日志会自动落盘开箱即用。怎么把本地模型接入自己的程序localllm 启动的服务完全兼容 OpenAI 的 API 格式地址为http://localhost:8000/v1。这意味着任何支持 OpenAI 接口的客户端都能直接对接比如项目里的 querylocal.py 就是用它自带的 SDK 实现的from openai import OpenAI client OpenAI( api_keyfoo, base_urlhttp://localhost:8000/v1, ) chat_completion client.chat.completions.create( messages[{role: user, content: 请写一首关于猫的俳句}], model, ) print(chat_completion.choices[0].message.content)api_key 随便填一个占位符即可因为本地服务不校验身份。这样一个标准的 HTTP 接口让本地模型可以无缝嵌入到你的聊天机器人、自动化脚本甚至前端应用里数据全程不出本机。云上部署如何把本地服务搬到 Cloud Workstations除了单机使用项目还提供了完整的云工作站部署方案。仓库里的 Dockerfile 会构建一个内置local-llm工具的自定义镜像配合 cloudbuild.yaml 可以一键打包上传到 Artifact Registry。部署流程大致是设置好LOCALLLM_REGISTRY、LOCALLLM_IMAGE_NAME、LOCALLLM_CLUSTER、LOCALLLM_WORKSTATION等环境变量然后依次创建镜像仓库、构建推送镜像、创建工作站集群和配置最后启动工作站并通过 SSH 连接。进入工作站后运行local-llm run TheBloke/Llama-2-13B-Ensemble-v5-GGUF 8000就能在云端拥有一台随时可访问的大模型推理机。项目建议使用 e2-standard-32 机型32 vCPU、128GB 内存可以同时容纳多个模型实例。值得一提的是云镜像里同时保留了旧版命令名llm老用户无需改变习惯。避坑指南新手最容易踩的四个坑文件名必须匹配指定--filename时必须是模型仓库里真实存在的文件否则会报错。可以先到 Hugging Face 页面确认文件名再下载。端口不要冲突run命令指定的端口如果已被占用服务会启动失败。可以先local-llm ps看看有没有旧实例在跑。磁盘空间提前检查量化模型虽然体积小但下载和解压过程中仍需要临时空间别等到装到一半才想起来清理。及时停止服务模型进程常驻内存跑完实验记得local-llm kill否则机器会越来越卡。写在最后localllm 的价值在于把本地部署大模型这件听起来很专业的事压缩成了几条有规律的命令。它特别适合这几类人担心数据泄露想要完全本地运行的用户、想低成本体验大模型的个人开发者以及需要把模型服务化接入业务的团队。如果你想深入了解实现细节主程序入口在 local-llm/local_llm.py模型下载、文件管理、服务管理分别由 modeldownload.py、modelfiles.py、modelserving.py 负责代码量不大是学习 CLI 工具设计和进程管理的绝佳范本。最后提醒一句项目拉取的是 Hugging Face 上开源可用的量化模型请确认你使用的模型符合其许可条款同时模型生成的内容可能存在错误或偏差使用前务必独立核验项目方不对生成内容的准确性负责。准备就绪的话打开终端输入你的第一条local-llm run一个完全属于你的本地 AI 服务就在眼前。【免费下载链接】localllm项目地址: https://gitcode.com/gh_mirrors/lo/localllm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考