本地跑大模型实测：什么电脑能跑什么模型，这篇文章带你入坑

最近一个月我一直在折腾本地跑大模型。起因是好奇半年前试过一次体验很差现在怎么样了我的测试机是一台2019款16寸MacBook Proi9 8核、64G DDR4内存、AMD 5500M 8G显存。这个配置在跑模型这件事上挺有代表性的——64G内存看着挺大但Intel Mac没有统一内存显卡也不支持Metal加速属于能跑但有限制的典型。折腾完分享一下真实体验。先说结论半年前我试过本地模型跑了个7B的问个正则表达式都胡说八道五分钟就卸了。这次重新试12B的Gemma 4能正确写Python、改bug、做代码审查——虽然慢点但能用。不过要提前说清楚本地模型目前还替代不了Claude/GPT它们各有各的用处后面细说。什么电脑能跑什么模型我在这台MBP上试了一圈记录了实际表现9B模型Qwen3.5 9B Q4_K_M模型大小约5G内存完全够推理速度7-9 token/秒打字不用等太久日常问答流畅简单代码没问题体验★★★★12B模型Gemma 4 12B Q4_K_M模型大小约7G内存够用推理速度4-6 token/秒明显慢了一截但等得起编程准确率不错写Python/JS脚本能用体验★★★☆14B模型Qwen3 14B Q4_K_M模型大小约8G推理速度2-4 token/秒等得有点难受问问题还行但打字等回复的耐心在消耗体验★★★27B模型Qwen3.5 27B Q4_K_M模型大小约16G推理速度1-2 token/秒一个回复等半分钟能用但体验很差不如直接开Claude体验★★35B及以上内存够装但推理慢到不实用体验★所以64G内存听着大但在Intel Mac上跑模型有天然劣势——显卡AMD 5500M不支持Metal加速Ollama只能走CPU推理。同样64G的M系列Mac推理速度快3-5倍因为统一内存GPU加速全开。如果你的电脑配置不同大致可以参考这个表8G内存 → 1-4B小模型聊天够用编程别想16G内存 → 7-9B量化版写代码辅助勉强行32G内存 → 12-14B量化版日常开发能用64G内存Intel Mac→ 能跑到27B但速度不理想64G内存M系列Mac→ 26-35B流畅能跑智能体编程循环128G内存/专业显卡 → 接近云端体验一个关键点跑模型选M系列Mac统一内存是真的香。哪些模型值得装我前后装了十几个模型最后留下这几个Gemma 4 12B — 留它的理由很简单我这台机器跑12B是速度和质量的平衡点。写Python脚本、改Flutter代码、做代码审查大概10个问题能答对7-8个。比Claude差一截但胜在免费且本地。Qwen3.5 9B — 速度最快的那个问简单问题秒回。中文能力一直是开源里最强的日常问答够用。Qwen3 14B — 中文代码都要用的话这个是质量上限。缺点是2-4 token/秒有点慢我一般只在9B答不上来的时候才切这个。MiniCPM-V 4.6约1.3B参数 — 专门提一下1B多参数小到手机都能跑。识别商品、读截图、简单问答真行。当然复杂逻辑完全不行但当个轻量助手够了。删掉的模型就不点名了总之别迷信参数量大就一定好。本地跑模型参数量要跟你的硬件匹配。我这台Intel Mac12B就是甜点强行跑大模型只会得到一个又慢又笨的结果。三种上手方式从5分钟到半小时Ollama5分钟搞定我第一推荐Ollama因为真的太简单了# Mac装Ollama去ollama.com下载也行 brew install ollama # 装完直接跑模型 ollama run gemma4:12b第一次跑会自动下载模型文件12B大概5-6个G。下完之后秒启动直接在终端里聊天。切换模型也是一行命令ollama run qwen3.5:9b没有什么配置文件要改没有什么环境变量要设。装了就能用这才是正常工具该有的体验。我日常用法是开两个终端一个跑Ollama问问题一个正常干活。需要问AI的时候切过去打字比开网页登录ChatGPT还快。注意 Intel Mac用户Ollama会自动走CPU推理。你可以在活动监视器里确认——如果CPU占用很高但GPU几乎不动说明确实没走GPU加速这是正常的。LM Studio Open WebUI想要图形界面终端聊天有的人不习惯。想要一个像ChatGPT那样的网页界面LM Studio Open WebUI是最佳组合。LM Studio去lmstudio.ai下载界面很直观搜索模型名字点下载就行。下载完点Start Server本地就起了一个OpenAI兼容的接口服务。Open WebUI用容器工具装docker run -d -p 3000:8080 / -e OPENAI_API_BASE_URLhttp://host.docker.internal:1234/v1 / -e OPENAI_API_KEY* / --name open-webui / ghcr.io/open-webui/open-webui:main打开localhost:3000跟ChatGPT一模一样的体验但数据全在你自己电脑上。Pi Agent让本地模型自己写代码这是最折腾但也最好玩的。Pi是一个开源编程智能体框架能让本地模型像Claude Code一样自主编程——读代码、写代码、跑测试、修bug。配置不算复杂但容易踩坑。核心是把Pi的容器指向LM Studio的本地推理服务{ lmstudio: { baseUrl: http://host.docker.internal:1234/v1, api: openai-completions, apiKey: *, models: [{ id: google/gemma-4-12b-it, input: [text, image] }] } }踩坑1 Pi必须跑在容器里别直接装在宿主机上。本地模型写代码是会执行命令的不隔离万一删错文件就完了。踩坑2 host.docker.internal在Linux上默认不通要加--add-hosthost.docker.internal:host-gateway。踩坑3 第一次跑智能体循环大概率失败因为12B模型的规划能力有限。多试几次把任务拆小一点成功率会高很多。实测下来给Pi一个明确的单文件任务“给这个Python脚本加个异常处理”成功率大概60-70%。给一个复杂的多文件任务“重构这个项目的数据库层”成功率不到30%。所以现阶段Pi智能体适合做小任务大的还是得靠Claude Code。几个真实数据跑了一个月记了点数据我这台MBP的推理速度9B模型7-9 token/秒12B模型4-6 token/秒27B模型1-2 token/秒对比M系列Mac 64G的推理速度数据来自互联网M4 Pro测试9B模型25-30 token/秒12B模型15-20 token/秒27B模型8-12 token/秒差距3-5倍这就是统一内存GPU加速的威力。编程准确率50题测试Gemma 4 12B72%Qwen3.5 27B68%27B反而低是因为我这边跑太慢长回答容易中断Claude Sonnet 491%差距摆在这里云端模型确实更强尤其复杂任务差距很明显。但日常简单编程任务写脚本、改bug、代码审查本地模型的72%够用了。关键看你怎么搭配。什么人值得折腾说实话不是所有人都需要本地跑模型。适合折腾的写的代码不方便上传到云端的——商业项目、公司代码对AI响应延迟不敏感的——等几秒无所谓喜欢折腾的——光折腾过程就挺有意思有M系列Mac的——体验会比Intel Mac好很多不适合的对输出质量要求高的——本地模型准确率跟云端差一截别勉强需要超长上下文的——本地模型上下文受内存限制32K顶天了需要快速响应的——本地推理速度跟云端差5-10倍我的日常用法最后说说我现在怎么用的仅供参考简单问题写个正则、解释段代码、改个小bug→ Ollama本地模型方便快速中等任务写个脚本、做个代码审查→ LM Studio Pi智能体本地跑智能体复杂任务架构设计、多文件重构→ Claude接口质量有保障三层搭配本地处理简单活复杂的交给云端。不是说本地能替代云端而是把云端的额度花在刀刃上简单问题用本地就够了。半年前本地模型是玩具现在能当个靠谱的辅助工具了。它替代不了云端模型但作为补充已经值得折腾一下。感兴趣的朋友可以先用Ollama装个12B的试试5分钟的事不好用卸了就是。本文为原创内容首发于公众号「新一技术宅」转载请注明出处。模型信息来源ollama.com、huggingface.co推理速度参考github.com/ggerganov/llama.cpp编程准确率本地实测这里给大家精心整理了一份全面的AI大模型学习资源包括AI大模型全套学习路线图从入门到实战、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等资料免费分享扫码免费领取全部内容1. 成长路线图学习规划要学习一门新的技术作为新手一定要先学习成长路线图方向不对努力白费。这里我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。2. 大模型经典PDF书籍书籍和学习文档资料是学习大模型过程中必不可少的我们精选了一系列深入探讨大模型技术的书籍和学习文档它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。书籍含电子版PDF3. 大模型视频教程对于很多自学或者没有基础的同学来说书籍这些纯文字类的学习教材会觉得比较晦涩难以理解因此我们提供了丰富的大模型视频教程以动态、形象的方式展示技术概念帮助你更快、更轻松地掌握核心知识。4. 2026行业报告行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5. 大模型项目实战学以致用当你的理论知识积累到一定程度就需要通过项目实战在实际操作中检验和巩固你所学到的知识同时为你找工作和职业发展打下坚实的基础。6. 大模型面试题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我们将提供精心整理的大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。7. 资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容