做了五年App，我转型做了端侧AI应用

一个做了五年Android开发的程序员在公司砍掉两个App项目之后在手机端跑通了第一个大模型。一、五年Android从如鱼得水到无路可走2024年8月我在一家做工具类App的公司当Android开发五年工龄。Kotlin Jetpack Compose Coroutines这套技术栈我用了三年之前两年是Java XML那套老东西。从Activity/Fragment迁移到Compose的时候我是团队里第一个吃螃蟹的人踩了一堆坑也攒了一身本事。我的日常就是写App。网络请求用Retrofit本地存储用Room图片加载用Coil依赖注入用Hilt。一个App从零搭到上线我做过四个。内存泄漏排查、ANR优化、包体积压缩这些都是我的拿手好戏。“这个页面在低端机上掉帧你看看是不是Compose的重组太多。”这是我那几年最常说的话。我对Android的性能调优有一种近乎偏执的执着——因为Android的碎片化太严重了你的App在骁龙8 Gen3上跑得飞起到了天玑700上可能就卡成PPT。薪资两万三还行。但2024年下半年风向变了。公司原本有四个App项目在并行2024年第四季度砍了两个。不是项目不好是公司算了一笔账养一个App开发团队前端后端测试运维一年成本小两百万但用低代码平台搭一个类似的工具App成本只要十分之一而且两周就能上线。“以后工具类的App就用低代码做了咱们Android团队从8个人缩到3个人保留核心App的迭代。”Leader说这话的时候很平静但我知道这意味着什么。8变3走了5个人留下的3个也不安全——因为AI生成代码的能力在快速进化以前一个页面要写一天现在用Cursor半天就搞定了。2025年1月我决定转型。不是等到被裁了再转是趁还在岗的时候主动找方向。二、在手机上跑大模型第一次尝试就翻车了转型的方向我是被一条新闻启发的。2025年1月看到一条消息MLC-LLM在骁龙8 Gen3上跑Llama 3 8B模型推理速度能到每秒15个token。我当时的第一反应是——手机上跑大模型真的假的我本能地觉得这是个大机会。因为端侧AI有一个云端AI没有的优势隐私。很多企业不敢用云端大模型处理内部数据但如果模型跑在手机本地数据不离开设备这个问题就不存在了。我决定先在自己的手机上试试。掏出我的小米14骁龙8 Gen316GB内存按照MLC-LLM的文档开始折腾。第一天就翻车了。MLC-LLM的Android部署文档写得跟天书一样大段大段的编译指令NDK交叉编译、JNI接口、模型转换。我做了五年Android开发NDK用过但不算精通TVM这个深度学习编译框架我听都没听过。“这个编译环境配了两天都没跑通是不是我太菜了”我在一个技术群里发了这句话一个做AI推理的哥们儿回我“不是你菜是这块的工程化还不成熟大家都在摸。”这句话让我安心了一点但问题还是要解决。我花了三天搭编译环境又花两天把Llama 3 8B模型转成MLC格式最后在手机上跑起来的时候——推理速度只有每秒3个token跟文档说的15差了十万八千里。后来才搞明白8B模型在手机上跑内存占用太大触发了系统的内存压缩性能直接腰斩。文档里说的15 token/s是用了INT4量化后的结果我用的是FP16没做量化。那一刻我意识到端侧AI不是把模型塞进手机这么简单它是一整套工程问题——模型量化、内存管理、硬件加速、功耗控制——每一个都是硬骨头。但我也意识到另一件事这些问题里有一半是我做了五年Android开发的老本行。内存管理、功耗优化、thermal throttling这些我太熟了。三、INT4量化和NDK编译最难的两关2025年3月到5月我花了两个月死磕端侧AI部署的几个核心技术点。这两个月是我技术生涯最痛苦也最兴奋的两个月。第一关是模型量化。INT4量化是把模型参数从16位浮点数压缩到4位整数理论上模型体积缩小到四分之一推理速度大幅提升。但操作起来非常繁琐。我用的方案是llama.cpp的GGUF格式。先把Llama 3 8B的原始权重转成GGUF再用Q4_K_M量化方法做INT4量化。量化后的模型从16GB缩到了4.7GB手机上能跑了。但量化是有代价的——模型精度下降推理质量会打折。我做了个简单的对比测试INT4量化后的模型在复杂推理任务上比FP16差了大约5-8个百分点但简单对话基本没区别。“对于端侧场景5%的精度损失换4倍的速度提升值。”这是我给团队汇报时的结论。端侧AI主要做简单对话和基础问答不是做复杂推理5%的精度损失完全可以接受。第二关是NDK交叉编译。llama.cpp是C写的要在Android上跑得用NDK交叉编译成.so库再通过JNI接口在Kotlin/Java层调用。我以前只做过简单的NDK开发这次要编译一个依赖复杂的项目踩了一堆坑。最大的坑是ABI适配。Android设备有arm64-v8a、armeabi-v7a、x86_64等多种架构每种架构都要编译一份.so库。而且不同设备的CPU特性不同有的支持NEON指令集有的不支持编译参数得分别配置。我写了一个Gradle插件自动根据目标架构选择编译参数把这个流程自动化了。第三关是端侧推理的内存管理。这个最让我头疼。模型加载到内存后占4.7GB加上推理时的中间状态峰值内存占用能到6GB。小米14有16GB内存看着够用但实际上系统和其他App也占内存可用空间经常只有8-10GB。一旦内存不够系统就会杀进程App直接闪退。我用了一个分页加载的策略模型权重按层切分推理时按需加载当前层用完释放。这样峰值内存降到了3.5GB但推理速度慢了30%——因为频繁的内存读写。最后我在两者之间找了个平衡点前10层常驻内存后面的按需加载峰值内存4.2GB速度只慢了8%。这种取舍和平衡做Android开发的人天然就擅长——因为Android开发一直就是在有限资源里做优化。四、NPU加速从能跑到好用的关键一跃2025年6月我拿到了一个新机会。公司决定在核心App里加一个AI助手功能要求离线可用——这就是端侧AI的典型场景。我被指派做技术预研。模型在手机上跑通了但每秒3-5个token的速度用户体验很差。用户发一个问题等了五六秒AI才吐出一个字。这个速度别说跟ChatGPT比连早期的智能助手都不如。瓶颈在CPU推理。llama.cpp默认用CPU跑推理骁龙8 Gen3的CPU虽然强但跑大模型还是吃力。我需要用NPU——神经网络处理器——来加速。高通骁龙8 Gen3集成了Hexagon NPU专门为AI推理设计的硬件单元。理论上用NPU跑推理速度能提升好几倍。但问题是高通的NPU开发工具链QNN极其复杂文档稀缺而且llama.cpp对Hexagon NPU的支持还处于实验阶段。我花了两周研究QNN开发框架。要把llama.cpp的推理后端从CPU切到Hexagon NPU需要把模型再转换一次——从GGUF格式转成高通的QNN格式然后用QNN的运行时来跑推理。转换过程又是一堆坑。QNN对模型结构有要求不是所有层都支持NPU加速有些层会fallback到CPU导致整体加速效果打折。我逐层排查把不支持的层做了等价替换最终实现了90%以上的层在NPU上跑。效果是立竿见影的。推理速度从每秒3-5个token飙到了每秒22-28个token比纯CPU快了五六倍。用户体感上AI回答基本是秒回的打字速度比人还快。“这个速度可以了用户根本感觉不到是本地模型。”这是产品经理试用后的评价。但他不知道这个可以了背后是我两个月没日没夜的调优——模型量化、内存分页、NPU加速每一步都是在跟手机的硬件限制搏斗。五、端侧AI应用工程师在干什么做完那个项目后我在公司内部做了一次技术分享标题是端侧大模型部署实战从模型选择到NPU加速。台下坐了二十多个人有Android开发、有后端、有算法。分享后有人问我端侧AI应用工程师跟普通Android开发有什么区别我说区别在于你服务的对象从业务逻辑变成了AI模型。但你的核心能力——内存管理、性能优化、硬件适配——一点没变反而更重要了。端侧AI应用工程师的日常工作大概分几块。第一块是端侧模型部署。选模型7B还是3B还是1.5B、选量化方案INT4还是INT8、选推理框架llama.cpp还是MLC-LLM还是ONNX Runtime然后把它跑到目标设备上。这块的核心挑战是在有限硬件资源下做取舍——模型越大效果越好但手机内存有限、功耗有限、散热有限你得在这些约束里找最优解。第二块是硬件加速。不同手机的NPU不一样——高通是Hexagon、联发科是APU、华为是昇腾NPU。你要针对不同平台做适配用各家的SDK来加速推理。这块的工程量很大因为每家厂商的工具链都不一样文档还烂。第三块是端云协同架构。纯端侧模型能力有限3B模型跟GPT-4差的不是一星半点所以实际产品通常是端云结合简单问题用端侧模型秒回复杂问题切换到云端大模型。这个切换逻辑的设计、网络状态的处理、用户无感切换的体验都是前端和移动端工程师要搞的。第四块是功耗和热管理。大模型推理是吃电大户跑几分钟手机就发烫然后触发thermal throttlingCPU和NPU降频推理速度暴跌。你得做功耗控制——限制推理频率、做动态帧率调整、在温度超标时降级到更小的模型。这些事情做过移动端开发的人有天然的敏感度。六、移动端开发经验是端侧AI的稀缺能力2025年10月一个做AI手机的厂商通过猎头找到我开价年薪45万岗位是端侧AI应用工程师。比我在原公司的薪资高了将近一倍。我后来跟那个厂商的技术负责人聊了一次他说了一段话让我印象很深“我们团队有做AI推理的、有做模型压缩的但没有人懂Android。模型在实验室跑得好好的到了真机上就出各种问题——内存爆了、闪退了、发烫了。我们需要一个真正懂移动端工程的人。”这就是端侧AI领域的一个现实懂AI的人不懂手机懂手机的人不懂AI。两边能搭上的桥梁极少。如果你也是做移动端开发的正在焦虑App开发的岗位越来越少我的建议是端侧AI是移动端开发者最好的转型方向之一因为你的核心能力在这里极度稀缺。第一步在你的手机上跑通一个大模型。用llama.cpp下个Q4量化的Llama 3.2 3B模型GGUF格式在Android上用JNI调起来。不用追求速度先跑通理解模型在端侧的运行机制。第二步学模型量化和硬件加速。Q4_K_M量化是入门Hexagon NPU/QNN是进阶。这块的文档确实烂但正因为烂会的人少你学会了就是护城河。第三步理解端云协同。端侧模型不可能替代云端大模型两者的结合才是未来。研究怎么做端云切换、怎么做模型路由、怎么在保证体验的前提下降低云端调用成本。手机上跑大模型这件事三年前是科幻现在已经是产品了。但能让它真正好用的不是算法工程师是懂手机的工程师。我就是那个做了五年App的Android仔现在干的活还是那些——内存管理、性能调优、硬件适配——只不过优化的对象从业务代码变成了AI模型。想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2025 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容​一、学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI1. 100本大模型方向电子书2. 26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC 实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。3. 600套技术大会 PPT听行业大咖讲实战PPT 整理自 2024-2025 年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。二、求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌1. 107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自 2021-2025 年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析2. 102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑3. 97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”三、路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、关键技术以及大模型应用场景。L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。L5阶段专题集丨特训篇 【录播课】四、资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容​2025 年想抓住 AI 大模型的风口别犹豫这份免费资料就是你的 “起跑线”