用Python调用LFM2.5-1.2B-Thinking-4bitmlx-lm编程接口完全指南【免费下载链接】LFM2.5-1.2B-Thinking-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/LFM2.5-1.2B-Thinking-4bitLFM2.5-1.2B-Thinking-4bit 是Liquid AI开源推理模型 LFM2.5-1.2B-Thinking 的 4bit 量化 MLX 版本整个模型仅约 628MB却拥有 12.8 万 Token 超长上下文和思考能力堪称目前最适合在 Apple Silicon Mac 上本地运行的轻量级推理模型之一。本文是一份面向新手的 mlx-lm 编程接口完全指南带你用 Python 完成从安装、加载到对话、流式输出的全部实战操作无需任何 GPU 服务器即可跑通。一、认识LFM2.5-1.2B-Thinking-4bit能思考的轻量开源模型这个模型由 mlx-community 使用 mlx-lm 0.30.4 转换而来属于 LFM2Liquid Foundation Model 2系列。它最大的特点是Thinking思考回答前会先在内部生成一段以|im_start|包裹的推理过程再进行最终回复类似思维链体验但模型体积只有 1.17B 参数。特性参数值参数量1,170,340,608约1.17B量化精度4bitgroup_size64affine模型体积约 628MB上下文长度128,000 Token词表大小65,536隐藏层维度2048 / 16层 / 32注意力头架构特色卷积层全注意力混合Liquid混合架构支持语言中、英、法、德、日、韩、西、阿等8种它之所以小而强秘密藏在 config.json 里模型只在 6 层使用全注意力full_attention其余 10 层用更高效的卷积算子处理序列这让它在同等体积下能承载超长上下文。仓库中的核心文件如下都值得打开看看README.md官方快速上手示例config.json模型架构与量化配置chat_template.jinja对话模板含思考过程裁剪逻辑generation_config.json生成参数model.safetensors.index.json权重索引二、Python环境准备macOS上的一键安装步骤调用 mlx-lm 编程接口需要满足两个前提Apple Silicon MacM1/M2/M3/M4 系列芯片MLX 框架只支持 macOSPython 3.9建议用 conda 或 venv 创建独立环境。然后只需一行命令安装 mlx-lmpip install mlx-lm安装完成后验证版本import mlx_lm print(mlx_lm.__version__)三、最快的调用方式3行Python加载并生成mlx-lm 的核心编程接口只有两个函数load()负责加载模型generate()负责生成文本。参考 README.md 中的官方示例from mlx_lm import load, generate # 加载4bit量化模型 model, tokenizer load(mlx-community/LFM2.5-1.2B-Thinking-4bit) prompt 用一句话介绍Liquid AI # 套用对话模板 if tokenizer.chat_template is not None: messages [{role: user, content: prompt}] prompt tokenizer.apply_chat_template( messages, add_generation_promptTrue, return_dictFalse, ) # 生成回复 response generate(model, tokenizer, promptprompt, verboseTrue) print(response)运行后模型会先思考再回答。打开verboseTrue时控制台还会实时打印每秒生成的 Token 数方便你直观感受推理速度。四、对话式调用用chat_template构建多轮聊天上面的单轮调用其实已经用到了apply_chat_template。要做多轮对话只需不断往messages列表里追加消息即可messages [ {role: system, content: 你是一个乐于助人的助手}, {role: user, content: 什么是MLX}, {role: assistant, content: MLX是苹果开源的机器学习框架。}, {role: user, content: 它和PyTorch有什么区别}, ] prompt tokenizer.apply_chat_template( messages, add_generation_promptTrue, return_dictFalse, ) response generate(model, tokenizer, promptprompt, max_tokens512) print(response)这里有个非常贴心的设计查看 chat_template.jinja 会发现多轮对话时模板默认会裁剪掉历史轮次中模型的思考过程keep_past_thinking默认为 False只保留最终答案既节省 Token 又避免上下文被思考内容撑爆。如果你希望保留历史思考可以这样传参prompt tokenizer.apply_chat_template( messages, add_generation_promptTrue, return_dictFalse, keep_past_thinkingTrue, )另外模型的输出通常包含思考内容和最终答案两部分以/think为分界你可以自行拆分展示if /think in response: thought, answer response.split(/think, 1) print( 思考过程, thought) print( 最终答案, answer)五、流式输出让生成过程逐字实时呈现调用生成接口时如果希望像 ChatGPT 一样逐字蹦出文字请使用stream_generate()。它返回一个生成器每轮迭代吐出一个 tokenfrom mlx_lm import stream_generate prompt 写一首关于秋天的五言绝句 messages [{role: user, content: prompt}] prompt tokenizer.apply_chat_template( messages, add_generation_promptTrue, return_dictFalse, ) # 流式生成边生成边打印 for chunk in stream_generate(model, tokenizer, promptprompt, max_tokens256): print(chunk.text, end, flushTrue)chunk对象包含text本次 token 文本、tokentoken id等字段。流式输出特别适合 Web 应用与命令行交互场景配合flushTrue就能实现打字机效果。六、推理参数调优温度、采样与停止条件generate()内置了丰富的采样参数帮你控制输出的随机性与长度参数作用推荐值max_tokens最大生成长度512~2048temp温度越大越随机0.3严谨~0.8创意top_p核采样截断低概率词0.9~1.0repetition_penalty重复惩罚抑制复读1.0~1.3stop_strings遇到指定字符串停止如[|im_end|]示例生成一篇有创意的短文并让输出在遇到结束标记时自动停止response generate( model, tokenizer, promptprompt, max_tokens1024, temp0.8, top_p0.95, repetition_penalty1.1, stop_strings[|im_end|], )七、进阶玩法函数调用与本地HTTP服务LFM2.5 的对话模板原生支持工具调用Function Calling——chat_template.jinja 开头的|tool_list_start|标记正是为 mlx_lm 的工具调用功能准备的。你可以给模型注册自定义 Python 函数让它自主决定何时调用from mlx_lm.tools import create_tool_call def get_weather(city: str) - str: 查询城市天气 return f{city}晴25℃ tools [create_tool_call(get_weather)]如果你不想写 Pythonmlx-lm 还内置了一个 OpenAI 兼容的 HTTP 服务一行命令启动 REST API任何语言的客户端都能调用python -m mlx_lm.server --model mlx-community/LFM2.5-1.2B-Thinking-4bit启动后访问http://localhost:8080/v1/chat/completions即可这与本地部署 OpenAI 兼容接口的用法完全一致。八、常见问题解答FAQQ1需要多大内存模型权重约 628MB8GB 内存的 Mac 即可流畅运行要体验 12.8 万 Token 长上下文建议 16GB 以上。Q2Intel Mac 或 Windows 能跑吗不能。MLX 仅支持 Apple SiliconM系列芯片。其他平台建议改用原版 transformers 版本。Q34bit 量化会损失很多精度吗对于 1.2B 小模型4bit 量化通常保持 90% 以上的效果而体积比 fp16 减少约 4 倍性价比极高。Q4想离线使用或改代码怎么办可以先把仓库克隆到本地再加载git clone https://gitcode.com/hf_mirrors/mlx-community/LFM2.5-1.2B-Thinking-4bitmodel, tokenizer load(/本地路径/LFM2.5-1.2B-Thinking-4bit)Q5如何升级 mlx-lm 以适配新版模型pip install -U mlx-lm即可本模型由 0.30.4 转换建议不低于该版本。总结LFM2.5-1.2B-Thinking-4bit 用 628MB 的小身板换来了思考能力、8 种语言和 12.8 万 Token 上下文配合 mlx-lm 编程接口从loadgenerate的三行代码到多轮对话、流式输出、工具调用和 REST 服务全部可以在自己的 Mac 上零成本跑通。这份完全指南覆盖了 Python 调用的全流程现在就可以动手试试让这个会思考的轻量模型为你服务【免费下载链接】LFM2.5-1.2B-Thinking-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/LFM2.5-1.2B-Thinking-4bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 用Python调用LFM2.5-1.2B-Thinking-4bit：mlx-lm编程接口完全指南
用Python调用LFM2.5-1.2B-Thinking-4bitmlx-lm编程接口完全指南【免费下载链接】LFM2.5-1.2B-Thinking-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/LFM2.5-1.2B-Thinking-4bitLFM2.5-1.2B-Thinking-4bit 是Liquid AI开源推理模型 LFM2.5-1.2B-Thinking 的 4bit 量化 MLX 版本整个模型仅约 628MB却拥有 12.8 万 Token 超长上下文和思考能力堪称目前最适合在 Apple Silicon Mac 上本地运行的轻量级推理模型之一。本文是一份面向新手的 mlx-lm 编程接口完全指南带你用 Python 完成从安装、加载到对话、流式输出的全部实战操作无需任何 GPU 服务器即可跑通。一、认识LFM2.5-1.2B-Thinking-4bit能思考的轻量开源模型这个模型由 mlx-community 使用 mlx-lm 0.30.4 转换而来属于 LFM2Liquid Foundation Model 2系列。它最大的特点是Thinking思考回答前会先在内部生成一段以|im_start|包裹的推理过程再进行最终回复类似思维链体验但模型体积只有 1.17B 参数。特性参数值参数量1,170,340,608约1.17B量化精度4bitgroup_size64affine模型体积约 628MB上下文长度128,000 Token词表大小65,536隐藏层维度2048 / 16层 / 32注意力头架构特色卷积层全注意力混合Liquid混合架构支持语言中、英、法、德、日、韩、西、阿等8种它之所以小而强秘密藏在 config.json 里模型只在 6 层使用全注意力full_attention其余 10 层用更高效的卷积算子处理序列这让它在同等体积下能承载超长上下文。仓库中的核心文件如下都值得打开看看README.md官方快速上手示例config.json模型架构与量化配置chat_template.jinja对话模板含思考过程裁剪逻辑generation_config.json生成参数model.safetensors.index.json权重索引二、Python环境准备macOS上的一键安装步骤调用 mlx-lm 编程接口需要满足两个前提Apple Silicon MacM1/M2/M3/M4 系列芯片MLX 框架只支持 macOSPython 3.9建议用 conda 或 venv 创建独立环境。然后只需一行命令安装 mlx-lmpip install mlx-lm安装完成后验证版本import mlx_lm print(mlx_lm.__version__)三、最快的调用方式3行Python加载并生成mlx-lm 的核心编程接口只有两个函数load()负责加载模型generate()负责生成文本。参考 README.md 中的官方示例from mlx_lm import load, generate # 加载4bit量化模型 model, tokenizer load(mlx-community/LFM2.5-1.2B-Thinking-4bit) prompt 用一句话介绍Liquid AI # 套用对话模板 if tokenizer.chat_template is not None: messages [{role: user, content: prompt}] prompt tokenizer.apply_chat_template( messages, add_generation_promptTrue, return_dictFalse, ) # 生成回复 response generate(model, tokenizer, promptprompt, verboseTrue) print(response)运行后模型会先思考再回答。打开verboseTrue时控制台还会实时打印每秒生成的 Token 数方便你直观感受推理速度。四、对话式调用用chat_template构建多轮聊天上面的单轮调用其实已经用到了apply_chat_template。要做多轮对话只需不断往messages列表里追加消息即可messages [ {role: system, content: 你是一个乐于助人的助手}, {role: user, content: 什么是MLX}, {role: assistant, content: MLX是苹果开源的机器学习框架。}, {role: user, content: 它和PyTorch有什么区别}, ] prompt tokenizer.apply_chat_template( messages, add_generation_promptTrue, return_dictFalse, ) response generate(model, tokenizer, promptprompt, max_tokens512) print(response)这里有个非常贴心的设计查看 chat_template.jinja 会发现多轮对话时模板默认会裁剪掉历史轮次中模型的思考过程keep_past_thinking默认为 False只保留最终答案既节省 Token 又避免上下文被思考内容撑爆。如果你希望保留历史思考可以这样传参prompt tokenizer.apply_chat_template( messages, add_generation_promptTrue, return_dictFalse, keep_past_thinkingTrue, )另外模型的输出通常包含思考内容和最终答案两部分以/think为分界你可以自行拆分展示if /think in response: thought, answer response.split(/think, 1) print( 思考过程, thought) print( 最终答案, answer)五、流式输出让生成过程逐字实时呈现调用生成接口时如果希望像 ChatGPT 一样逐字蹦出文字请使用stream_generate()。它返回一个生成器每轮迭代吐出一个 tokenfrom mlx_lm import stream_generate prompt 写一首关于秋天的五言绝句 messages [{role: user, content: prompt}] prompt tokenizer.apply_chat_template( messages, add_generation_promptTrue, return_dictFalse, ) # 流式生成边生成边打印 for chunk in stream_generate(model, tokenizer, promptprompt, max_tokens256): print(chunk.text, end, flushTrue)chunk对象包含text本次 token 文本、tokentoken id等字段。流式输出特别适合 Web 应用与命令行交互场景配合flushTrue就能实现打字机效果。六、推理参数调优温度、采样与停止条件generate()内置了丰富的采样参数帮你控制输出的随机性与长度参数作用推荐值max_tokens最大生成长度512~2048temp温度越大越随机0.3严谨~0.8创意top_p核采样截断低概率词0.9~1.0repetition_penalty重复惩罚抑制复读1.0~1.3stop_strings遇到指定字符串停止如[|im_end|]示例生成一篇有创意的短文并让输出在遇到结束标记时自动停止response generate( model, tokenizer, promptprompt, max_tokens1024, temp0.8, top_p0.95, repetition_penalty1.1, stop_strings[|im_end|], )七、进阶玩法函数调用与本地HTTP服务LFM2.5 的对话模板原生支持工具调用Function Calling——chat_template.jinja 开头的|tool_list_start|标记正是为 mlx_lm 的工具调用功能准备的。你可以给模型注册自定义 Python 函数让它自主决定何时调用from mlx_lm.tools import create_tool_call def get_weather(city: str) - str: 查询城市天气 return f{city}晴25℃ tools [create_tool_call(get_weather)]如果你不想写 Pythonmlx-lm 还内置了一个 OpenAI 兼容的 HTTP 服务一行命令启动 REST API任何语言的客户端都能调用python -m mlx_lm.server --model mlx-community/LFM2.5-1.2B-Thinking-4bit启动后访问http://localhost:8080/v1/chat/completions即可这与本地部署 OpenAI 兼容接口的用法完全一致。八、常见问题解答FAQQ1需要多大内存模型权重约 628MB8GB 内存的 Mac 即可流畅运行要体验 12.8 万 Token 长上下文建议 16GB 以上。Q2Intel Mac 或 Windows 能跑吗不能。MLX 仅支持 Apple SiliconM系列芯片。其他平台建议改用原版 transformers 版本。Q34bit 量化会损失很多精度吗对于 1.2B 小模型4bit 量化通常保持 90% 以上的效果而体积比 fp16 减少约 4 倍性价比极高。Q4想离线使用或改代码怎么办可以先把仓库克隆到本地再加载git clone https://gitcode.com/hf_mirrors/mlx-community/LFM2.5-1.2B-Thinking-4bitmodel, tokenizer load(/本地路径/LFM2.5-1.2B-Thinking-4bit)Q5如何升级 mlx-lm 以适配新版模型pip install -U mlx-lm即可本模型由 0.30.4 转换建议不低于该版本。总结LFM2.5-1.2B-Thinking-4bit 用 628MB 的小身板换来了思考能力、8 种语言和 12.8 万 Token 上下文配合 mlx-lm 编程接口从loadgenerate的三行代码到多轮对话、流式输出、工具调用和 REST 服务全部可以在自己的 Mac 上零成本跑通。这份完全指南覆盖了 Python 调用的全流程现在就可以动手试试让这个会思考的轻量模型为你服务【免费下载链接】LFM2.5-1.2B-Thinking-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/LFM2.5-1.2B-Thinking-4bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考