Ornith-1.0-35B-OptiQ-4bit震撼发布：苹果芯片专属的革命性视觉语言模型，65GB模型压缩至22GB仍保持卓越性能

Ornith-1.0-35B-OptiQ-4bit震撼发布苹果芯片专属的革命性视觉语言模型65GB模型压缩至22GB仍保持卓越性能【免费下载链接】Ornith-1.0-35B-OptiQ-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-OptiQ-4bitOrnith-1.0-35B-OptiQ-4bit是一款专为苹果芯片优化的革命性视觉语言模型基于Qwen3.5-35B-A3B混合专家架构256个专家每个token激活8个构建通过4位混合精度MLX量化技术将原本65GB的bf16权重压缩至仅22GB同时保持了卓越的性能表现。 核心优势小体积大能力✨ 突破性压缩技术Ornith-1.0-35B-OptiQ-4bit采用了先进的OptiQ量化技术通过智能分层精度分配实现了惊人的压缩比敏感层保持8位精度共397层稳健层使用4位精度共113层总量化层数达510层实现4.513位/权重的平均精度视觉塔保留bf16精度确保图像输入能力不受损这种混合精度策略使得模型在大幅减小体积的同时最大程度保留了原始模型的推理能力和图像理解能力。️ 苹果芯片专属优化专为Apple Silicon设计充分利用MLX框架优势无需PyTorch纯MLX原生实现支持专家流技术24GB内存Mac也能流畅运行resident内存可低至4.58GB使用--stream-experts选项32GB以上内存Mac可完全驻留模型无需流式传输 快速开始环境准备首先确保您的苹果设备已安装必要依赖然后通过以下命令安装OptiQpip install mlx-optiq克隆仓库git clone https://gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-OptiQ-4bit cd Ornith-1.0-35B-OptiQ-4bit启动服务对于24GB内存设备推荐使用专家流模式optiq serve --model . --stream-experts对于32GB以上内存设备可直接启动optiq serve --model .服务启动后您可以通过OpenAI兼容接口访问模型http://127.0.0.1:8080/v1 使用方法纯文本交互您可以使用Python代码与模型进行纯文本交互from mlx_lm import load, generate model, tokenizer load(.) response generate(model, tokenizer, prompt解释什么是混合专家模型MoE。, max_tokens512) print(response)⚠️ 注意mlx_lm.load会将整个模型加载到内存在24GB Mac上可能较慢建议优先使用optiq serve --stream-experts。图像理解能力Ornith-1.0-35B-OptiQ-4bit保留了完整的图像输入能力您可以通过以下方式发送图像进行分析import base64, io, requests from PIL import Image # 读取并编码图像 buf io.BytesIO() Image.open(your_image.jpg).save(buf, formatPNG) image_uri data:image/png;base64, base64.b64encode(buf.getvalue()).decode() # 发送请求 response requests.post(http://127.0.0.1:8080/v1/chat/completions, json{ model: ornith, max_tokens: 256, messages: [{ role: user, content: [ {type: text, text: 这张图片中有什么内容}, {type: image_url, image_url: {url: image_uri}} ] }] }) print(response.json())图像处理能力由optiq/optiq_vision.safetensors文件提供支持确保了视觉理解的准确性。 量化细节属性数值主要精度4位8位敏感层数量3974位稳健层数量113总量化层数510每权重平均位数4.513分组大小64专家数量每层256个每token激活8个视觉塔bf16333个张量磁盘大小22GB原始bf16模型为65GB量化过程采用了与llama.cpp相同的命名约定4位指的是主要精度而非加权平均值。敏感层和稳健层的划分基于KL散度敏感性分析确保在压缩的同时最大化保留模型性能。✅ 验证与性能Ornith-1.0-35B-OptiQ-4bit在发布前经过了严格的验证在24GB M4设备上通过专家流测试了文本生成和算术推理能力数值验证显示8位层的平均相对误差为0.74-0.76%4位层的平均相对误差为10.0%符合预期范围专家采样覆盖了0、20和39层包括第255号专家量化不会改变基础模型的行为或对齐方式请在与原始模型相同的条款下使用本模型。 更多资源官方文档mlx-optiq.com/docs模型配置config.json生成配置generation_config.json量化元数据optiq_metadata.jsonOrnith-1.0-35B-OptiQ-4bit为苹果用户带来了前所未有的本地AI体验将强大的视觉语言模型带到了您的指尖。无论是学术研究、创意工作还是日常使用这款模型都能满足您对高性能AI的需求而无需依赖云端计算资源。立即体验这场AI革命释放您苹果设备的全部潜能【免费下载链接】Ornith-1.0-35B-OptiQ-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-OptiQ-4bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考