给智能体装上眼睛Qwen-MM-Plugins 多模态插件 5 分钟上手指南【免费下载链接】Qwen-MM-PluginsMake any agent harness multimodal-native.项目地址: https://gitcode.com/gh_mirrors/qw/Qwen-MM-Plugins想让智能体读懂图片、听懂音频、看得懂视频试试Qwen-MM-Plugins——这个开源多模态插件工具集的目标只有一句话让任何智能体框架都具备多模态原生能力。装上它你的助手就不再是文盲截图、PDF、长视频、3D 模型统统能看还能顺带完成 OCR、语音转写、看图定位和网页搜索。本文用最短路径带你跑通全流程。先看效果装好之后你只需要指一下文件最爽的一点核心能力装完后你不用学任何新 API。把文件丢给智能体用大白话说需求模型会自动挑选合适工具。官方 cookbook 里就有可照抄复现的真实案例读视频promo.mp4→ 总结这条视频讲了什么读文档report.pdf→ 概括第 3 页的内容OCRreceipt.jpg→ 识别文字并帮我算总额定位street.jpg→ 框出画面里所有车辆背后的机制是技能 MCP 服务器双件套技能负责让模型知道工具有哪些MCP 服务器提供工具本体、由uvx按需拉起全程无需手动 pip。环境清单三条打勾项开跑前先核对三件事缺一不可✅操作系统LinuxWindows 用户请装 WSL2并在 WSL 的 home 目录下操作别放在/mnt/c✅Python3.8 及以上建议顺带装上 uvMCP 服务器靠uvx启动✅系统工具ffmpeg视频/音频处理、libreoffice文档可视化Ubuntu/Debian 一条命令补齐sudo apt install ffmpeg libreoffice3 步跑通安装 → 配密钥 → 自检Step 1克隆仓库并启动引导安装器git clone https://gitcode.com/gh_mirrors/qw/Qwen-MM-Plugins cd Qwen-MM-Plugins bash install.sh安装器是交互式菜单先选目标 harness支持 Claude Code、Codex、Qoder、OpenClaw、Qwen Code、Gemini CLI再勾选能力模块底层调用各 harness 自己的原生插件市场命令不重复造轮子。常用模块如下模块干什么用的core基础视觉读图/视频/文档 OCR、定位、分割、ASR、视觉对话video-memory超长视频的层次化记忆与问答video-edit/omni-av视频剪辑生成 / 音视频综合理解blender/freecad驱动运行中的 Blender / FreeCAD 做 3D 建模与参数化 CADedu-agent数学/科学题秒变分步讲解视频纯技能无 MCPStep 2配置 API 密钥视觉问答、OCR、定位、语音识别等工具依赖DASHSCOPE_API_KEY阿里云 DashScope 控制台申请网页搜索类工具需要SERPER_API_KEY。两种写法任选导出为环境变量或运行bash install.sh configure把密钥写进统一的~/.qwen-mm-plugins/config——这个文件所有 harness 都会读GUI 里启动的智能体也能生效优先级环境变量 配置文件。Step 3运行自检bash install.sh verify或直接对核心模块做系统检查python3 src/capabilities/core/qwen_mm_plugins_core --check-system不想用交互式安装器手动路线也不复杂先scripts/dev-install.sh core做可编辑安装再把技能软链到~/.claude/skills/用claude mcp add注册 MCP 服务器即可。两种安装方式怎么选方式适用场景上手成本引导式bash install.sh有插件市场的智能体Claude Code 等⭐ 最低菜单点选即可手动dev-install.shmcp add无插件市场的环境中等命令逐个敲让 agent 自己装GUI 类工具QwenWork 等⭐ 最低直接说帮我装一下 core 插件新手最常踩的 3 个坑坑 1装完工具调不动→ 多半是密钥没配或没生效。先跑bash install.sh verify看DASHSCOPE_API_KEY是否就位想确认工具已注册可以用tools/list协议直接问 MCP 服务器。坑 2视频处理又慢又卡→ 抽帧太多拖慢速度。调小QWEN_MM_MAX_TOTAL_FRAMES默认 600或把QWEN_MM_FFMPEG_TIMEOUT默认 120 秒改短。坑 3图表中文全变方块→ 系统缺中文字体。sudo apt install fonts-noto-cjk装字体再用MATPLOTLIBRC指向自定义的 matplotlib 配置。进阶这些模块值得继续挖长视频问答src/capabilities/video-memory/——两小时讲座也能按时间点精准检索3D 建模src/capabilities/blender/——22 个工具驱动运行中的 Blender教学视频生成src/capabilities/edu-agent/——拍一道数学题直接产出分步讲解视频完整文档在docs/zh/每个能力的工具清单与实战案例在cookbooks/。挑一个你最头疼的场景克隆项目照着做10 分钟后你的智能体就不再是文盲了。【免费下载链接】Qwen-MM-PluginsMake any agent harness multimodal-native.项目地址: https://gitcode.com/gh_mirrors/qw/Qwen-MM-Plugins创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 给智能体装上“眼睛“：Qwen-MM-Plugins 多模态插件 5 分钟上手指南
给智能体装上眼睛Qwen-MM-Plugins 多模态插件 5 分钟上手指南【免费下载链接】Qwen-MM-PluginsMake any agent harness multimodal-native.项目地址: https://gitcode.com/gh_mirrors/qw/Qwen-MM-Plugins想让智能体读懂图片、听懂音频、看得懂视频试试Qwen-MM-Plugins——这个开源多模态插件工具集的目标只有一句话让任何智能体框架都具备多模态原生能力。装上它你的助手就不再是文盲截图、PDF、长视频、3D 模型统统能看还能顺带完成 OCR、语音转写、看图定位和网页搜索。本文用最短路径带你跑通全流程。先看效果装好之后你只需要指一下文件最爽的一点核心能力装完后你不用学任何新 API。把文件丢给智能体用大白话说需求模型会自动挑选合适工具。官方 cookbook 里就有可照抄复现的真实案例读视频promo.mp4→ 总结这条视频讲了什么读文档report.pdf→ 概括第 3 页的内容OCRreceipt.jpg→ 识别文字并帮我算总额定位street.jpg→ 框出画面里所有车辆背后的机制是技能 MCP 服务器双件套技能负责让模型知道工具有哪些MCP 服务器提供工具本体、由uvx按需拉起全程无需手动 pip。环境清单三条打勾项开跑前先核对三件事缺一不可✅操作系统LinuxWindows 用户请装 WSL2并在 WSL 的 home 目录下操作别放在/mnt/c✅Python3.8 及以上建议顺带装上 uvMCP 服务器靠uvx启动✅系统工具ffmpeg视频/音频处理、libreoffice文档可视化Ubuntu/Debian 一条命令补齐sudo apt install ffmpeg libreoffice3 步跑通安装 → 配密钥 → 自检Step 1克隆仓库并启动引导安装器git clone https://gitcode.com/gh_mirrors/qw/Qwen-MM-Plugins cd Qwen-MM-Plugins bash install.sh安装器是交互式菜单先选目标 harness支持 Claude Code、Codex、Qoder、OpenClaw、Qwen Code、Gemini CLI再勾选能力模块底层调用各 harness 自己的原生插件市场命令不重复造轮子。常用模块如下模块干什么用的core基础视觉读图/视频/文档 OCR、定位、分割、ASR、视觉对话video-memory超长视频的层次化记忆与问答video-edit/omni-av视频剪辑生成 / 音视频综合理解blender/freecad驱动运行中的 Blender / FreeCAD 做 3D 建模与参数化 CADedu-agent数学/科学题秒变分步讲解视频纯技能无 MCPStep 2配置 API 密钥视觉问答、OCR、定位、语音识别等工具依赖DASHSCOPE_API_KEY阿里云 DashScope 控制台申请网页搜索类工具需要SERPER_API_KEY。两种写法任选导出为环境变量或运行bash install.sh configure把密钥写进统一的~/.qwen-mm-plugins/config——这个文件所有 harness 都会读GUI 里启动的智能体也能生效优先级环境变量 配置文件。Step 3运行自检bash install.sh verify或直接对核心模块做系统检查python3 src/capabilities/core/qwen_mm_plugins_core --check-system不想用交互式安装器手动路线也不复杂先scripts/dev-install.sh core做可编辑安装再把技能软链到~/.claude/skills/用claude mcp add注册 MCP 服务器即可。两种安装方式怎么选方式适用场景上手成本引导式bash install.sh有插件市场的智能体Claude Code 等⭐ 最低菜单点选即可手动dev-install.shmcp add无插件市场的环境中等命令逐个敲让 agent 自己装GUI 类工具QwenWork 等⭐ 最低直接说帮我装一下 core 插件新手最常踩的 3 个坑坑 1装完工具调不动→ 多半是密钥没配或没生效。先跑bash install.sh verify看DASHSCOPE_API_KEY是否就位想确认工具已注册可以用tools/list协议直接问 MCP 服务器。坑 2视频处理又慢又卡→ 抽帧太多拖慢速度。调小QWEN_MM_MAX_TOTAL_FRAMES默认 600或把QWEN_MM_FFMPEG_TIMEOUT默认 120 秒改短。坑 3图表中文全变方块→ 系统缺中文字体。sudo apt install fonts-noto-cjk装字体再用MATPLOTLIBRC指向自定义的 matplotlib 配置。进阶这些模块值得继续挖长视频问答src/capabilities/video-memory/——两小时讲座也能按时间点精准检索3D 建模src/capabilities/blender/——22 个工具驱动运行中的 Blender教学视频生成src/capabilities/edu-agent/——拍一道数学题直接产出分步讲解视频完整文档在docs/zh/每个能力的工具清单与实战案例在cookbooks/。挑一个你最头疼的场景克隆项目照着做10 分钟后你的智能体就不再是文盲了。【免费下载链接】Qwen-MM-PluginsMake any agent harness multimodal-native.项目地址: https://gitcode.com/gh_mirrors/qw/Qwen-MM-Plugins创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考