3步把闲置设备变成AI集群Exo分布式推理实战指南【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exoExo 是一个开源的分布式推理框架可以把 MacBook、Linux 服务器和带 NVIDIA GPU 的台式机整合成一个统一的 AI 集群。它解决的核心问题是单机内存装不下的大模型怎么拆到多台设备上协同跑。你不需要机房和新硬件从一台设备起步跑通后逐台扩展最终能拿到一个带 Web 仪表板、可以在线对话、能实时查看每台机器负载的完整环境。谁适合用它四类典型场景先看你的场景是否在列本地 LLM 推理与训练235B 这个参数级别的模型单机内存根本装不下多设备搭 AI 集群是目前的现实解法多模态任务图像生成这类流水线同样支持跨节点调度分布式计算实验想对比张量并行TP切分、不同网络协议带来的实际差异边缘 AI 部署手头只有闲置笔记本和旧服务器不想为推理单独采购硬件。反过来如果你只是单台机器跑 7B 小模型一张卡就够用不上这套东西。 动手前的准备硬件范围与单节点部署Exo 对硬件不挑剔MacBook、Mac Studio、带 NVIDIA GPU 的 Linux 台式机、纯 CPU 服务器以及它们的混合组合都能进集群。Mac 节点默认走针对苹果芯片优化的 MLX 引擎自动并行 负责把模型切分到不同设备上。单节点起步就三步克隆仓库git clone https://gitcode.com/GitHub_Trending/exo8/exo按仓库说明安装在第一台设备上启动打开菜单栏应用确认本机以 1 个节点、正常内存占用显示出来选一个小模型发起一次对话能出结果就算单节点跑通。Exo 部署教程从 1 台扩到 N 台单节点稳定后加机器就是重复动作新设备装好 exo和已有节点放在同一局域网集群会自动发现并把它纳入拓扑。扩展时重点盯三个底层服务出问题也先查它们集群状态服务 跟踪每台节点的健康状况掉线的机器会被直接标出来本地网络检测LocalNetworkChecker 与 NetworkStatusService盯着连接和通信质量节点间通信不稳就先查这一层Mac 之间接雷雳Thunderbolt桥接时延迟最低拓扑视图里能直接看到每台机器的内存、温度、功耗。 多节点性能怎么衡量一组实测数据4 台 Mac Studio各 512GB 内存跑 Qwen3 235BExo 走 RDMA 达到 31.9 t/s同规格 4 节点走 TCP 的对照组只有 15.2 t/s提升超过 100%。这组数字的意义在于235B 的模型单机跑不动拆到 4 台后不但能跑31.9 t/s 还超过了单节点水平。瓶颈从模型太大转移到了节点间传输而 RDMA 把传输开销压了下去。换句话说多设备搭 AI 集群的收益是实的但前提是节点间有低延迟互联只有普通千兆网时提速会远小于这条曲线。️ 日常管理三件事模型下载与缓存Exo 内置 HuggingFace 集成下载工具第一次跑某个模型时自动下载分片并缓存。什么时候会用到新模型首次启动、新节点加入集群后按缺什么补什么的方式拉取权重。资源监控拓扑视图实时显示每台机器的 CPU、内存、GPU、温度与功耗系统信息收集模块提供完整的硬件配置详情。什么时候会用到加机器前先查内存余量——单节点装不下的分片加机器才是有效扩展。Web 仪表板仪表板路由 提供在线对话、模型选择和实例管理不用回到终端。什么时候会用到日常起实例、删实例、换模型全部在网页上完成。️ 常见问题与调优加了机器速度没涨先检查节点间连接网络状态服务报不稳就换网络或改接雷雳桥接瓶颈在网络时加机器只会更慢。某台节点频繁掉线看拓扑里的温度和功耗散热顶不住就降低这台节点上的负载把任务分配倾向其他高性能节点。节点性能差异大手动指定分片策略Pipeline/Tensor和最少节点数让快机器多干活负载高峰时动态增减实例数量。一台机器临时挂掉故障转移会把它的负载挪到其他节点不用重启整个集群机器恢复后自动回到拓扑里。建议的路线就是全文的顺序先在一台设备上跑通一个小模型确认仪表板、模型下载和在线对话都正常再加第二台、第三台。集群够用、负载看得见比盲目追节点数更值得扩。【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 3步把闲置设备变成AI集群：Exo分布式推理实战指南
3步把闲置设备变成AI集群Exo分布式推理实战指南【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exoExo 是一个开源的分布式推理框架可以把 MacBook、Linux 服务器和带 NVIDIA GPU 的台式机整合成一个统一的 AI 集群。它解决的核心问题是单机内存装不下的大模型怎么拆到多台设备上协同跑。你不需要机房和新硬件从一台设备起步跑通后逐台扩展最终能拿到一个带 Web 仪表板、可以在线对话、能实时查看每台机器负载的完整环境。谁适合用它四类典型场景先看你的场景是否在列本地 LLM 推理与训练235B 这个参数级别的模型单机内存根本装不下多设备搭 AI 集群是目前的现实解法多模态任务图像生成这类流水线同样支持跨节点调度分布式计算实验想对比张量并行TP切分、不同网络协议带来的实际差异边缘 AI 部署手头只有闲置笔记本和旧服务器不想为推理单独采购硬件。反过来如果你只是单台机器跑 7B 小模型一张卡就够用不上这套东西。 动手前的准备硬件范围与单节点部署Exo 对硬件不挑剔MacBook、Mac Studio、带 NVIDIA GPU 的 Linux 台式机、纯 CPU 服务器以及它们的混合组合都能进集群。Mac 节点默认走针对苹果芯片优化的 MLX 引擎自动并行 负责把模型切分到不同设备上。单节点起步就三步克隆仓库git clone https://gitcode.com/GitHub_Trending/exo8/exo按仓库说明安装在第一台设备上启动打开菜单栏应用确认本机以 1 个节点、正常内存占用显示出来选一个小模型发起一次对话能出结果就算单节点跑通。Exo 部署教程从 1 台扩到 N 台单节点稳定后加机器就是重复动作新设备装好 exo和已有节点放在同一局域网集群会自动发现并把它纳入拓扑。扩展时重点盯三个底层服务出问题也先查它们集群状态服务 跟踪每台节点的健康状况掉线的机器会被直接标出来本地网络检测LocalNetworkChecker 与 NetworkStatusService盯着连接和通信质量节点间通信不稳就先查这一层Mac 之间接雷雳Thunderbolt桥接时延迟最低拓扑视图里能直接看到每台机器的内存、温度、功耗。 多节点性能怎么衡量一组实测数据4 台 Mac Studio各 512GB 内存跑 Qwen3 235BExo 走 RDMA 达到 31.9 t/s同规格 4 节点走 TCP 的对照组只有 15.2 t/s提升超过 100%。这组数字的意义在于235B 的模型单机跑不动拆到 4 台后不但能跑31.9 t/s 还超过了单节点水平。瓶颈从模型太大转移到了节点间传输而 RDMA 把传输开销压了下去。换句话说多设备搭 AI 集群的收益是实的但前提是节点间有低延迟互联只有普通千兆网时提速会远小于这条曲线。️ 日常管理三件事模型下载与缓存Exo 内置 HuggingFace 集成下载工具第一次跑某个模型时自动下载分片并缓存。什么时候会用到新模型首次启动、新节点加入集群后按缺什么补什么的方式拉取权重。资源监控拓扑视图实时显示每台机器的 CPU、内存、GPU、温度与功耗系统信息收集模块提供完整的硬件配置详情。什么时候会用到加机器前先查内存余量——单节点装不下的分片加机器才是有效扩展。Web 仪表板仪表板路由 提供在线对话、模型选择和实例管理不用回到终端。什么时候会用到日常起实例、删实例、换模型全部在网页上完成。️ 常见问题与调优加了机器速度没涨先检查节点间连接网络状态服务报不稳就换网络或改接雷雳桥接瓶颈在网络时加机器只会更慢。某台节点频繁掉线看拓扑里的温度和功耗散热顶不住就降低这台节点上的负载把任务分配倾向其他高性能节点。节点性能差异大手动指定分片策略Pipeline/Tensor和最少节点数让快机器多干活负载高峰时动态增减实例数量。一台机器临时挂掉故障转移会把它的负载挪到其他节点不用重启整个集群机器恢复后自动回到拓扑里。建议的路线就是全文的顺序先在一台设备上跑通一个小模型确认仪表板、模型下载和在线对话都正常再加第二台、第三台。集群够用、负载看得见比盲目追节点数更值得扩。【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考