用户投稿听起来这是一个非常强大的配置！让我们来分析一下：
1. "苹果 M3 Ultra":
这是苹果最新的、目前最强大的消费级芯片。它拥有巨大的算力，特别是在CPU、GPU和神经网络引擎方面。
M3 Ultra 本身就拥有非常强的AI性能，尤其是在处理大型模型和复杂计算任务时。
2. "双英伟达 DGX Spark":
DGX Spark 是英伟达推出的一个紧凑型、成本效益更高的AI训练工作站。它通常配备一块或两块高性能的NVIDIA GPU（例如H100或A100），并且内置了NVIDIA Jetson Orin NX AI计算平台，可以同时进行训练和推理。
双DGX Spark 意味着拥有两套完整的、强大的AI计算单元，总GPU算力会非常高。
3. "并联 (Parallel Connection)":
这是关键。将 M3 Ultra 和双 DGX Spark 并联，意味着它们将协同工作，共同处理任务。
这种并联可以通过多种方式实现：
"高速网络连接": 使用 InfiniBand 或高速以太网（如RoCE）将它们连接起来，实现数据的高速传输和任务分割。
"共享存储": 使用高性能并行文件系统，让所有节点都能访问共享数据。
"分布式计算框架": 利用如 MPI、Horovod
相关内容：
IT之家 10 月 17 日消息，EXO Labs 昨日展示了其“分布式推理”新成果，解决了被部分网友戏称为“世纪难题”的选择问题 —— 买 AI 小主机究竟是买苹果 Mac Studio 还是买英伟达 DGX Spark？
如图所示，EXO Labs 同时使用了两台 NVIDIA DGX Spark 与一台搭载 M3 Ultra 芯片的 Mac Studio，在 AI 大语言模型推理测试中（相比单独使用 Mac Studio ）取得了 2.8 倍整体性能提升。
该成果基于 EXO Labs 的开源项目 EXO，该框架旨在让大语言模型（LLM）能够高效运行于不同硬件的混合环境中。
与传统仅依赖单一 GPU 或加速器的推理方式不同，EXO 可将工作负载自动分配到多种设备上，使台式机、笔记本、服务器甚至平板电脑与智能手机组成类似 WiFi Mesh 网络的“AI Mesh”。
DGX Spark 与 M3 Ultra 的互补组合
正如 EXO 所述，3999 美元（IT之家注：现汇率约合 28505 元人民币）的 DGX Spark 侧重计算性能，而 5599 美元（现汇率约合 39910 元人民币） Mac Studio 则在数据带宽上更具优势。在这里，EXO 直接将两台 DGX Spark 与一台 Mac Studio 组合成统一的 AI 集群。
测试中 DGX Spark 的预填充速度比 Mac Studio 快 3.8 倍，而 Mac Studio 的生成速度又比 DGX Spark 快 3.4 倍，实现了性能互补。
据介绍，大语言模型的推理过程通常分为两个阶段：
- 预填充（prefill）阶段：模型读取和处理输入提示，这一阶段主要受计算性能限制；
- 解码（decode）阶段：模型逐个生成新词元（token），此过程更依赖内存带宽。
所以就很明显了，EXO 的方案是将两阶段分配给不同设备执行：
DGX Spark 负责计算密集的预填充任务，而 M3 Ultra 负责带宽敏感的解码任务。系统通过逐层传输模型的内部数据（称为 KV 缓存），实现两台设备的同时工作，而非依次等待。
在使用 Meta Llama-3.1 8B 模型进行的基准测试中，该混合架构相较单独使用 Mac Studio，推理性能提升 2.8 倍。
“分布式推理”助力低成本扩展 AI 算力
EXO 的实验展示了一种不同于传统单机加速的 AI 扩展思路。未来 AI 性能的提升，或不再依赖单一大型加速器，而是通过更智能的硬件协同实现整体算力的提升。
类似的理念也出现在 NVIDIA 自家的新一代 Rubin CPX 平台设计中：计算密集型的上下文构建由 Rubin CPX 处理器完成，而具有高带宽 HBM3e 内存的标准 Rubin 芯片负责解码阶段，与 EXO 在现成硬件上实现的原理一致。
EXO 1.0 仍处早期阶段
EXO 当前的早期访问版本 1.0 仍属实验性质，尚未全面公开。现有的开源版本 0.0.15-alpha 发布于 2025 年 3 月，后续版本计划引入自动调度、KV 流式传输和异构硬件优化功能。
目前 EXO 仍是研究级工具，尚不适合普通消费者直接使用，但其演示结果表明：通过智能调度不同硬件资源，分布式推理架构能在无需大型数据中心的前提下显著提升 AI 性能。
微信扫一扫打赏
支付宝扫一扫打赏
