9年前的V100显卡杀疯了！4张一起跑大模型比双DGX Spark快2.5倍

9年前的老显卡，居然要挑战英伟达最新的AI超级计算机？

最近，Jun Yamog做了一次颇为大胆的实验，他找来4张2017年发布的NVIDIA Tesla V100显卡，通过NVLink将它们连接起来，组成一套拥有128GB显存的本地AI系统。而它的对手，是两台搭载Blackwell架构GB10芯片的DGX Spark。

一边是服役近10年的数据中心GPU，一边是英伟达2025年推出的桌面AI超级计算机。两套系统隔着数代GPU架构，硬件形态、互联技术也截然不同。

更有意思的是，他还找来了RTX Pro 6000以及苹果M5 Ultra的公开测试数据，准备让这些新老硬件在同一个大模型上较量一番。

4张老V100，组装出128GB显存的AI服务器

为了完成这场测试，Yamog首先动手搭建了一套四卡V100系统。V100是英伟达2017年推出的Volta架构数据中心GPU，拥有HBM2高带宽显存，曾广泛应用于AI训练和高性能计算。

他选择的是32GB显存的SXM2版本，4张显卡合计提供128GB显存容量。不过，SXM2并非普通PCIe显卡使用的接口，要把4张V100装进一台机器，需要专门的GPU载板。

为此，他找到了一块支持4张SXM2 V100的NVLink载板，通过6条NVLink 2.0链路构建GPU之间的高速互联。按照英伟达的官方规格，V100的NVLink 2.0最高可提供300GB/s的双向聚合带宽。这也是整套系统最值得关注的硬件配置。组装过程颇有一些硬核DIY的味道。

他先将GPU安装到载板上，再涂抹导热硅脂和导热填充材料。由于现成的散热器无法直接适配，他还找朋友使用铣床，将散热器上的三个凸起部分加工掉，最终成功安装了经过改造的A100风格散热器。经过改造，这套散热方案的表现也比原装散热器更好。

另一边，DGX Spark的准备工作就简单多了。

他手里有两台设备，一台是英伟达Founders Edition，另一台是技嘉AI TOP ATOM。他将其中的NVMe SSD从1TB升级到2TB，同时由PCIe 4.0升级到PCIe 5.0。

两台DGX Spark各自拥有128GB统一内存，通过ConnectX-7高速网络组成集群。其单个网络端口支持200Gb/s连接速率，能够让大模型的不同分片分布在两台设备上运行。至此，两套系统准备完毕。

实测155 Token/s，V100竟然跑赢了新GPU

正式测试环节，他选用了Qwen3.8-Flash-Next模型。

这是一个被视为下一代Qwen架构预览的模型，他使用NVFP4量化权重进行测试。需要注意，V100缺乏原生FP4计算能力，实际推理依赖软件层面的解量化和算子优化。

测试主要考察两项指标：Prompt Processing，即模型处理输入内容的速度；Token Generation，即模型持续生成输出内容的速度。

首先看输入处理。4张V100组成的系统达到约4000 tokens/s，而双DGX Spark集群约为2900 tokens/s。这意味着，在他的测试环境下，V100系统的输入处理速度已经领先约38%。

接下来，差距进一步拉大。在Token生成测试中，V100系统达到了155 tokens/s，超过双DGX Spark集群的2.5倍。他对此也感到意外，他原本没有预料到，9年前的V100竟然能取得如此明显的性能优势。

为了弄清楚这套系统究竟处于什么水平，他又引用了另一位测试者Alex的数据，将RTX Pro 6000和苹果M5 Ultra纳入比较。结果显示，RTX Pro 6000在输入处理方面具有压倒性优势，短上下文处理速度达到12000 tokens/s，长上下文也有约9000 tokens/s。

然而，来到Token生成阶段，RTX Pro 6000系统取得了122 tokens/s的成绩，仍然落后于V100的155 tokens/s。

苹果M5 Ultra的情况则更加有趣。在Alex使用llama.cpp进行的测试中，M5 Ultra输入处理速度不足1400 tokens/s，生成速度为44 tokens/s。他随后考虑到苹果平台的软件适配情况，又找来了MLX框架下的测试结果。

这一次，M5 Ultra的输入处理速度提升至3400 tokens/s，生成速度更是达到125 tokens/s。同一套硬件，仅仅因为推理框架不同，性能表现就出现了巨大变化。

当然，这些数字还不能被视为严格的GPU性能排名。部分结果来自不同测试者，软件框架、上下文长度及推理配置存在差异，他也承认，部分长上下文数据采用了估算。但V100在这场测试中表现出的竞争力，已经足够引起关注。

老显卡为何还能打？关键藏在GPU互联和软件优化里

面对测试结果，他将目光放在了多GPU系统的互联架构上。

运行大型语言模型时，模型权重往往需要分布在多张GPU上。尤其是在张量并行场景下，GPU之间要频繁交换中间计算结果，通信效率可能直接影响推理性能。

V100虽然诞生于2017年，但SXM2版本拥有NVLink 2.0高速互联能力。相比之下，采用PCIe连接的多GPU工作站，在特定通信密集型负载下，可能受到GPU间带宽和延迟的限制。他认为，这可能解释了为什么RTX Pro 6000系统拥有更强的计算能力，却在Token生成测试中落后于V100。

不过，NVLink与PCIe的标称带宽涉及不同统计口径，实际性能还会受到连接拓扑、通信模式和推理框架影响。仅凭这组测试，尚无法确认RTX Pro 6000的主要瓶颈完全来自PCIe。硬件之外，软件优化也是这次实验的重要因素。他特别提到了一个名为One Cat AI的开源社区。这个社区持续为V100等老架构GPU改进推理软件，让原本缺乏最新硬件指令支持的显卡，也能运行新一代大模型。

他观察到，相关项目几乎每隔几周就会迎来一次性能提升。这意味着，V100的实际推理能力还在随着软件迭代不断变化。类似的情况也出现在M5 Ultra身上，MLX与llama.cpp之间的性能差距，已经说明推理框架的重要性。

那么，既然V100表现如此突出，是否值得放弃DGX Spark？

他给出的答案还涉及实际使用成本。他在今年6月购入第一台技嘉ATOM，7月又添置了一台DGX Spark创始版。两台设备长期运行DeepSeek、Qwen3.8-Flash-Next和GLM 5.2 Flash等模型，也承担一部分图像生成任务。

在他的日常使用中，DGX Spark最大的优势是安静、紧凑、低功耗，能够24小时持续运行。每增加一个节点，还能获得额外的128GB统一内存容量。

V100虽然推理速度更快，但需要自行组装，功耗也明显更高。考虑到它已经服役近10年，后续驱动和推理框架能否持续支持，同样存在不确定性。

他家中安装了太阳能发电系统，较低的用电成本恰好减轻了V100高功耗带来的负担。因此，他认为，对具备动手能力、拥有廉价电力来源的用户而言，二手V100仍然具有不错的吸引力。

最终，他选择同时保留两套系统：V100承担高性能推理任务，DGX Spark则负责安静、稳定的全天候计算。

这次测试也留下了一个值得继续探讨的问题。

当大模型越来越依赖多GPU协同，显存容量、内存带宽、GPU互联和推理软件之间，究竟谁会成为下一代本地AI硬件性能的决定性因素？至少在这次实验中，9年前的V100已经证明，一张老显卡的实际价值，可能远比它的发布时间更值得研究。