Reading Notes: MI300X vs H100 vs H200 Benchmark Part 1: Training – CUDA Moat Still Alive

本文是阅读 MI300X vs H100 vs H200 Benchmark Part 1: Training – CUDA Moat Still Alive 的简单总结。

Key Takeaway

Key Findings

1. On paper FLOPS 不可靠，靠 benchmark 才能说服人

2. NVIDIA 的 out of box experience 远好于 AMD，这是由于 software stack 的质量差异带来的

3. software stack 可能阻碍 user 发挥硬件的性能潜力

4. software stack 的 user experience 很重要

Miscellany

• GEMM 是现代深度学习最重要的 benchmark 对象之一

• NVIDIA 高效的网络拓扑 nvlink 也是其 gpu 高性能的关键之一