Jim Keller schlägt vor, dass Nvidia Ethernet hätte nutzen sollen, um Blackwell-GPUs miteinander zu verbinden – das hätte Nvidia Milliarden sparen können
Jim Keller, ein starker Befürworter offener Standards, twitterte, dass Nvidia in seinen Blackwell-basierten GB200-GPUs für KI und Hochleistungsrechnen die Chip-zu-Chip-Ethernet-Protokollkommunikation hätte verwenden sollen. Keller behauptet, dass Nvidia und Nutzer seiner Geräte dadurch viel Geld hätten sparen können. Es hätte diesen Kunden auch die Migration ihrer Software auf andere Hardwareplattformen erleichtert, was nicht unbedingt das ist, was Nvidia möchte.
Als Nvidia seine GB200-GPU für KI- und High-Performance-Computing-Anwendungen vorstellte, konzentrierte sich das Unternehmen hauptsächlich auf die KI-Leistung und das fortschrittliche Speichersubsystem und sagte wenig darüber, wie das Gerät gebaut wurde. Unterdessen umfasst die GB200-GPU von Nvidia zwei Rechenprozessoren, die mithilfe der CoWoS-L-Paketierungstechnologie von TSMC und der NVLink-Verbindungstechnologie, die ein proprietäres Protokoll verwendet, zusammengepackt sind. Für diejenigen, die bereits Nvidia-Hardware und -Software verwenden, stellt dies kein Problem dar, stellt die Branche jedoch vor eine Herausforderung bei der Portierung von Software von Nvidia-Plattformen.
Es gibt einen Grund, warum Jim Keller, legendärer CPU-Designer und CEO von Tenstorrent, dem Konkurrenten von Nvidia, vorschlägt, dass Nvidia Ethernet anstelle des proprietären NVLink hätte verwenden sollen. Nvidia-Plattformen nutzen NVLink-Technologie mit geringer Latenz für die Chip-zu-Chip- und Server-zu-Server-Kommunikation (die mit PCIe mit dem CXL-Protokoll an der Spitze konkurriert) und proprietäre InfiniBand-Kommunikation für die Kommunikation auf höherer Ebene. Um maximale Leistung zu erzielen, ist die Software auf die Besonderheiten beider Technologien abgestimmt. Aus offensichtlichen Gründen kann dies die Portierung von Software auf andere Hardwareplattformen etwas erschweren, was für Nvidia gut und für seine Konkurrenten völlig ungünstig ist. (Sie können seinen Thread sehen, wenn Sie den Tweet unten erweitern.)
Es gibt jedoch einen Haken. Ethernet ist eine allgegenwärtige Technologie in Hardware und Software und konkurriert mit der InfiniBand-Konnektivität mit geringer Latenz und hoher Bandbreite (bis zu 200 Gigabit) der Rechenzentren von Nvidia. In Bezug auf die Leistung kann Ethernet (insbesondere 400 GbE und 800 GbE der nächsten Generation) mit InfiniBand konkurrieren.
Allerdings bietet InfiniBand immer noch einige Vorteile in Bezug auf KI- und HPC-Funktionen und überlegene Latenzzeiten, sodass einige vielleicht sagen, dass Ethernet-Funktionen den neuen KI- und HPC-Arbeitslasten nicht gerecht werden. Unterdessen entwickelt die Branche – angeführt von AMD, Broadcom, Intel, Meta, Microsoft und Oracle – die Ultra-Ethernet-Verbindungstechnologie, die einen höheren Durchsatz und Funktionen für KI-Kommunikation und Hochleistungsrechnen liefern soll. Natürlich wird Ultra Ethernet bei dieser Art von Arbeitslast ein besserer Konkurrent für Nvidias InfiniBand sein.
Auch Nvidia steht mit der Dominanz seiner CUDA-Softwareplattform vor Herausforderungen, weshalb ein System entstanden ist, das von der Branche weitgehend unterstützt wird. Unified Accelerator Foundation (UXL)ein Industriekonsortium, dem unter anderem Arm, Intel, Qualcomm und Samsung angehören, hat sich zum Ziel gesetzt, eine Alternative zu CUDA bereitzustellen.
Natürlich muss Nvidia Rechenzentrumsplattformen für den Einsatz hier und jetzt entwickeln, was zumindest Teil seines Wunsches sein könnte, Milliarden für proprietäre Technologien auszugeben. Wenn offene Standardtechnologien wie PCIe mit CXL und Ultra Ethernet die proprietären NVLink- und InfiniBand-Technologien von Nvidia in Bezug auf Leistung und Fähigkeiten übertreffen sollen, muss Nvidia seine Plattformen neu entwickeln, daher rät Keller (oder die Trolle), dass Nvidia Ethernet einführen sollte. Da dies jedoch noch Jahre dauern wird, nutzen Nvidia-Designs vorerst weiterhin die Vorteile proprietärer Verbindungen.
„Lebenslanger Social-Media-Liebhaber. Fällt oft hin. Schöpfer. Leidenschaftlicher Feinschmecker. Entdecker. Typischer Unruhestifter.“