AMD ROCm 7.0: Instinct-MI350-Support und mehr Leistung im AI-Wettstreit

AMD hat mit ROCm 7.0 die neueste Softwaresuite veröffentlicht, die AI auf AMD-GPUs noch schneller machen soll. Auch neue Instinct-Chips unterstützt sie. AMD folgt damit dem zuletzt eingeschlagenen Weg, schneller auf Neuheiten im Markt zu reagieren und so die eigenen Produkte konkurrenzfähiger zu machen.

Konkurrenzfähig zu sein ist auch das Stichwort für die Produktfamilie Instinct MI350, die nun erstmals offiziell voll unterstützt wird. Die im Sommer vorgestellten AI-Beschleuniger kommen in diesen Tagen bei den ersten Kunden an, die sie fortan direkt nutzen können. Oracle, Dell, HP und viele weitere gehören zu den Erstkunden, die diese Systeme bauen (lassen) und auch nutzen.

Aber nicht nur die neue Generation ist AMD wichtig, der Hersteller will auch zeigen, dass man sich weiterhin auch um die Vorgängerlösungen kümmert. Deshalb stellt AMD Prebuilt-Images von ROCm 7.0 vLLM und SGLang Docker für Instinct MI355, MI350, MI325 und MI300 GPUs zur Verfügung. Die Optimierungen in den Softwarepaketen gilt in erster Linie den aktuell gefragten Datenformaten MXFP4 und FP8.

Auch das Thema Skalierbarkeit im Rechenzentrum hat AMD verstärkter im Blick und Optimierungen integriert. Dazu zählt die Skalierung über Cluster und GPUs sowie Support für Mixtures of Experts (MoE), der alle aktuellen Low-Precision-Formate wie FP4, FP6 und FP8 für Inferencing abdeckt. Vor allem bei Inference sind die Leistungssteigerungen gegenüber ROCm 6 deshalb in entsprechenden Umgebungen deutlich.

AMDs neuer Softwareansatz überzeugt

AMDs offene Software- und Treiberplattform ROCm nahm in den letzten beiden Jahren an Fahrt auf, nachdem sie zuvor für ihre schleichende Weiterentwicklung scharf kritisiert worden war. Zu verdanken ist dies diversen Übernahmen, allen voran der des Software-Entwicklers Nod.ai. Von Nod.ai kommt auch der neue Software-Chef von AMD, Anush Elangovan. Er war Gründer und CEO bei Nod.ai.

Elangovan ist extrem aktiv in der Community und sucht den stetigen Austausch mit Entwicklern, reagiert dabei auf nahezu jede noch so kleine (oder große) Anfrage. Er treibt AMDs Softwareabteilung vor allem in Richtung Open Source voran. Damit gelang es zuletzt sogar, neue AI-Modelle viel schneller als Nvidia zu unterstützen und dann mitunter trotz vielleicht schwächerer Hardware mehr Leistung zu bieten – wenn auch nur für kurze Zeit.

Was ist AMD ROCm?

ROCm (Radeon Open Compute Platform) ist eine von AMD entwickelte offene Plattform für High-Performance Computing (HPC), maschinelles Lernen und GPU-Computing. ROCm ermöglicht es, AMD-GPUs für wissenschaftliches Rechnen, KI-Training, Simulationen und andere rechenintensive Anwendungen einzusetzen. Bestandteile sind:

• Treiber & Laufzeitumgebungen
• Programmiermodelle & APIs
• Bibliotheken
• Compiler & Tools