News Blackwell Mini-PC und Workstation: Nvidia bietet DGX Spark und DGX Station für Endkunden an

[Gringalf]

@HerrRossi Damit sind dünn besetzte Matrizen gemeint, also Matrizen, die fast überall Nullen enthalten. Dafür gibt es dann effizientere Algorithmen. Siehe https://de.wikipedia.org/wiki/Dünnbesetzte_Matrix

 

[HerrRossi]

Also eine Art Benchmark, der hohe Ergebnisse abliefert?

 

[stefan92x]

@HerrRossi Das ist schon etwas, was sich in realen Anwendungen oft findet. Genau deshalb wird auch die Hardware darauf optimiert. Das ist einfach eine eingebaute Abkürzung für den Fall, dass mit 0 multipliziert werden sollte, da muss man halt nicht das große Rechenwerk füttern, sondern kann direkt 0 zurückgeben.

Bei Berechnungen einzelner Daten gibt das keinen relevanten Boost, aber wenn man ganze Matrizen auf einmal in den Rechenkern wirft, dann wird es spürbar.

 

[HerrRossi]

Alles klar, vielen Dank für die Info!

 

[nutrix]

Reservierungen für den kleinen DGX Spark nimmt Nvidia ab sofort entgegen

Ach, hier sind Reservierungen plötzlich möglich... 🙄🤬

 

[TheInvisible]

Der Speicherdurchsatz liegt leider nur bei 273 GB/s. Siehe https://www.nvidia.com/en-us/products/workstations/dgx-spark/

Man bekommt also eine 5070 mit 128 GB RAM, das aber nur 40,625% des Durchsatzes der 5070 hat. Für LLM ist das aber der entscheidende Wert, da für jedes Token das komplette Modell ganz eingelesen werden muss, d.h. ein 100 GB großes Modell würde zwar laufen, aber maximal mit 2,73 Token/s, realistisch wahrscheinlich mit ca. 2 Token/s.

Bei dem Preis könnte man auch über einen Mac Studio nachdenken mit 128 GB (oder auch mehr) unified RAM, der dann aber mit 819 GB/s angebunden ist, also exakt 3 mal so schnell.

Der kostet auch mehr und kein Nvidia Software Stack

 

[sujo99]

Also eine 5070 mit 128Gb RAM für 3999$

Geht schlimmer aber geht auch besser. Glaube da macht eine RTX PRO 6000 schnell mehr Sinn. Bringt immerhin 3-4x mehr Rechenleistung mit. Und günstiger zusammenschließen kann man die auch in einem System mit 2-6 Karten

Ergänzung (19. März 2025)

Eine GB200 besteht aus zwei Dies. Das ist vermutlich gemeint

Hm nur bist du bei einer Rtx pro 6000 bei 6000-8000$ und 48GB Ram. Ich glaube da wird es für den Prosumer langsam too much.

 

[GrumpyCat]

ARM-CPU "in Zusammenarbeit mit MediaTek"? Klingt etwas gruselig. Welches OS läuft denn drauf? Läuft Linux mit den normalen Distributions-Kerneln? Wohl kaum, schätze ich...?