55-70W Idle-Verbrauch von Eigenbau-NAS normal?

[madmax2010]

@andy_m4
inerseits ja, andererseits sind ddr5 6000 nur ca 50gb/s
Ein 80b Modell schafft darauf einen token pro 2-3 Sekunden.
Modelle im RAM mache ich nur noch bis ca 8mrd Parameter. Darüber wird es unbrauchbar langsam.

Inferenz seitig limitiert bei LLMs fast immer die Speicher Bandbreite

 

[redjack1000]

weißt du zufälligerweise, ob die MHz-Anzeige in Unraid dynamisch ist? oder zeigt die bei dir durchgängig 3500MHz an?

Das ist keine MHz Anzeige, das ist die Bezeichnung des Prozessor inkl. Grundtakt.

CU
redjack

 

[andy_m4]

inerseits ja, andererseits sind ddr5 6000 nur ca 50gb/s
Ein 80b Modell schafft darauf einen token pro 2-3 Sekunden.

Je nachdem, was man macht, reicht das ja vielleicht auch.
Außerdem kann es ja auch so sein, das man mehrere Modelle parallel geladen hat.

Aber ja: Natürlich ist das nicht von der Hand zu weisen, was Du sagst.

 

[Matthias80]

übersehen

CPU vs ganzes System im Vergleich. Finde den logik Fehler.

ausgebaut

Hoffnungslos überdimensioniert! Solche Systeme konfiguriert man auf Effizienz. Die Leistung die da verpufft zahlst du unnütz. Auch ein homelab braucht nicht diese Leistung. Dann dauert es halt mal nen bissel länger. Alles was kurzfristig mehr Power braucht, könntest du auch auf deinem noch größeren PC virtualisieren. Deine Vorstellung haben nix mit der Realität zu tun.

 

[Das MatZe]

Da hast du dir - wie viele Andere schon gesagt haben - die falsche Hardware ausgesucht.
Ich hab für mein DIY (True-)NAS einen alten Dell Optiplex 3070 mit i7 7700 recycled. Der nahm sich im Idle nur mit angeschlossener OS-SSD (ohne jegliche weitere Datenträger) und lediglich dem onboard Gigabit Link rund 9W.
Im Normalbetrieb mit HDD-Spindown (der auch funktioniert) hab ich's leider nicht mehr überprüft. Könnte ich bei Gelegenheit mal machen. Dürfte m.E. nach aber noch deutlich unter deinen Werten liegen.

Generell sind OEM-Systeme oftmals deutlich besser auf wenig Stromverbrauch im Idle-Betrieb optimiert.

 

[VDC]

Also fürs Homelab coole Kiste, für Dauerlauf definitiv die falsche Maschine. Was muss denn immer und mit welchen Datenmengen zur Verfügung stehen? So ein 40€ Dell 5070 Thinclient, der durch läuft und die wichtigsten Dienste zur Verfügung stellt frisst halt kein Brot. Den anderen auf WOL bzw. zeitbasiert hoch und runterfahren.

€: https://www.ram-koenig.de/dell-wyse-5070-tc-j4105-4gbddr4-16emmc-wifi-pedestal-psu-pj1cj/3100

 

[JeanLuc Bizarre]

Allright, ich habs verstanden. Falsche CPU, zuviel RAM und ein Board mit zuvielen Funktionen.
Und eventuell eine nicht runtertaktende CPU, weil defaulteinstellungen vom Mainboard suboptimal sind. Da kann ich vielleicht noch ein ganz wenig was schrauben.

Es liegt also nicht primär an den Einstellungen. Das ist ja genau das, was ich wissen wollte.

Der hohe Stromverbrauch ist definitiv nicht schön, aber er bringt mich jetzt auch nicht um. Deshalb nochmal die Hardware auszutauschen ist es mir nicht wert. Dazu fehlt mir einfach die Zeit und auch mittlerweile die Lust. Meine enthusiasischen Schrauberjahre sind vorbei.
Bin ja froh, wenn ich am Wochenende es mal 3h schaffe, ein Projekt auf der Kiste weiterzuführen.

Danke für die rege Beteiligung!

 

[Tulol]

CPU: AMD Ryzen 7700X
MB: AsRock B650M Pro RS Wifi

Auch wenn ich grundsätzlich eher im AMD Lager unterwegs bin ist das einfach keine gute Wahl.

Im Idle und Teillastbereich sind die vergleichbaren Intellösungen einfach sparsamer unterwegs.

Vollast wird so eine CPU in einem "Heim NAS" vermutlich so gut wie nie fahren.

 

[SaschaHa]

Es gibt sehr viele Parameter, die den Idle-Verbrauch beeinflussen und mit denen du diesen schrittweise reduzieren kannst. Die wichtigsten Parameter betreffen den I/O-Die, insbesondere die CPU SoC-Spannung ("CPU VDDCR_SOC Voltage" bei HWiNFO) sowie die CPU MISC-Spannung ("CPU VDD_MISC Voltage"), die im Normalzustand meist deutlich zu hoch sind.

Mit 5600 MT/s konnte ich erstere bei meinem Board von 1,25 auf 0,96 V (also um -0,29 V) reduzieren, letztere von 1,1 auf 0,92 V (also um -0,18 V). Diese Werte sind bis ans Limit getrieben, und insbesondere bei einem NAS würde ich solche Werte nicht empfehlen. Aber ein wenig Feintuning lohnt sich dabei fast immer!

Insbesondere bei der CPU SoC-Spannung wirst du dank der 4800 MT/s vermutlich sehr gute Werte erreichen können. Wichtig ist aber ein schrittweises Vorgehen und lange ausführliche Tests. Wenn das NAS beim Schreiben von Daten plötzlich abschmiert, hat man sonst schnell ein Problem. Stabilität sollte also an oberster Stelle stehen!

Insgesamt gilt aber leider: Die AMD-Desktop-Prozessoren sind für NAS-Systeme eher nicht so gut geeignet, einfach aufgrund dessen Idle-Verbrauchs. Der I/O-Die ist bei diesen ja leider noch in N6 gefertigt.

 

[Low]

@SaschaHa Gibt es noch weitere Spannungen, die reduziert werden können?

Ich hatte mich gestern auf Reddit eingelesen, wo dann doch AMD Hardware je nach Mainboard sparsam oder nicht sparsam ausfällt. Gerade die Spannungen seien willkürlich hoch gesetzt. Ein AMD Mini PC braucht schließlich bei relativ ähnlicher Hardware auch nur ein paar Watt im Idle.

 

[mae]

Ich muss dem Tenor der anderen widersprechen.

Wir haben hier Server mit Chiplet-Ryzens mit 128GB ECC-RAM (allerdings AM4) mit ca. 40W Idle ([edit]und unsere Xeon-Server (die die gleichen CPU-Dies haben wie Desktop-CPUs) verbrauchen auch nicht weniger[/edit]). Festplatten im Spindown wie der TE beschreibt verbrauchen nicht viel, ich erinnere mich an Beschreibungen von 1.2W oder so.

AM5 scheint das ganze nicht zu erhoehen: Mein System mit Ryzen 8700G, 2x32GB DDR5-5200 RAM, A620 und zwei SSDs braucht 25W idle.

Und zwei RAM-Riegel @4800MHz verbrauchen sicher keine 15W, da wuerden sie vergluehen; vielleicht wenn man das RAM overclockt, das macht er aber nicht; tatsaechlich verbraucht RAM in Leerlauf wenig: Ich habe gerade einen RAM-Chip auf einem DDR5-DIMM (das keinen Kuehler oder Heat-spreader hat) in meinem System gemessen, das hat 34Grad C bei 21 Grad C Umgebungstemperatur. Zum Vergleich: Der Chipsatzkuehler hat 62 Grad, alles bei insgesamt 25W Verbrauch.

Was nach unserer Erfahrung viel (10W) Aufschlag ergibt, sind 10Ge. Da beschreibt der TE nicht, was er verwendet.

es laufen 15 DockerContainer, darunter
Nextcloud
Jellyfin
Paperless
Postgres
PostGIS
OpenWebUI
Ollama

die jedoch zum größten Teil idlen, da nur ich das NAS wirklich nutze. Meine Frau greift ab und zu auf Services zurück (va. NextCloud, Paperless)
Das NAS macht also wirklich die meiste Zeit garnichts, CPU-Auslastung ist minimal.

Ist ein solcher Idle-Verauch Normal?

Wenn's tatsaechlich Idle-Verbrauch ist, kommt er mir hoch vor.

Wenn ja, dann muss ich das so akzeptieren, aber vielleicht habe ich auch irgendetwas falsch eingestellt.
Ich weiß, dass die Ryzen im Idle jetzt nicht die Energiesparwunder sind, aber es scheint mir, dass die CPU einfach nicht runtertaktet. Unraid gibt seit kurzem den Stromverbauch der CPU an und der liegt konstant bei 25-30W @4500MHz. Es liegen anscheinend immer 4500MHz an. Ich habe dort jedenfalls noch nie eine andere Zahl gesehen.

Die 4500MHz sind vermutlich der Nominaltakt. Die 25-30W scheint mir viel zu sein, wenn das System wirklich idle ist. Vielleicht kannst Du das einmal mit "turbostat --show Core,Busy%,Avg_MHz,Bzy_MHz,CorWatt,PkgWatt -interval 5" messen. Zum Vergleich:

Ein Ryzen 5800X (Chiplet) im Idle zeigt Werte an wie:

Core    Avg_MHz Busy%   Bzy_MHz CorWatt PkgWatt
-       1       0.04    2398    0.08    13.19
0       1       0.03    2316    0.01    13.19
0       1       0.04    2380
1       1       0.02    2299    0.01
1       1       0.05    2378
2       4       0.17    2376    0.02
2       1       0.03    2347
[...]

Die oberste Zeile sind alle Cores zusammen plus alles andere im CPU-Package (Memory Controller, I/O, usw.), Bzy_MHz sind die MHz, wenn der Kern (bzw. der Durchschnitt ueber alle Kerne) tatsaechlich arbeitet, Bzy% zeigt, wie oft der Kern (Durchschnitt ueber alle Kerne) tatsaechlich Arbeitet, und Avg_MHz ist Bzy_MHz*Bzy%. Wie man sieht, braucht der Prozessor im Idle kaum etwas in den Cores, aber das Package braucht deutlich mehr. Jeder Kern hat zwei Zeilen, wohl wegen SMT.

Zum Vergleich der Ryzen 8700G (monolithisch und mit abgeschaltetem SMT) im Idle:

Core    Avg_MHz Busy%   Bzy_MHz CorWatt PkgWatt
-       8       0.26    2993    0.05    3.96
0       1       0.05    2972    0.00    3.96
1       1       0.04    2961    0.00
2       3       0.11    2992    0.00
[...]

Was meint ihr. Habe ich irgendeine 'magische' Einstellung übersehen?

Zunaechst einmal solltest Du schauen, wie Idle die CPU-Kerne tatsaechlich sind. Wenn sie tatsaechlich aehlich Idle sind wie die oben, dann hilft vielleicht, sich mit den Power-State-Einstellungen im BIOS herumzuspielen. Im Normalfall sind die tieferen Powerstates abgeschaltet, weil sie in manchen Hardwarekonfigurationen (je nach Netzteil usw.) Probleme machen. Bei den obigen Systemen haben wir diese Power-State-Einstellungen WIMRE aber nicht veraendert, das erklaert vielleicht auch die 13W bzw. fast 4W, die das CPU-Package mehr braucht als die Kerne.

 

[Der_Dicke82]

@andy_m4 @madmax2010 Das einzig sinnvolle könnte ein großes MoE Modell sein, wo halt nur 4-8B Parameter aktiv sind, aber auch da fällt mir nichts ein was über 64GB RAM brauchen würde UND sinnvoll ist.

@JeanLuc Bizarre ich würde trotzdem mal überlegen ob du 24/7 Dienste und Rechenpower nicht trennen kannst! Bei mir läuft dauerhaft ein SBC für die Dienste und NAS und für KI oder Videocodierung wird was großes angemacht. Das kann man auch bequem via WoL machen.

@mae ich denke ohne das Netzteil hier zu kennen und seinen Wirkungsgrad bei <50 Watt können wir nur allgemeine Angaben machen. Wenn die CPU ca. 15 Watt im idle, mainboard 8-10 und alle Datenspeicher nochmals 10 Watt verbrauchen und das sind ja wirklich eher die absoluten minimalangaben sind wir bei ca. 35 Watt bei einem soliden Netzteil was hier noch 80% Wirkungsgrad hat sind wir bei 43 Watt.

Ich denke das TE an der Steckdose gemessen hat und deswegen treffen die aussagen hier, das ein chipletsystem im idle immer um die 40 Watt braucht vollkommen zu. Du schreibst ja selbst, das chiplet 3-4mal mehr verbraucht als Monolith. Klar hängt es dann noch an den anderen Komponenten, aber ein gut ausgestattetes wie hier braucht auch nochmal 5watt mehr als eine magere Minimalausstattung. Ein M.2 zu SATA Adapter hat ziemlich sicher auch keine C6 aber das sind nur wenige Watt.
Der Multiplikator ist am Ende halt noch das Netzteil.

 

[SaschaHa]

Gibt es noch weitere Spannungen, die reduziert werden können?

Auch die "MEM VDDQ"- sowie die "CPU VDDIO"-Spannung habe ich bei mir reduziert, in meinem Fall von 1,25 auf 1,15 V, also um 0,1 V. Das hat aber kaum einen Effekt auf den Stromverbrauch. Den größten Effekt hatte ich durch die zuvor genannten Werte. In meinem Fall bin ich somit von über 30 Watt Idle-Verbrauch auf aktuell rund 18 Watt gekommen, wohlgemerkt beim 7950X. Bei moderaten Werten halte ich 6 bis 10 Watt Einsparung für realistisch.

Hier ist eine kleine Liste an Werten, die ich bei mir im BIOS festgelegt habe:

• CPU fan check: Ignore
• Case Fan Check: Ignore
• Install ASUS Armoury Crate: Disabled
• Memory Context Restore: Enabled
• Ai Overclock Tuner: DOCP Tweaked
• Precision Boost Overdrive: AMD Eco Mode
• AMD Eco Mode: cTDP 65W
• CO: Negative, 36
• GFX CO: Negative, 20
• CPU Boost Clock Override: Enabled (Negative)
• Max CPU Boost Clock Override(-): 500
• Platform Thermal Throttle Limit: Manual, 85
• CPU SOC Voltage: Manual
• VDD_SOC Voltage Override: 0.96
• MISC Voltage: Manual
• MISC Voltage Override: 0.92
• Lights: Stealth
• AiO °C: 60, 70, 80, 90
• AiO %: 40, 44, 52, 64
• Advanced/AMD CBS/SMU Common Options/TDC Control: Manual
• TDC_VDDCR_VDD: 85000
• MEM VDDQ: 1,15 V
• CPU VDDIO: 1,15 V
• tRAS: 84
• tRC: 120
• tRFC: 448
• tRFC2: 336
• tRFCsb: 280

Die Werte sind selbstverständlich nicht übertragbar, da jedes System (und BIOS) anders ist. Aber ist vielleicht eine gute Orientierung, was man da alles tweaken kann.

 

[madmax2010]

@andy_m4 @madmax2010 Das einzig sinnvolle könnte ein großes MoE Modell sein, wo halt nur 4-8B Parameter aktiv sind, aber auch da fällt mir nichts ein was über 64GB RAM brauchen würde UND sinnvoll ist

Modelle dieser größe, echtzeit spracherkennung mit whisper, und sämtliche Dienste die @JeanLuc Bizarre aufgezählt hat habe ich hier drauf laufen
https://www.friendlyelec.com/index.php?route=product/product&path=69&product_id=309
LLM performance ist vergleichbar zu aktuellem x86.
Das SoC kam Jahre bevor chatgpt ein Thema war für überwachungskameras raus undhat eine 6 Teraflop NPU, die auch noch besser unterstützt ist als die aktuellen von AMD und Intel (vorerst)
die hat komplett Langeweile, weil der RAM limitiert.

Moe hilft nur bedingt, da trotzdem alle zu aktivierenden Parameter bei jedem pass entschieden werden.

Reicht aber absolut für die betriebenen Dienste.

 

[IDontWantAName]

Ich muss dem Tenor der anderen widersprechen.


AM5 scheint das ganze nicht zu erhoehen: Mein System mit Ryzen 8700G, 2x32GB DDR5-5200 RAM, A620 und zwei SSDs braucht 25W idle.

Du hast auch eine monolitische CPU/APU mit 8 Kernen. Das bedeutet, dass sich CPU-Kerne, die Radeon 780M Grafikeinheit und die 16 TOPS NPU (Ryzen AI) auf einem einzigen, zusammenhängenden Silizium-Die befinden, anstatt auf mehrere getrennte Chips (Chiplets, IO Die) aufgeteilt zu sein. Das hilft beim Idle.

 

[SaschaHa]

@IDontWantAName
Einmal das, und es gibt weniger (unnötige) I/O-Features, die zudem allesamt ebenfalls in N4 vorliegen, statt separat in N6 gefertigt zu werden. Letzteres Fertigungsverfahren ist ja mittlerweile schon etwas in die Jahre gekommen und vermutlich auch der Grund dafür, warum AMD bei den Desktop-Modellen im Vergleich zu Intel einen solch miesen Speichercontroller hat.

 

[mae]

@IDontWantAName @SashaHa: Wenn man sich die Package-Power des 5800X (chiplet, und mit einem IOD in einem noch aelteren Prozess als N6) und des 8700G (monolithisch in N4) in #31 anschaut, erklaert das Chiplet-Design des 7700X vielleicht 10W Idle, die 6 Festplatten im Spindown vielleicht 7W, damit wuerde ich ungefaehr 42W beim TE erwarten, nicht 55W-70W.

 

[SaschaHa]

@mae
Die meisten AM5-Boards sind leider höchst ineffizient. Ich vermute, dass das unter anderem den übertriebenen Spannungswandlern geschuldet ist, die ja Stock für bis zu 230 Watt PPT ausgelegt sein müssen. Bei AM4 mussten diese nur für 142 Watt PPT ausgelegt sein, alles darüber war optional. Leider haben viele Hersteller sich bei den Stromsparmechanismen auch nicht gerade mit Ruhm bekleckert.

 

[mae]

@SashaHa: Da koennte etwas dran sein; das ASUS Pro A620M-C, mit dem mein 8700G mit 25W idle (ab Steckdose) laeuft, unterstuetzt nur "up to 120W AMD CPU". Das AsRock Deskmini X600, das mit einem 8700G bei 7W idle ab Steckdose liegt, unterstuetzt nur 65W CPUs.

Andererseits, die gerne fuer ihren geringen Idle-Verbrauch gelobten Intel-CPUs brauchen bis zu 253W regulaer und noch mehr mit Overclocking. Wie passt das mit der Theorie von hohen Idle-Werten durch uebertriebene Spannungswandler zusammen?

Ergänzung (Gestern um 19:09)

Als Ergaenzung zu den Daten aus #31 noch Werte fuer Intel CPUs, leider keine CorWatt per Core:

Xeon W-1370P (Rocket Lake, ca 40W ab Steckdose):

Core    Avg_MHz Busy%   Bzy_MHz PkgWatt CorWatt
-       1       0.10    800     2.40    0.09
0       1       0.08    800     2.40    0.09
0       4       0.51    800
1       0       0.00    800
1       0       0.01    800
2       1       0.11    800
2       0       0.00    800
...

Core i3-1315U (Alder Lake, ASUS NUC, 5W ab Steckdose):

Core    Avg_MHz Busy%   Bzy_MHz PkgWatt CorWatt
-       1       0.13    1018    0.37    0.05
0       3       0.30    1078    0.37    0.05
0       1       0.12    922
4       1       0.13    980
4       1       0.08    910
12      2       0.15    1037
13      1       0.10    1054
14      1       0.09    953
15      1       0.07    1102

 

[SaschaHa]

Wie passt das mit der Theorie von hohen Idle-Werten durch uebertriebene Spannungswandler zusammen?

Es ist eine Komponente von vielen. Die Intel-CPUs haben zumindest den Vorteil, dass sie im Idle fast nichts fressen, da ist AMD bei den Desktop-CPUs weit hinterher. Das Powermanagement der übrigen Komponenten könnte auch unterschiedlich sein. Das sind letztendlich zu viele Variablen, und die Informationen der Hersteller diesbezüglich zu intransparent. Die APUs von AMD sind in Sachen Idle-Effizienz ja schonmal ein gutes Stück besser als die Desktop-Ableger. Der Rest liegt dann oft beim Mainboard-Hersteller und dem Netzteil.