samuelclemens schrieb:
Was mich mal interessieren würde wäre ob mehr RAM was bei lokalen KIs bringt.
Könnte also viel Ram in Zukunft bei lokalen KIs einen spürbaren unterschied machen?
frag doch einfach eine KI
„ Ihre Vermutung, dass die Technik sich weiterentwickelt, ist genau richtig. Der Trend geht dahin, KI-Leistung stärker in die allgemeinen Systemkomponenten zu integrieren, um die Abhängigkeit von teuren, dedizierten GPUs zu verringern.
• CPUs und APUs: Moderne Prozessoren (CPUs) von AMD und Intel bieten immer leistungsfähigere integrierte Grafikeinheiten (iGPUs) und dedizierte NPUs (Neural Processing Units).
• Shared Memory: Diese integrierten Einheiten nutzen den System-RAM als Grafikspeicher (ähnlich wie eine APU). Bei Systemen mit viel RAM (z.B. den neuesten AMD Ryzen AI-Systemen) kann der System-RAM als riesiger, geteilter VRAM dienen (z.B. bis zu 96 GB), was das lokale Ausführen großer Modelle ohne dedizierte GPU stark verbessert.
• Quantisierung und effiziente Modelle: Die Modelle selbst werden ständig effizienter und lassen sich besser quantisieren (komprimieren). Kleinere, hochoptimierte Modelle wie Mistral 7B oder Gemma 2B/7B liefern bereits heute eine beeindruckende Qualität und laufen effizient auf Systemen mit viel RAM und nur einer CPU/iGPU/NPU.
• Fazit: Wenn Sie in Zukunft ein System mit einer leistungsstarken CPU/APU und viel RAM kaufen, kann das eine kosteneffiziente Alternative zu einer teuren Grafikkarte mit viel VRAM sein, um große, lokale KI-Modelle in akzeptabler Geschwindigkeit zu betreiben.
Empfehlung
Für ein gutes lokales KI-Erlebnis (insbesondere ohne High-End-GPU) sind mindestens 32 GB RAM und besser 64 GB RAM heute schon die Empfehlung für den Betrieb mittelgroßer Modelle (bis ca. 13 Milliarden Parameter).“