News „Wert pro Watt pro Nutzer“: Perplexity-CEO sieht einzige Kennzahl für Sieg im KI-Rennen

[mischaef]

Perplexity-CEO Aravind Srinivas sieht die Zukunft des KI-Wettbewerbs nicht allein in immer leistungsfähigeren Modellen, sondern vor allem in effizienterer Orchestrierung. Entscheidend sei aus seiner Sicht, welche Unternehmen den größten wirtschaftlichen Nutzen pro Energieverbrauch und Nutzer liefern können.

Zur News: „Wert pro Watt pro Nutzer“: Perplexity-CEO sieht einzige Kennzahl für Sieg im KI-Rennen

 

[ManInNight]

Auslagern von Leistungen auf den Kunden und ausweichen auf Fremdanbieter, weil die Modelle austauschbar sind. Läuft wohl nicht so rund das Geschäft.

 

[Hypothek]

Wenn man eine Kennzahl für einen Benchmark definiert und jeder nur nach dem höchsten Wert dieser Kennzahl strebt, hat man dann wirklich das beste Produkt? (= korrekte, wahre, quellennahe, schlüssige, etc. Ergebnisse)

Ich muss dabei direkt an Abgaswerte auf Teststationen, GHz Zahl von CPUs, GtG Reaktionszeit bei Monitoren, Schrittzähler, PS bei Autos, BIP für Lebensqualität der Bürger, etc.

 

[Kaufmannsladen]

Wow, langsam, gaaanz langsam zieht die Realität bei den KI-Unternehmen ein.

 

[Axxid]

Man schießt erst einmal nach den Sternen und optimiert im Nachlauf, ist ja nichts neues.

Das man allerdings erst einmal Trillionen Dollar verbrennt, ganze Meere verdampft, mehrere Märkte, Millionen von Arbeitsplätzen und eigentlich alles digitale ruiniert um dann am Kraterrand zu sagen “vielleicht sollten wir doch ein wenig optimieren” ist der Wahnsinn des Ganzen.

 

[end0fseven]

Und wie sieht die Umweltbelastung aus? Dieses übertriebene Aufbauen in Rechenzentren obwohl vielleicht doch nicht ganz der Markt und die Nutzerzahlen da ist? Keine Frage, KI wird bleiben, aber für 90% der Leute tun es auch Lokale KIs.im Form von Bildbearbeitung und Co. oder einfache LLMs?

Aber wie bereits @Axxid geschrieben hat, das Beispiel mit dem Krater finde ich sehr passend!

 

[lazsniper]

Auslagern von Leistungen auf den Kunden und ausweichen auf Fremdanbieter, weil die Modelle austauschbar sind. Läuft wohl nicht so rund das Geschäft.

500 millionen ARR, ne so gut läuft das net 😅

zum thema: finde den gedanken super, weil er zeigt, dass ki nicht nur leistungsfähiger, sondern auch smarter eingesetzt werden kann. wenn damit schnellere ergebnisse, geringere kosten und besserer datenschutz möglich werden profitieren am ende alle nutzer davon...

 

[Tzk]

Scheint so, dass die KI Firmen langsam merken, dass man mit purem verbrennen von Geld nicht weiter kommt, weil alle Mitbewerber ordentlich Geld nachschießen… ursprünglich hatte man wohl geglaubt, dass irgendwem zuerst das Geld ausgeht.

Jetzt muss man die Leistungen begrenzen um nicht komplett zu versinken und pleite zu gehen. Was wir sehen ist Enshitification und gesundschrumpfen des marktes.

 

[ragnarok666]

Bin gespannt wie lange es noch dauert, bis klar wird für welche Aufgaben Tokens von Hochleistungsmodellen aus Rechenzentren + Mindestlohn "Promptingenieur" teurer sind, als erfahrene menschliche Mitarbeiter + lokale, leistungsbeschränkte KI - bei vergleichbaren Wert des Endergebnisses.

 

[SHEG]

Großes Problem sehe ich such bei den Nutzern. Selbst optimierte Modelle sind bei einer Vielzahl von Alltagsaufgaben ineffizienter als "oldschool" Algorithmen.

KI wird aktuell als das Allheilmittel für alles am Computer verkauft - und langsam glauben die Leute das auch. Dabei wird verkannt, dass viele Nutzer gar keinen Überblick haben, welche Möglichkeiten ein Computer bietet, um dieselbe Aufgabe auf verschiedenste Weise zu erledigen. Das birgt die Gefahr, dass zukünftig KI bemüht wird, um 2+2 auszurechnen. Das ist unnötig ineffizient. Man könnte auch Excel nehmen... oder den Taschenrechner... oder selber kurz nachdenken und merken, dass das Problem doch gar nicht so schwer ist.

 

[Majestro1337]

Hmm... Also aktuell ist ja vor allem der ki boom dafür verantwortlich, dass sich schnellere, lokale Hardware nicht mehr so schnell verbreitet

 

[tiga05]

Ja. Blabla. Alles gut und richtig soweit.

Aber 4.6 Sonnet oder irgendeine alte GPT Variante reicht halt nicht auf Dauer.
Die aktuellen Frontier Modelle haben halt nochmal deutlich bessere Antworten, wenns drauf ankommt. Ich versuche ja schon immer pragmatisch günstig zu Fragen. Aber wenn man im normalen Abo halt nichts mehr gutes anzubieten hat, ist man halt irgendwann weg vom Fenster, wenn man punktuell nicht Top Leistung bringen kann.

Gleiches beim GitHub Copilot Abo. Das günstigste Abo für nen 10er kann man jetzt vergessen. Da kann man gleich zu Anthropic gehen.
Im Planning Opus 4.6/4.7/4.8 und für die Umsetzung (wenn dann aufgrund der Anleitung quasi nix mehr schief gehen kann) irgendwas günstiges.

Aber die aktuelle Auswahl bei Perplexity ist auf Dauer nicht haltbar.

 

[LamaMitHut]

... Während eine KI Ressourcen benötigt besteht der Taschenrechner natürlich nur aus Luft und Liebe.

...

 

[BeBur]

Großes Problem sehe ich such bei den Nutzern. Selbst optimierte Modelle sind bei einer Vielzahl von Alltagsaufgaben ineffizienter als "oldschool" Algorithmen.

Die Modelle rufen sowieso schon häufig einfach ganz normale Algorithmen auf für diverse Aufgaben (z.B. Konvertierungen), das wird sich sicherlich noch ausweiten.

Wie stehen die Chancen, dass einige Modelle in Hardware gegossen werden in den nächsten 10 Jahren und dann auf Smartphones verbaut werden? Dürfte schwierig sein, die Gewichte zu extrahieren und man kann sehr energieeffizient auch große Modelle ausliefern.

 

[Raul99]

... Während eine KI Ressourcen benötigt besteht der Taschenrechner natürlich nur aus Luft und Liebe.

...

Sheg sprach ja von effizient mit diesem Beispiel. Und ja in den 90er brauchte mein Taschenrechner in der Schule nicht Luft, sondern das Licht aus dem Klassenzimmer reichte....
Nicht über Nacht aufladen oder ein Netzteil, Kein w-lan und vor allem hat er immer korrekt Ergebnisse geliefert


Zur News selber, finde ich eine der besten Erkenntnisse die man von ki Anbieter in letzter Zeit gelesen hat. Aber wenn man teilweise lokal beim Kunden auf dem PC berechnen lässt, warum sollten die dann ein Abo bezahlen und nicht eine open source selbst betreiben?

 

[MountWalker]

Ob das auf dem Lokalmodell resourcenschonender sei, finde ich irgendwie intuitiv ziemlich fragwürdig. Resourcenschonender für den Anbieter vielleicht, weil im lokalen Modell nicht die CPU-Zeit und RAM-Platz des Anbieters sondern die des Verbrauchers genutzt werden.

 

[SirSilent]

Was wir sehen ist Enshitification und gesundschrumpfen des marktes.

Das wird nicht passieren. Ein Gesundschrumpfen gibt es nicht, der Markt wird irgendwann mit einem lauten Knall implodieren. Wehe dem, der sein Portfolio vorher nicht vergoldet hat.
Hardware wird es danach für eine Weile wahrscheinlich fast umsonst geben.

 

[Aslo]

Jo klar, würde auch zuerst auf den Preis schauen wenn ich mich nach einem kostenpflichtigen Abo umschauen würde.

 

[BeBur]

Und ja in den 90er brauchte mein Taschenrechner in der Schule nicht Luft, sondern das Licht aus dem Klassenzimmer reichte....

Dafür hat damals jede Glühbirne mit 50+ Watt geballert.

Ein Gesundschrumpfen gibt es nicht, der Markt wird irgendwann mit einem lauten Knall implodieren.

Wie kommst du darauf? KI schafft ja durchaus viel Mehrwert, das Problem ist halt nur, dass KI Nutzung teuer ist.

 

[SHEG]

Die Modelle rufen sowieso schon häufig einfach ganz normale Algorithmen auf

Du hast definitiv recht damit!

Allerdings bin ich vielleicht etwas kleinlich und hatte zusätzlich den "Overhead" im Kopf, weil das Modell die Aufgabe erst erkennen, zuordnen und dann das Ergebnis aufbereitet wiedergeben muss. Sind vermutlich nur wenige micro- oder nano-Wh aber eben eigentlich nicht notwendig.

(Man könnte natürlich die Zeit gegenrechnen, die alle Komponenten des PCs inkl. Monitor länger laufen müssen, weil der Nutzer selbst die Lösung finden will. Dann sieht es für KI vielleicht nicht mehr ganz so schlecht aus. )