News Google mit zwei „P“: Wie der AI Overview beim Buchstabieren scheitert

[M@tze]

Also das Zählen von Buchstaben ist da noch das kleinste Problem von Gemini. Das Halluzinieren ist immer noch übel und vor allem die anscheinend nicht vorgesehene Funktion "Das weiss ich nicht" zu sagen - Alexa und Siri können das ja auch.

Neulich erst eine Anfrage gemacht, weil es um die zentrale Konfiguration einer Software ging.

"diese ist im Pfad "/blabla/bla" in der Datei mit der Endung ".vshrd" abgelegt"
"Diese Datei existiert bei mir nicht"
"Doch, die muss da liegen"
"Was soll das für eine Datei sein, die Endung .vshrd kenne ich gar nicht"
... denk ...
"Oh ja, diese Endung existiert gar nicht"
"Danke für nichts..."

Gerne werden auch komplett neue Java/Python Funktionen erfunden oder Sachen vorgeschlagen, die in meiner Version (welche ich bei der Anfrage mitgegeben habe) gar nicht (mehr/noch nicht) existieren.

Falls das klappen tun täte, wäre die I wirklich K, aber so. . .?😃

Ich nehme an, Du meinst das andersherum, weil so macht das keinen Sinn? 😉

"... dann wäre die Intelligenz wirklich künstlich"
"... dann wäre die Künstliche wirklich intelligent"
🤷‍♂️

Bild ist von @Mordi, aber das muss hier in den Thread einfach rein. ^^

Darum wird ComputerBild auch bei dieser Antwort verlinkt.

Solange Computerbild und Reddit als "seriöse" Quellen einbezogen werden... 🤔 🤪 🤦‍♂️

 

[MariaDocks]

Ähm, ich weiß gar nicht was ihr alle habt.
Seit wann wird Google nicht mehr mit zwei "P" geschrieben? Das sind doch stumme 'P's😉

Aber im Ernst; Seit Beginn der ganzen KI-Geschichte Frage ich mich warum verschiedenste LLM's es nicht schaffen von der Wahrscheinlichkeit in wissenschaftliche Fakten zu schalten. Wenn quasi Buchstaben gezählt werden sollen oder Logikrätsel gelöst.
Anhand der Frage, nach Anzahl von Buchstaben, ist ja erstmal am wahrscheinlichsten das man gerne eine Analyse hätte wo es keine Wahrscheinlichkeiten geben kann.
Ist die Wahrscheinlichkeit erkannt könnte man doch locker in einen Kalkulationsmodus schalten in der statt KI eben der reine Rechner antwortet.

Oder wiederspricht das irgendwie den Grundlagen einer KI?

 

[M@tze]

Nachdenken und zählen. Wenn man das nicht tut, oh schreck, dann rät man. Die KI ahmt hier den menschlichen Gedankenprozess nach und wenn du nicht zufälligerweise auswendig gelernt hast, wie viele Buchstaben in einem bestimmten Wort stehen, dann weißt du es auch nicht. Das ist hier kein KI-exklusives Problem, sondern es geht darum, welches Wissen man plausibler Weise auswendig verfügbar hat.

Da hast Du völlig Recht, aber der Unterschied ist, dass die meisten Leute auf Antworten von einem Mensch nicht mit absoluter Hörigkeit reagieren und dann vielleicht selber nochmal überlegen. Bei KI ist das bei Vielen aber nicht mehr der Fall - wenn die das sagt, scheint das ja zu stimmen. 🤷‍♂️

 

[qualle]

Oder wiederspricht das irgendwie den Grundlagen einer KI?

Das Problem ist glaube ich, dass eine KI sich dafür selber fehlerfrei programmieren können müsste - und das ist zurzeit noch nicht der Fall, wenn nicht noch ein Profi drüberschaut.

 

[interesTED]

Ähm, ich weiß gar nicht was ihr alle habt.
Seit wann wird Google nicht mehr mit zwei "P" geschrieben? Das sind doch stumme 'P's😉

Aber im Ernst ...

Oder wiederspricht das irgendwie den Grundlagen einer KI?

Genau das passiert auch schon seit längerem bei allen. Wenn KI mathematische Berechnungen vornehmen sollen, schreiben sie sich selbst erst Code, der das dann macht bspw. Das hier dargestellte Beispiel ist artifiziell und nicht repräsentativ für den aktuellen Stand im Bereich KI.

 

[MariaDocks]

@interesTED
Wieder was dazu gelernt.

Jedenfalls kam ChatGPT (free Version) bis vor 2 Wochen mit einem Sudoku ähnlichen Zahlenrätsel nicht zurecht.
Mal eine andere KI befragen.

 

[qualle]

Sudoku zählt leider zu einem der rechenaufwändigsten Probleme (vergleichbar mit Schachspielen). Auch, wenn einige Kombinationen ausgeschlossen werden können, gibt es keinen günstigen, algorithmischen Ansatz, um nicht alle der ca. 6,7 Trilliarden Möglichkeiten durchprobieren zu müssen (ich meine, es ist sogar "NP"-schwer bzw. -vollständig). Immerhin kann sich die KI für das Problem aber leicht selbst ein Code-Snippet schreiben und zum Lösen heranziehen. Notfalls muss man es ihr sagen.

 

[alyk.brevin]

Buchstaben einzeln wahrnehmen tun wir auch erst dann wenn es tatsächlich erforderlich ist, zB. beim Buchstabieren. Damit wir das können mussten wir erst mal paar Jahre die Schulbank drücken.

menschen lernen wörter buchstabe für buchstabe. llms lernen wörter token für token. wenn man nach buchstabierung fragt (wird ja nun schon seit jahren gemacht), dann ist es ja offensichtlich auch erforderlich, dass llms auch buchstabieren lernen müssen.

man könnte ja für jedes token noch passende vektoren für buchstaben hinzufügen:
"goo" ist im vektorraum direkt neben "g" mit "1" und "o" mit "2", und weit weg von "p".

somit kann die frage nach "wieviele p in google?" zumindest ergeben "google hat die buchstaben 1*g und 2*o und 1*g und 1*l und 1*e, aber kein p." ohne thinking.

Die kI kann keine Buchstaben zählen?

sprache besteht nun mal aus buchstaben und sprachmodelle sind dafür da, sprache zu verstehen und passende texte zu generieren. und computer sollten ganz gut im addieren von ganzzahlen sein. also wenn es rein über token (wie oben gezeigt) nicht funktionieren sollte, dann soll halt noch eine echte rechnung stattfinden als nur dumm text auszuspucken.

 

[qualle]

menschen lernen wörter buchstabe für buchstabe.

Das ist so nicht ganz korrekt und zu pauschal... Schau dir einmal an, wie Grundschüler in der Schule schreiben (oder von mir aus auch im KiGa):

• nähmlich
• wider
• schnel
• muß

• viel und fiel
• Medchen
• Hende

• Zuhause
• mädchen

Hier ist eine Übersicht. Und dabei sind wir noch nicht bei Wörtern wie Cappuccino oder Regisseur oder Lexiken.

Was ich sagen möchte, auch Menschen lernen am Anfang (später eigentlich auch noch) in kleinen Chunks bzw. Token (wobei Token nur eine andere Bezeichnung für eine spezielle Metrik darstellt). Buchstabe-für-Buchstabe lernt eigentlich keiner.

 

[alyk.brevin]

also ich habe noch hefte aus der grundschule mit seitenweise einzelnen buchstaben.
schreiben nach gehör hat es bei uns zum glück nicht gegeben (https://de.wikipedia.org/wiki/Jürgen_Reichen).

 

[qualle]

Das ist mittlerweile aber überall so.

Ergänzung (Donnerstag um 20:18)

Ich meinte das so, man liest nicht nur einzelne Buchstaben... Man liest Silben, Wörter oder sogar ganze Sätze "in einem Rutsch". Man könnte auch sagen, wir sehen ein Bild und unser Kopf macht einen (simplen) Bildvergleich. Einzelne Buchstaben werden bewusst erst erkannt, wenn Wörter noch neu sind. Es ging also weniger um didaktische Konzepte in der Schule, als mehr um Wahrnehmungspsychologie usw.