News Wachsende Zahl von Verfahren: OpenAI in den USA erneut wegen Suizidfall angeklagt

[mischaef]

Eine Mutter aus den USA hat Klage gegen OpenAI wegen des Suizids ihrer 24-jährigen Tochter eingereicht. Sie wirft dem Unternehmen vor, mit der Gestaltung von ChatGPT eine gefährliche emotionale Abhängigkeit gefördert und trotz erkennbarer Suizidgefährdung keine ausreichenden Kriseninterventionen ausgelöst zu haben.

Zur News: Wachsende Zahl von Verfahren: OpenAI in den USA erneut wegen Suizidfall angeklagt

 

[quakegott]

Wird langsam Zeit das hier vernünftige Gesetze gemacht werden die den Spuk beherrschbar machen. Alle sind im KI-Fieber und vergessen hier immer wieder die Schattenseiten dieser Technologie...

 

[dominiczeth]

Schwieriges Thema, aber ich würde ChatGPT nicht allein die Schuld geben. Was ist mit nahen Angehörigen? Warum öffnen sich Menschen so selten gegenüber anderen? Das ist doch eher das Problem.

 

[mmdj]

kann jemand sagen wie genau der chatbot den suizid unterstützt hat? gehts es hierbei um sowas wie "dieses medikament sorgt dafür, dass man keine schmerzen mehr spürt und wenn man 10x nimmt dann kann etwas schlechtes passieren"

ich denke es geht weniger in richtung -> "wenn du wirklich keine lust mehr auf dein leben hast dann wäre es besser es zu beenden weil das leben ist voller gefahren"

ausserdem ist es doch nichts neues, dass viele menschen psychisch belastet sind. wir leben im ständigen zeit und leistungsdruck. durch den onlinezugriff fängt der vergleich mit anderen erst recht an. die algorithmen zeigen nur noch das was man sehen will.

meine freunde fangen schon damit an "wieso sind die mit 20 jahren schon millionär und fährt xy autos, ist auf dubai" etc. zum kotzen

 

[OpticalFiber]

Sehr gut, erst wenn die Straffen bis in die Milliarden höhe gehen, erst dann verstehen es Tech unternehmen das sie das Produkt weiter verbessern oder ändern müssen. Anders würden sie es nicht verstehen. Geld ist immer schmerzhaft.

 

[knoxxi]

Puh, schweres Thema, das mich emotional gerade hart trifft.

 

[supertramp]

Eine traurige schöne neue Welt.

 

[steirerblut]

Unabhängig von der Anzahl (900 M Wöchentliche Benutzer vs 0,56 M Nutzer mit Anzeichen schwerer psychischer Krisen) sollte die KI an der Stelle hier direkt auf Nationale Krisen-Hotlines verweisen bzw. hier besser mit den Organisationen zusammengearbeitet werden. Also nicht Chatlogs analyiseren sondern den Zugang zu ordentlicher Betreuung durch klare Referenzen erleichtern.

KI kann menschliche Krisenintervention grundlegend nicht ersetzen weil KI eben keine echten Emotionen versteht / nur Muster erkennt, KI durch "Sycophancy" dazu neigt negative/positive Emotionen zu bestätigen, KI keine Verantwortung oder Konsequenzen kennt und vor allem weil geschriebene Worte immer eine breite Interpretation zulassen werden.
Ich hab GPT 5.5 im Frust auch schon derbe Beleidigungen und Konsequenzen an den Kopf geworfen weil das Ergebnis um 03:00h Morgens komplett an der Anforderung vorbei ging. Zwar noch nicht in dem Ausmaß das mir Krisen Hotlines empfohlen wurden aber durchaus mit Böswilliger Absicht.
Wenn mir der Output nicht gefällt Hämmer ich den Frust kurz gegen des Modell und erzeuge dann mit /clear einfach ne neue Session.

Ich finde es aber gut das die neueren Modelle wesentlich weniger Emotional geworden sind und auf Emotionalen User Input gar nicht mehr eingehen oder gezielt ausblenden. Die "Probability Machine" sollte sich sich auf ihre Kompetenz konzentrieren, Menschliche Emotionen sind eben keine Wahrscheinlichkeiten.

 

[Wilfriede]

Hier trifft die KI keine Schuld, ich kenne leider auch Menschen die Selbstmord machten. Die hatten noch nicht einmal Internet. Es sind andere Gründe, aber schlimm ist es immer.

 

[Oshibeats]

Leider wird das Leben immer Sinnloser, ich überlege auch schon öfter ik was für eine Welt wir leben mit voller Ao Abhängigkeit und die Social Skills der Menschen lassen auch immer mehr mach, denke immer öfter dass es besser wäre zu gehen. Wenn ich jetzt noch ChatGpt frage kann die mich natürlich bestärken, aber das Problem ist ja auch ohne gpt vorhanden, alles eine Fake Welt

 

[Sun_set_1]

kann jemand sagen wie genau der chatbot den suizid unterstützt hat?

Hat er anscheinend nicht. Es geht in dem Sinne mehr um unterlassene Hilfeleistung.
Die KI hätte die schwere der Situation erkennen und an einen Menschen weiterleiten sollen, hat sie aber nicht. Das ist der Kern des Vorwurfs.

 

[Ironbutt]

Wir haben uns hier Konstrukte geschaffen bei denen die Hersteller Geld verdienen, solange die Nutzer damit interagieren. Und um das zu erreichen ist den Herstellern jedes Mittel recht, Soziale Medien haben das schon weitestgehend perfektioniert, wobei sie auf Content Creator angewiesen sind um die abermillionen an Katzenvideos zu erstellen, zwischen den Werbeeinblendungen. OpenAi ist wahrscheinlich noch dabei die Kotzgrenze der Erträglichkeit zu finden.

Sicher alles nützliche Werkzeuge, wenn sie sich denn auch wirklich wie welche verhalten würden...

 

[JanMH]

Das liest sich für mich ungefähr so: wir (der Anbieter) haben 900000000 Nutzer. Was interessieren uns da potentiell 560000 Suizide.
Weiterhin liest es sich so: wir (der Anbieter) verbessern doch ständig unsere Modelle. Also hört bitte auf uns zu belästigen, es kommt halt beim Verbesserungsprozess vor, das ein paar Menschen auf der Strecke bleiben. Später wird alles gut. Alles für das höhere Wohl.

Wirklich herrlich, die Allgemeinplätze, die hier von der Presseabteilung abgesondert wurden. Wahrscheinlich auch mit "KI" erstellt.

Warum wird hier von Seiten des Staates nicht hart durchgegriffen, und ordentliche Auflagen erteilt?
Achja, DIESE US-Regierung...

 

[jo89]

Wie genau stellt eine KI fest ob der Benutzer psychisch krank sein soll?
Und ab wann gilt man als psychisch krank? Und wer stellt fest ob eine Psyche krank ist, oder nur von der „Norm“ abweicht?

Das sind fragen die man sich vielleicht als erstes stellen sollte.

 

[~Rake~]

Ich sehe hier ehrlich gesagt in naher Zukunft einen gewaltigen Vorteil durch die KI. Sind wir doch mal ehrlich, unsere psychische Gesundheitsvorsorge ist komplett überlastet. Menschen die sie dringend brauchen müssen viel zu lange auf Hilfe warten - und die Hürden (jede noch so kleine Hürde ist in so einer Situation zuviel!) sind viel zu hoch. Solche Menschen haben keine Kraft sich darüber zu informieren wo sie vielleicht irgendwann einmal, nach zig Versuchen, Hilfe bekommen könnten.

Früher oder später wird hier eine ausgereiftere KI das Krisenmanagement übernehmen - in ganz ferner Zukunft sogar die komplette Behandlung. Davon bin ich absolut überzeugt.

 

[kusne]

weil KI eben keine echten Emotionen versteht

das ist einfach nur gegensätzlich falsch.

 

[Taxxor]

kann jemand sagen wie genau der chatbot den suizid unterstützt hat? gehts es hierbei um sowas wie "dieses medikament sorgt dafür, dass man keine schmerzen mehr spürt und wenn man 10x nimmt dann kann etwas schlechtes passieren"

So wie ich das lese ging es ja wirklich nur darum, dass er den Fall nicht an menschliche Mitarbeiter zur Prüfung weitergeleitet hat, nachdem in den Gesprächen der suizidale Zusammenhang klar geworden ist.

Verstehe aber auch nicht, wie das hier für eine Klage reichen soll. Es wurde empfohlen sich an eine Hotline zu wenden, mehr kann eine KI doch nicht tun, er kann die Menschen schlecht zu irgendwas zwingen.

 

[swage]

Ist ein sehr schwieriges Thema. Wir alle sollten wissen das wie Informationskanäle kritisch zu bewerten haben, von Maschine oder sonstwo. Natürlich leben sehr viele Menschen von der Leichtgläubigkeit ihrer Mitmenschen. Viele Politiker auch. Das Problem scheint mir gesellschaftlich und viel tiefer zu gehen und auch einen globalen Charakter zu zeigen.

Jedenfalls klingelt bei mir mehr als nur eine Alarmglocke wenn Schutzbefohlene zwar Screenshots von Chatbot Interaktionen vorweisen können aber denen ansonsten die Situation völlig entglitten ist.

Ich esse keine Steine, ganz gleich wer mir versucht das zu vermitteln. Aber der kritische und nüchterne Blick scheint immer seltener zu werden dieser Tage. Fast möchte man meinen das er mit einer mir Vollgas in den Abgrund Mentalität konkurriert und verliert.

Die Maschinen erzählen weniger Unsinn als vor einem Jahr, die Sicherheitsnetze werden dichter aber nichts ist perfekt und wird es nie sein. War es auch vorher nicht. Es scheint sich mir hier eher um einen zum scheitern verurteilten Kreuzzug zu handeln. Der Djinn ist aus der Flasche und wird nicht mehr zurückkehren.

Ja, es gibt verdammt viele Leute mit besonderen Umständen da draußen. Daran ändert auch Ki nichts. Aber sie unterstreicht es. Techkonzerne will ich nicht in Schutz nehmen, die richten auf anderen Ebenen noch weitaus größere Schäden an.

 

[Jolly91]

Die KI ist da um zu helfen, nur den Rahmen sollte man definieren. Sie passt sich deiner Position an und versucht dies bestmöglichst zu verteidigen. Ein Rezept mit Ölen (Wallnuss-, Traubenkern-, Avocado-, Oliven-, Haselnuss Öl), und am Ende bekommst du 5x10ml, daraufhin die Antwort auf die Frage ob das nicht tödlich wäre, stimmt Sie haben Recht. Ob man so eine 50ml Ölmischung runter bekommt sei mal dahin gestellt, aber KI ist ein Werkzeug. Der Benutzer entscheidet wie man es nutzt.

Die Frage ist ja, wäre ein Vergleich zu einer normalen Suchmaschine möglich? Und ja, ich mag die KI nicht, nutze Sie jedoch für spezifische Zwecke und in der freien Version sollte man ab und zu sowieso den ganzen Chat löschen weil danach nichts mehr zusammen passt. Irgendwann wird der Noiseblocker Lüfter zum Noctua Lüfter und bei BeQuiet hört die Freundschaft auf.

 

[DonDonat]

Passt damit wunderbar zu https://www.computerbase.de/news/wi...enn-der-ai-overview-falsches-behauptet.97837/

Jeder "KI" Anbieter ist haftbar für seinen Käse und weil es hier um so viele Mrd. geht, müssen die Strafen für einen Mangel am Ende auch hoch ausfallen, sonst lernen es die Manager nicht.

kann jemand sagen wie genau der chatbot den suizid unterstützt hat?

In welchem Fall? Welcher Chatbot? Wo? Im Artikel werden mehrere Vorkommen genannt, so dass deine Frage hier leider nicht eindeutig ist.

Generell gibt es tatsächlich Fälle, wo wir aus Gerichtsakten wissen, dass ein Chatbot aktiv einem depressiven geraten hat "bring dich um". Es gibt auch Fälle, wo dass eher semi-aktiv passiert weil der Chatbot halt einfach alles bestätigt was der Nutzer möchte. Wo genau ein spezieller Fall liegt, musst du den Gerichtsakten oder Zusammenfassungen der Gerichtsakten der speziellen Fälle entnehmen.

Alle diese Fälle sind aber gleich problematisch, weil Nutzer die Depression haben nun mal alle sehr verwundbar sind und es letztlich egal ist, wie aktiv der Zuspruch ist, es darf diesen halt einfach nicht geben. Punkt.

Daher ist dein dritter, etwas verharmlosender Abschnitt hier auch überhaupt nicht passend: es geht aktiv darum, dass ein voll automatisches Tool Selbstmord fördert. Es geht nicht um Leistungsdruck der Gesellschaft, Einsamkeit der Gesellschaft, Mangel an Empathie der Familie/Gesellschaft etc.

All diese Dinge kann der Chatbot nicht lösen und der Betreiber will es auch gar nicht. Im Gegenteil: er möchte dass du möglichst viel Zeit mit dem Chatbot verbringst weil ihm dass potenziell Geld bringt...

Was einfach mal das komplette Gegenteil eines Psychologen ist, der möchte dich so gut wie möglich geistig gesund sehen.

Auch wenn gerade konservative hier gerne mal behaupten "Die sind unnötig, wollen nur Geld! Sei Tough!", sieht die Realität halt einfach anders aus. Und ja, in den USA ist dass mit dem Gesundheitssystem etwas schwerer als hier, aber auch hier haben wir ja leider einen Mangel an Psychologen und mehr noch einen Mangel an Verständnis gerade in den vorher genannten konservativen Lagern...

Jeder brauch mal psychologische Hilfe (inklusive mir und dir) und je mehr wir die "Technik" überlassen, desto wahrscheinlicher wird dass die Depressions- und Suizid-Rate weiter steigt.

Konstruktiv gesehen, müsste OpenAI, Google & Co. hier für ihre Chatbots intern ein Parameter mit-schleifen, dass die Wahrscheinlichkeit für eine Depression misst. Dass wiederum müsste äußerst kritisch eingestellt sein, so dass man schon bei sehr geringer Wahrscheinlichkeit den Modi der Konversation ändert und aktiv auf psychologische Hilfe hinweist ohne dabei den Nutzer zu bestätigen.

Klar wird sowas nicht perfekt sein und eine gewisse Rest-Fehler-Wahrscheinlichkeit haben... Aber besser als die jetzigen Lösungen wäre es alle male...