Character.AI sieht sich zunehmendem rechtlichen Druck wegen seiner potenziellen Schädigung der psychischen Gesundheit von Teenagern ausgesetzt und verlagert seinen Ansatz auf minderjährige Benutzer. Die Plattform wird offene Text-Chats für Personen unter 18 Jahren verbieten und sie stattdessen auf ein neues, kontrolliertes Erlebnis namens „Stories“ umleiten. Dieser Schritt erfolgt, nachdem mehrere Klagen eingereicht wurden, in denen behauptet wurde, die Interaktionen der KI hätten zu psychischen Belastungen beigetragen, darunter ein Fall im Zusammenhang mit dem Selbstmord eines Teenagers.
Neue Einschränkungen und das „Stories“-Format
Ab dem 25. November haben Jugendliche keinen uneingeschränkten Zugriff mehr auf die Chat-Funktion der Plattform. Character.AI stellt dies als vorübergehende Maßnahme dar, während sie Tools zur Altersüberprüfung entwickeln. Der unmittelbare Ersatz ist jedoch „Stories“, ein Format zur Auswahl eines eigenen Abenteuers, bei dem KI-Charaktere Benutzer durch vordefinierte Erzählungen führen.
Das Unternehmen stellt „Stories“ als Erweiterung für jüngere Nutzer dar und betont den strukturierten Charakter im Vergleich zu den Freiform-Chats. Benutzer wählen Charaktere und Genres aus und haben die Möglichkeit, ihre eigenen Story-Eingabeaufforderungen zu schreiben oder diese von der KI generieren zu lassen. Das Erlebnis umfasst KI-generierte Bilder und soll um immersivere „multimodale Elemente“ erweitert werden.
Warum das wichtig ist
Diese Verschiebung spiegelt wachsende Bedenken hinsichtlich der Auswirkungen von KI-Interaktionen auf gefährdete Benutzer wider. Unbeaufsichtigte, offene Chats mit KI können Jugendliche schädlichen Inhalten aussetzen oder ungesunde Verhaltensweisen verstärken, was zu psychischem Stress führt. Die Klagen gegen Character.AI verdeutlichen die realen Konsequenzen dieser Risiken.
Der Schritt signalisiert auch einen breiteren Trend: Technologieunternehmen stehen zunehmend unter Beobachtung, um KI-Interaktionen zu regulieren, insbesondere im Hinblick auf Minderjährige. Während „Stories“ eine kontrolliertere Umgebung bietet, wirft es auch Fragen zu Zensur, Benutzerautonomie und ob es sich hierbei um eine echte Lösung oder eine PR-gesteuerte Reaktion auf rechtliche Bedrohungen handelt.
Die Entscheidung von Character.AI ist eine direkte Reaktion auf rechtlichen und öffentlichen Druck und zeigt die wachsende Verantwortung von KI-Plattformen für das Wohlergehen ihrer Benutzer. Die langfristigen Auswirkungen dieser Verschiebung bleiben abzuwarten, aber sie schafft einen klaren Präzedenzfall: KI-Unternehmen müssen sich mit den mit ihren Produkten verbundenen Risiken befassen, insbesondere im Umgang mit minderjährigen Zielgruppen.
