Character.AI, geconfronteerd met toenemende juridische druk vanwege de potentiële schade aan de geestelijke gezondheid van tieners, verschuift zijn benadering naar minderjarige gebruikers. Het platform zal tekstchats met een open einde verbieden voor mensen onder de 18 jaar, maar hen in plaats daarvan naar een nieuwe, gecontroleerde ervaring sturen die ‘Verhalen’ heet. Deze stap komt na meerdere rechtszaken waarin wordt beweerd dat de interacties van de AI hebben bijgedragen aan psychische problemen, waaronder één zaak die verband hield met de zelfmoord van een tiener.
Nieuwe beperkingen en het formaat ‘Verhalen’
Vanaf 25 november hebben tieners niet langer onbeperkte toegang tot de chatfunctie van het platform. Character.AI beschouwt dit als een tijdelijke maatregel terwijl ze hulpmiddelen voor leeftijdsverificatie ontwikkelen. De onmiddellijke vervanging is echter ‘Verhalen’, een format waarin je je eigen avontuur kunt kiezen waarin AI-personages gebruikers door vooraf gedefinieerde verhalen leiden.
Het bedrijf presenteert “Stories” als een verbetering voor jongere gebruikers, waarbij de nadruk wordt gelegd op het gestructureerde karakter ervan in vergelijking met de vrije chats. Gebruikers selecteren personages en genres, met de optie om hun eigen verhaalaanwijzingen te schrijven of deze door de AI te laten genereren. De ervaring omvat door AI gegenereerde beelden, met plannen om uit te breiden naar meer meeslepende ‘multimodale elementen’.
Waarom dit belangrijk is
Deze verschuiving weerspiegelt de groeiende bezorgdheid over de impact van AI-interacties op kwetsbare gebruikers. Onbewaakte, open chats met AI kunnen tieners blootstellen aan schadelijke inhoud of ongezond gedrag versterken, wat kan leiden tot psychologische problemen. De rechtszaken tegen Character.AI benadrukken de reële gevolgen van deze risico’s.
Deze stap duidt ook op een bredere trend: technologiebedrijven staan onder toenemende druk om AI-interacties te reguleren, vooral met betrekking tot minderjarigen. Hoewel ‘Stories’ een meer gecontroleerde omgeving biedt, roept het ook vragen op over censuur, gebruikersautonomie en of dit een echte oplossing is of een PR-gedreven antwoord op juridische bedreigingen.
Het besluit van Character.AI is een directe reactie op juridische en publieke druk en toont de groeiende verantwoordelijkheid van AI-platforms voor het welzijn van hun gebruikers. De gevolgen van deze verschuiving op de lange termijn moeten nog worden bezien, maar het schept een duidelijk precedent: AI-bedrijven moeten de risico’s aanpakken die aan hun producten zijn verbonden, vooral als ze te maken hebben met een minderjarig publiek.
