Character.AI, confronté à une pression juridique croissante en raison de ses dommages potentiels à la santé mentale des adolescents, modifie son approche envers les utilisateurs mineurs. La plateforme interdira les discussions textuelles ouvertes aux moins de 18 ans, les orientant plutôt vers une nouvelle expérience contrôlée appelée « Histoires ». Cette décision fait suite à plusieurs poursuites judiciaires alléguant que les interactions de l’IA avaient contribué à la détresse mentale, dont une affaire liée au suicide d’un adolescent.
Nouvelles restrictions et format “Stories”
À partir du 25 novembre, les adolescents n’auront plus un accès illimité à la fonctionnalité de chat de la plateforme. Character.AI considère cela comme une mesure temporaire pendant qu’ils développent des outils de vérification de l’âge. Cependant, le remplacement immédiat est « Histoires », un format de choix de votre propre aventure dans lequel des personnages IA guident les utilisateurs à travers des récits prédéfinis.
La société présente les « Histoires » comme une amélioration destinée aux jeunes utilisateurs, en soulignant sa nature structurée par rapport aux discussions de forme libre. Les utilisateurs sélectionnent des personnages et des genres, avec la possibilité d’écrire leurs propres invites d’histoire ou de laisser l’IA les générer. L’expérience comprend des images générées par l’IA, avec des plans pour s’étendre à des « éléments multimodaux » plus immersifs.
Pourquoi c’est important
Ce changement reflète les préoccupations croissantes concernant l’impact des interactions de l’IA sur les utilisateurs vulnérables. Les discussions ouvertes et non supervisées avec l’IA peuvent exposer les adolescents à des contenus préjudiciables ou renforcer des comportements malsains, entraînant une détresse psychologique. Les poursuites contre Character.AI mettent en évidence les conséquences concrètes de ces risques.
Cette décision signale également une tendance plus large : les entreprises technologiques sont de plus en plus surveillées pour réglementer les interactions avec l’IA, en particulier concernant les mineurs. Bien que « Stories » offre un environnement plus contrôlé, il soulève également des questions sur la censure, l’autonomie des utilisateurs et s’il s’agit d’une véritable solution ou d’une réponse axée sur les relations publiques aux menaces juridiques.
La décision de Character.AI est une réponse directe à la pression juridique et publique, démontrant la responsabilité croissante des plateformes d’IA à l’égard du bien-être de leurs utilisateurs. Les implications à long terme de ce changement restent à voir, mais il crée un précédent clair : Les entreprises d’IA doivent prendre en compte les risques associés à leurs produits, en particulier lorsqu’elles traitent avec un public mineur.
