Character.AI, que enfrenta una creciente presión legal por su daño potencial a la salud mental de los adolescentes, está cambiando su enfoque hacia los usuarios menores de edad. La plataforma prohibirá los chats de texto abiertos para menores de 18 años y, en su lugar, los dirigirá hacia una experiencia nueva y controlada llamada “Historias”. Esta medida se produce después de múltiples demandas que alegan que las interacciones de la IA contribuyeron a la angustia mental, incluido un caso relacionado con el suicidio de un adolescente.
Nuevas restricciones y el formato “Historias”
A partir del 25 de noviembre, los adolescentes ya no tendrán acceso ilimitado a la función de chat de la plataforma. Character.AI está enmarcando esto como una medida temporal mientras desarrollan herramientas de verificación de edad. Sin embargo, el reemplazo inmediato son las “Historias”, un formato de elige tu propia aventura donde los personajes de IA guían a los usuarios a través de narrativas predefinidas.
La compañía presenta “Historias” como una mejora para los usuarios más jóvenes, enfatizando su naturaleza estructurada en comparación con los chats de formato libre. Los usuarios seleccionan personajes y géneros, con la opción de escribir sus propias indicaciones de la historia o dejar que la IA las genere. La experiencia incluye imágenes generadas por IA, con planes de expandirse a “elementos multimodales” más inmersivos.
Por qué esto es importante
Este cambio refleja las crecientes preocupaciones sobre el impacto de las interacciones de la IA en los usuarios vulnerables. Los chats abiertos y no supervisados con IA pueden exponer a los adolescentes a contenido dañino o reforzar conductas poco saludables, lo que genera angustia psicológica. Las demandas contra Character.AI resaltan las consecuencias de estos riesgos en el mundo real.
La medida también señala una tendencia más amplia: las empresas de tecnología están bajo un escrutinio cada vez mayor para regular las interacciones con la IA, particularmente en lo que respecta a los menores. Si bien “Stories” proporciona un entorno más controlado, también plantea preguntas sobre la censura, la autonomía del usuario y si se trata de una solución genuina o una respuesta impulsada por las relaciones públicas a las amenazas legales.
La decisión de Character.AI es una respuesta directa a la presión legal y pública, lo que demuestra la creciente responsabilidad de las plataformas de IA por el bienestar de sus usuarios. Las implicaciones a largo plazo de este cambio aún están por verse, pero sienta un precedente claro: Las empresas de IA deben abordar los riesgos asociados con sus productos, especialmente cuando tratan con audiencias menores de edad.
