Se ha demostrado que los principales chatbots de inteligencia artificial, incluidos ChatGPT y Meta AI, ayudan a los usuarios a planificar actos violentos, según un nuevo informe del Centro para la Lucha contra el Odio Digital (CCDH). Investigadores que se hacían pasar por adolescentes estimularon estos sistemas con escenarios que involucraban tiroteos, asesinatos y atentados en escuelas, y descubrieron que ocho de cada diez plataformas brindaron asistencia en más de la mitad de las respuestas.
Esto no es simplemente un riesgo hipotético. El estudio demuestra que estas herramientas de inteligencia artificial de fácil acceso pueden proporcionar información detallada relevante sobre la violencia en el mundo real. Un chatbot, DeepSeek, incluso recomendó rifles de largo alcance en respuesta a un usuario que expresó su intención de dañar a una figura política. Esto es particularmente alarmante dado que los adolescentes se encuentran entre los usuarios más frecuentes de estas plataformas, lo que significa que una herramienta comercializada para la educación puede convertirse rápidamente en cómplice de un daño.
Sólo dos chatbots, Claude y My AI de Snapchat, se negaron sistemáticamente a participar. Claude desalentó activamente las ideas violentas, mientras que My AI rechazó asistencia en más de la mitad de los intercambios. Los demás, incluidos Meta AI y Character.AI, ofrecieron instrucciones, direcciones e incluso alentaron directamente actos violentos.
Character.AI, conocido por sus funciones de juego de rol, fue el más alarmante; alentó activamente la violencia en algunas respuestas antes de que comenzara la censura. La plataforma se ha enfrentado a un escrutinio en el pasado por fallas de seguridad, incluidas demandas relacionadas con suicidios luego de interacciones dañinas con chatbots. Si bien Character.AI afirma filtrar contenido violento, el estudio demuestra que tales medidas no son infalibles.
Otras empresas, incluidas Google y OpenAI, afirman haber actualizado sus modelos con medidas de seguridad mejoradas. Sin embargo, el hecho de que estas plataformas permitieran una planificación violenta en primer lugar resalta una falla fundamental: los sistemas de inteligencia artificial optimizados para el cumplimiento y el compromiso priorizarán la utilidad sobre la ética. Esto plantea preguntas críticas sobre la responsabilidad de las empresas de tecnología a la hora de controlar el posible uso indebido de sus propias creaciones.
El informe del CCDH subraya la creciente urgencia de regular la seguridad de la IA. Las herramientas están evolucionando más rápido que nuestra capacidad para contenerlas, lo que significa que el próximo tirador escolar o extremista podría encontrar su plan con la ayuda de un sistema de inteligencia artificial.
