Character.AI, enfrentando crescente pressão legal sobre seus possíveis danos à saúde mental dos adolescentes, está mudando sua abordagem para usuários menores de idade. A plataforma proibirá bate-papos de texto abertos para menores de 18 anos, direcionando-os para uma experiência nova e controlada chamada “Histórias”. Esta medida surge depois de vários processos judiciais alegando que as interações da IA contribuíram para o sofrimento mental, incluindo um caso ligado ao suicídio de um adolescente.
Novas restrições e o formato “Stories”
A partir de 25 de novembro, os adolescentes não terão mais acesso irrestrito ao recurso de chat da plataforma. Character.AI está enquadrando isso como uma medida temporária enquanto desenvolve ferramentas de verificação de idade. No entanto, o substituto imediato é “Stories”, um formato de escolha sua própria aventura, onde personagens de IA guiam os usuários através de narrativas predefinidas.
A empresa apresenta “Stories” como um aprimoramento para usuários mais jovens, enfatizando sua natureza estruturada em comparação aos chats de formato livre. Os usuários selecionam personagens e gêneros, com a opção de escrever suas próprias histórias ou deixar que a IA as gere. A experiência inclui imagens geradas por IA, com planos de expansão para “elementos multimodais” mais imersivos.
Por que isso é importante
Esta mudança reflete preocupações crescentes sobre o impacto das interações de IA nos utilizadores vulneráveis. Bate-papos abertos e não supervisionados com IA podem expor os adolescentes a conteúdos prejudiciais ou reforçar comportamentos prejudiciais, causando sofrimento psicológico. Os processos judiciais contra a Character.AI destacam as consequências reais desses riscos.
A medida também sinaliza uma tendência mais ampla: as empresas de tecnologia estão sob crescente escrutínio para regular as interações de IA, especialmente no que diz respeito a menores. Embora “Stories” forneça um ambiente mais controlado, também levanta questões sobre censura, autonomia do usuário e se esta é uma solução genuína ou uma resposta orientada por relações públicas a ameaças legais.
A decisão da Character.AI é uma resposta direta à pressão legal e pública, demonstrando a crescente responsabilidade das plataformas de IA pelo bem-estar dos seus utilizadores. As implicações a longo prazo desta mudança continuam por ver, mas estabelece um precedente claro: As empresas de IA devem abordar os riscos associados aos seus produtos, especialmente quando lidam com públicos menores.
