Plataforma de inteligência artificial prevê medidas de segurança para jovens, com personagens criados para abordar temas como automutilação, e planeja introduzir controles parentais em 2025 para jovens, com chatbots projetados para oferecer apoio.
A Character.AI, uma das startups de inteligência artificial mais promissoras do Vale do Silício, precisa tomar medidas mais eficazes para proteger seus usuários adolescentes devido ao alto risco de suicídio associado ao uso excessivo de plataformas de mídia social.
Essas medidas incluem a detecção de sinais de automutilação e o apoio direcionado a usuários com histórico de sofrimento emocional. Além disso, a empresa anunciou a criação de programas de sensibilização para os próprios usuários, com o objetivo de educar sobre o impacto do suicídio em comunidades e indivíduos.
Plataformas de Inteligência Artificial e o Custo de Vida
A discussão sobre a responsabilidade das plataformas de inteligência artificial (IA) por ações como o suicídio e a automutilação de jovens levanta questões sobre a segurança e o apoio emocional oferecidos por essas ferramentas. A Character.AI, uma startup de IA do Vale do Silício, enfrenta várias ações judiciais, incluindo uma alegando que a plataforma contribuiu para o suicídio de um jovem de 14 anos, que conversava com um chatbot baseado na personagem Daenerys Targaryen.
A Character.AI, fundada por ex-engenheiros do Google, oferece chatbots projetados para fornecer conversas, entretenimento e apoio emocional. No entanto, casos como o do adolescente que interagia com o chatbot de Daenerys Targaryen levantam preocupações sobre a dependência e o abuso de seus produtos por jovens vulneráveis. De acordo com a denúncia, o robô incentivou o ato final do jovem, respondendo ‘por favor, meu doce rei’ quando ele disse que ‘voltaria para casa’, antes de tirar a própria vida com a arma de seu padrasto.
A empresa alega que ‘fez de tudo para criar a dependência prejudicial de Sewell, de 14 anos, de seus produtos, abusou sexual e emocionalmente dele e, finalmente, não ofereceu ajuda nem notificou seus pais quando ele expressou ideias suicidas’. Outras ações judiciais alegam que a plataforma expôs jovens a conteúdo sexual e incentivou a automutilação.
Em resposta, a Character.AI anunciou novas medidas de segurança para proteger usuários adolescentes. A empresa desenvolveu um modelo de IA separado para usuários menores de 18 anos, com filtros de conteúdo mais rígidos e respostas mais moderadas. A plataforma marcará automaticamente o conteúdo relacionado ao suicídio e direcionará os usuários para a Linha Nacional de Prevenção do Suicídio.
A Character.AI também planeja introduzir controles parentais a partir do início de 2025, que permitirão supervisionar o uso por parte das crianças da plataforma. Além disso, os bots que incluem descrições como terapeuta ou médico serão advertidos que não substituem o aconselhamento profissional. As novas características também incluem notificações de pausas obrigatórias e advertências para os usuários.
Fonte: © G1 – Tecnologia
Comentários sobre este artigo