La plataforma Character.AI anunció este miércoles que prohibirá el acceso al chat a menores de 18 años, decisión que llega después de que se presentara una demanda contra la empresa por el suicidio de un adolescente de 14 años que se apegó emocionalmente a su chatbot.
La compañía dijo que alentará a los usuarios más jóvenes a utilizar herramientas alternativas como la creación de videos, historias y transmisiones con personajes de IA. La prohibición comenzará el 25 de noviembre.
La plataforma anunció que la prohibición comenzará el 25 de noviembre. Hasta entonces, limitará el uso del chat por parte de menores a dos horas diarias.
«Estos son pasos extraordinarios para nuestra empresa y, en muchos sentidos, son más conservadores que nuestros pares», dijo Character.AI en un comunicado. «Pero creemos que es lo correcto».
Character.AI permite a los usuarios, muchos de ellos adolescentes, interactuar con personajes de IA como si fueran sus confidentes o novios.
Sewell Setzer III se pegó un tiro en febrero tras meses de intercambios íntimos con un chatbot inspirado en el personaje Daenerys Targaryen de la serie Juego de Tronos, según la demanda presentada por su madre, Megan García, contra Character.AI.
La compañía dijo que tomó esta decisión después de leer «informes recientes que plantean preguntas» de reguladores y expertos en seguridad sobre el impacto que tiene la interacción con la IA en los adolescentes.
Además del de Setzer, este año se han registrado varios casos de suicidios supuestamente relacionados con la interacción con chatbots de IA, lo que llevó a OpenAI, creador de ChatGPT, y otras empresas a implementar medidas de protección de los usuarios.