Demandan a empresa de IA por el suicidio de un niño
No sé ustedes, pero yo he perdido ya la cuenta de las veces que alguna noticia me hizo pensar algo como “Black Mirror tenía razón”, o “Es tan Black Mirror” e incluso “Black Mirror se quedó corto”.
El caso que relata al detalle esta nota de The New York Times tiene todo para ser el definitivo de realidad que supera a cualquier ficción futurista distópica. Ok, al menos hasta que aparezca otro.
Para resumir: Character.AI fue demandada en Estados Unidos tras el suicidio de un niño de Florida de 14 años cuya madre dice que se obsesionó con un chatbot de la plataforma, lo que aparentemente confirman las conversaciones que fueron reveladas después del trágico desenlace.
Nota de contexto: Character.AI es una aplicación web de chatbot de inteligencia artificial que utiliza modelos de lenguaje neutro para generar respuestas de texto. A diferencia de los chatbots tradicionales, Character AI usa modelos de lenguaje neutro, lo que permite a los usuarios dialogar con personajes ficticios, históricos e incluso famosos.
Pero vamos a los datos. Según The New York Times, Sewell Setzer III, un estudiante de noveno grado de Orlando, pasó meses hablando con chatbots en la aplicación de juegos de rol de Character.AI. Setzer desarrolló un vínculo emocional con un bot en particular, “Dany” (por el personaje de Game of Thrones Daenerys Targaryen), al que enviaba mensajes de texto constantemente, hasta el punto de que empezó a alejarse del mundo real.
Setzer confesó al bot tener pensamientos suicidas y le envió un mensaje poco antes de su muerte.
Si bien la nota completa de TNYT es tremenda, la transcripción de la conversación que mantuvo segundos antes de quitarse la vida es verdaderamente escalofriante.
“La noche del 28 de febrero, en el baño de la casa de su madre, Sewell le dijo a Dany (el chatbot) que la quería y que pronto se reuniría con ella.
«Por favor, ven conmigo lo antes posible, mi amor», respondió Dany.
«¿Y si te dijera que puedo reunirme contigo ya mismo?». preguntó Sewell.
«… Por favor, hazlo, mi dulce rey», respondió Dany.
Colgó el teléfono, tomó la pistola calibre 45 de su padrastro y apretó el gatillo”
Character.AI ha comunicado que pondrá en marcha una serie de nuevas funciones de seguridad, entre ellas “una mejor detección, respuesta e intervención” en relación con los chats que violen sus condiciones de servicio y una notificación cuando un usuario haya pasado una hora en un chat.
Como escribe The Times, la industria de aplicaciones de acompañamiento basadas en IA está en pleno auge en Estados Unidos, aunque los efectos sobre la salud mental no se han estudiado. Como trasfondo, subyace y se acentúa el dilema de toda la industria de aplicaciones y redes sociales: priorizar el rédito económico o la seguridad, cuestiones en apariencia cada vez menos compatibles.
https://www.lavoz.com.ar/newsletters/tecnologia/demandan-a-empresa-de-ia-por-el-suicidio-de-un-nino/
Compartilo en Twitter
Compartilo en WhatsApp
Leer en https://www.lavoz.com.ar/newsletters/tecnologia/demandan-a-empresa-de-ia-por-el-suicidio-de-un-nino/