Como ya os contamos hace unos días, OpenAI presentó ChatGPT para Adolescentes, una versión de su chatbot pensada para adolescentes de entre 13 y 17 años con restricciones de contenido y avisos automáticos a los padres.
En un principio, la compañía asegura que el sistema reconocerá a los menores sin que tengan que crear una cuenta nueva ni cambiar ninguna configuración. Los principales expertos en seguridad infantil, sin embargo, reclaman pruebas independientes antes de que podamos dar por buenos estos filtros.
Lauren Jonas, responsable de juventud y familias de OpenAI, explica que el adolescente no necesita crear una cuenta distinta, en cuanto el sistema predice que tiene menos de 18 años, o si el propio usuario lo indica, esa se convierte en su experiencia por defecto. La compañía empezó a trabajar en este sistema en septiembre del pasado año, poco después de que muriera Adam Raine, de 16 años, cuya familia demandó a OpenAI alegando que ChatGPT facilitó su suicidio.
Junto al lanzamiento, la empresa amplió también sus notificaciones de seguridad, si detecta conversaciones de riesgo sobre trastornos alimentarios en cuentas con un adulto vinculado, avisará a esa madre o padre. Además, publicó una actualización de las normas que rigen el comportamiento del modelo con menores, que prohíbe el lenguaje romántico, la dependencia emocional y sugerir que el chatbot tiene sentimientos propios, pensada para reforzar las relaciones reales fuera de la app.
Uso escolar masivo y la apuesta por las herramientas educativas en ChatGPT
Los cálculos indican que a principios del año pasado una cuarta parte de los adolescentes estadounidenses ya usaba ChatGPT para hacer sus tareas escolares, un dato que ayuda a entender el terreno en el que se mueve OpenAI. Ese uso tan extendido podría explicar por qué la compañía ha optado por dirigir a los menores hacia herramientas como el Modo Estudio o las visualizaciones de datos que ha ido incorporando durante el último año, en lugar de bloquear directamente su acceso a la aplicación.
La compañía ya contaba con restricciones sobre suicidio, violencia y drogas antes de este lanzamiento. Josh Golin, director ejecutivo de Fairplay, una organización que defiende la seguridad infantil en Internet, recuerda que esas barreras no siempre han funcionado y que se han ido debilitando con el tiempo. A su juicio, el anuncio de ChatGPT para Adolescentes apunta en la dirección correcta, pero le falta un mecanismo real de rendición de cuentas que permita comprobarlo con datos reales.
Dudas sobre la fiabilidad del sistema que detecta la edad
Golin y Robbie Torney, responsable de evaluaciones de inteligencia artificial en Common Sense Media, cuestionan que el sistema automático distinga bien, en la práctica, quién es adolescente y quién no. Torney señala que OpenAI no ha publicado datos sobre la tasa de falsos positivos y falsos negativos de esa tecnología, y recuerda que el sistema no llega a detectar, ni de lejos, a la totalidad de los menores que usan la aplicación a diario.
Ese mismo problema ya frenó otras funciones de la compañía, según Torney, una de las razones por las que OpenAI no llegó a activar ciertas funciones de contenido erótico para adultos, fue que la tecnología de estimación de edad no identificaba correctamente a suficientes adolescentes. El experto da por hecho que los propios menores intentarán saltarse estos filtros, ya sea con una VPN o con métodos más creativos, como ocurrió cuando Discord probó su propio sistema de verificación de edad.
La promesa de avisar a los padres en menos de una hora, en entredicho
De igual modo, el compromiso más concreto de OpenAI es también el que despierta más dudas. Jonas asegura que todo el contenido marcado pasa por la revisión de empleados a tiempo completo antes de avisar a un padre o madre, con el objetivo de enviar ese aviso en menos de una hora. En declaraciones posteriores, insistió en que la compañía cuenta con la plantilla y la capacidad necesarias para cumplir ese plazo.
Torney recuerda que ese proceso depende de clasificadores automáticos que deciden qué conversaciones llegan a revisores humanos, la misma duda que persigue a todo el sistema. Reclaman cifras sobre cuántas conversaciones se marcan y revisan, cuánta gente las atiende y cuánto tiempo dedica cada revisor, porque dudan que la plantilla actual baste para examinar a fondo cada caso.
Preguntada por ejemplos de lo que activaría un aviso por trastornos alimentarios, OpenAI solo respondió que cualquier conversación con indicios de autolesión grave podría generar una alerta. Common Sense Media probó en noviembre las notificaciones sobre autolesiones y suicidio y los avisos tardaron entre 24 y más de 48 horas en llegar a la cuenta parental, muy lejos de la hora que promete la empresa responsable de ChatGPT.
Mientras OpenAI no publique cifras que despejen estas dudas, nuestra recomendación es no delegar la vigilancia en los avisos automáticos: si tenéis hijos adolescentes, seguid de cerca sus conversaciones con ChatGPT.