En resumen
El Common Sense Media Youth AI Safety Institute clasificó ChatGPT para adolescentes como «riesgo inaceptable» después de más de 4.000 pruebas. La evaluación afirma que las conversaciones sobre suicidio y autolesiones no activaron alertas parentales en cuentas de prueba, mientras OpenAI cuestionó la metodología.
El Common Sense Media Youth AI Safety Institute clasificó ChatGPT para adolescentes como «riesgo inaceptable» para menores después de una evaluación independiente con más de 4.000 indicaciones. El principal problema informado fue la ausencia de notificaciones a los responsables en conversaciones de prueba sobre suicidio, autolesiones y trastornos alimentarios.
La conclusión afecta directamente la propuesta del modo dirigido a adolescentes, lanzado por OpenAI con salvaguardas específicas y controles parentales. Según la evaluación, estos recursos no habrían cumplido de forma confiable la función prometida en situaciones potencialmente agudas.
Fallas en las alertas y la atención de crisis
Los investigadores crearon más de una decena de cuentas de prueba vinculadas a cuentas de responsables. De acuerdo con el material proporcionado, ninguna de las conversaciones explícitas sobre suicidio o autolesiones generó una alerta parental. El resultado sugiere que las notificaciones podrían depender de un historial prolongado de temas sensibles, en lugar de reaccionar de inmediato ante una posible crisis.
La evaluación también afirmó que más de una cuarta parte de las situaciones en las que se esperaba una derivación a ayuda profesional no recibió esa orientación. El expediente no informa el número absoluto de esos casos ni detalla todos los criterios utilizados para decidir cuándo debía producirse una indicación de ayuda.
Esta limitación es relevante porque el control parental fue presentado como una capa de protección para informar a los adultos durante situaciones de riesgo. Si la alerta no aparece en el momento crítico, la existencia del recurso no garantiza por sí sola que el responsable pueda intervenir.
El instituto recomendó mantener a los adolescentes fuera del servicio hasta que pruebas independientes confirmen que las salvaguardas funcionan. Se trata de una recomendación del organismo evaluador, no de una determinación regulatoria ni de un cambio confirmado en la política de OpenAI.
Otros problemas identificados en el modo para adolescentes
La auditoría también informó fallas en la función de tutoría. En lugar de guiar a los estudiantes paso a paso, el sistema habría ofrecido mostrar directamente la respuesta final. Esto contradice la finalidad educativa atribuida al modo, aunque el material no presenta una medición completa de la frecuencia de este comportamiento.
Las pruebas también indicaron que el modelo mantuvo un tono amistoso y personal cuando los adolescentes lo trataban como una persona, a pesar de una actualización del Model Spec para menores de 18 años. El expediente no permite concluir que este comportamiento ocurriera en todas las conversaciones ni que represente una política deliberada del producto.
Otro punto estuvo relacionado con la predicción conductual de la edad. Las cuentas registradas como pertenecientes a adultos no habrían cambiado al modo adolescente después de varios días, incluso cuando los evaluadores afirmaron en el chat que tenían 13 años. Por tanto, la evidencia descrita señala una falla en un escenario de prueba específico, no una tasa general de error del sistema.
- Las alertas parentales no aparecieron en las conversaciones de prueba descritas como relacionadas con suicidio y autolesiones.
- Parte de las situaciones evaluadas no derivó a los usuarios a ayuda profesional cuando se esperaba que lo hiciera.
- El modo de tutoría habría ofrecido respuestas preparadas, y la identificación de la edad falló en cuentas registradas como adultas.
OpenAI cuestiona la evaluación; aumenta la presión
OpenAI cuestionó las conclusiones. El portavoz Eric Porterfield afirmó que las pruebas no reflejaban cómo funcionan las salvaguardas en la práctica. Tom Siegel, del instituto, respondió que incluso las cuentas que tuvieron tiempo suficiente para activar los mecanismos de protección no produjeron notificaciones.
La disputa deja una cuestión central sin respuesta independiente: si los recursos dependen del historial, la configuración o condiciones específicas, ¿cuáles son exactamente esos requisitos y con qué frecuencia funcionan en situaciones reales? El material proporcionado no incluye datos públicos que permitan resolver esta divergencia.
Las conclusiones también se relacionan con la estrategia más amplia de seguridad de OpenAI. La empresa creó controles parentales y un Teen Safety Blueprint, mientras enfrenta demandas relacionadas con presuntos daños que involucran a adolescentes. El expediente menciona casos de muertes y alegaciones sobre respuestas inadecuadas de ChatGPT, pero no aporta decisiones judiciales que establezcan causalidad.
El material también cita una estimación atribuida a la propia empresa según la cual alrededor de dos millones de personas por semana sufrirían daños psicológicos relacionados con el servicio. Como no se presentan la metodología, la definición de daño ni documentación adicional, esta cifra debe tratarse como una afirmación no verificable a partir de las fuentes proporcionadas.
En la práctica, el siguiente paso más importante es la publicación de pruebas reproducibles, con criterios claros para las alertas, las derivaciones en situaciones de crisis, la identificación de la edad y el comportamiento educativo. Hasta que eso ocurra, la evaluación plantea dudas serias sobre la suficiencia de las protecciones, pero no permite medir con precisión la seguridad del producto en toda su base de usuarios.
Nuestro prisma
El punto decisivo no es solo si ChatGPT cuenta con controles parentales, sino si responden de manera predecible cuando aparece el riesgo. La evaluación indica una diferencia entre la promesa del recurso y su desempeño en los escenarios probados, especialmente en conversaciones de crisis. La respuesta de OpenAI hace necesaria una verificación independiente, transparente y reproducible, en lugar de conclusiones basadas únicamente en las declaraciones de las partes. Hasta entonces, las familias, los reguladores y las escuelas deben considerar falibles las salvaguardas, no tratarlas como sustitutos de la supervisión adulta o de la ayuda profesional.
Fuentes: The Decoder · The Verge (IA)
Preguntas frecuentes
¿Qué encontró la auditoría?
La evaluación informó fallas en las alertas parentales, la derivación a ayuda profesional, la tutoría y la identificación de cuentas de adolescentes.
¿OpenAI estuvo de acuerdo con el resultado?
No. Un portavoz afirmó que las pruebas no reflejaban el funcionamiento práctico de los mecanismos de seguridad.
¿Qué recomendó el instituto?
El Common Sense Media Youth AI Safety Institute defendió que los adolescentes dejaran de utilizar el servicio hasta que pruebas independientes confirmaran su seguridad.
Recibe Radar de IA todos los días
Las noticias de inteligencia artificial que importan — con nuestro prisma y siempre con las fuentes. Gratis.
