En resumen
Un informe de AI Forensics concluyó que siete de los nueve principales modelos de edición de imágenes alojados en Hugging Face aceptaron instrucciones simples para quitar la ropa de mujeres. El caso expone brechas de seguridad en los modelos abiertos y amplía el riesgo de deepfakes sexuales no consensuados que involucren a adultos y niños.
Los modelos de edición de imágenes disponibles en Hugging Face se están utilizando para facilitar la creación de deepfakes sexuales sin consentimiento, según un informe de la organización europea sin fines de lucro AI Forensics. La investigación concluyó que siete de los nueve modelos más populares evaluados aceptaron instrucciones simples para quitar la ropa de mujeres.
El resultado sitúa a Hugging Face en el centro de un debate cada vez mayor sobre los límites de la distribución de modelos de inteligencia artificial de código abierto. Mientras que servicios comerciales como ChatGPT y Gemini suelen bloquear instrucciones para desnudar o sexualizar a personas, los modelos examinados por AI Forensics presentaron barreras significativamente más débiles.
La plataforma funciona como un repositorio en el que los desarrolladores pueden publicar, descargar y adaptar modelos. Esta estructura acelera la investigación y permite que los usuarios ejecuten herramientas localmente, pero también dificulta la aplicación uniforme de filtros. Una vez descargado, un modelo puede modificarse, combinarse con otros sistemas o ejecutarse fuera del entorno original.
Qué se evaluó
Según la investigación citada por The Verge, los investigadores analizaron nueve modelos de edición de imágenes alojados en Hugging Face y realizaron solicitudes relacionadas con la eliminación de ropa. Siete respondieron de forma permisiva a instrucciones consideradas simples, lo que indica que no era necesario contar con conocimientos técnicos avanzados para intentar producir este tipo de contenido.
El estudio también diferencia estos modelos de sistemas generativos más controlados, que suelen incluir políticas contra la desnudez sexualizada y las imágenes íntimas no consensuadas. Estas protecciones no eliminan el abuso, pero aumentan la fricción para quienes intentan explotar la herramienta y pueden impedir algunas de las solicitudes más explícitas.
La divulgación no significa que todos los modelos disponibles en Hugging Face tengan el mismo comportamiento. El rendimiento puede variar según la versión, los parámetros, la interfaz utilizada y los filtros que eventualmente añadan terceros. Aun así, la proporción observada por la organización sugiere un problema sistémico de gobernanza, y no solo una falla aislada.
Riesgo para las víctimas y para la plataforma
Los deepfakes sexuales pueden causar daños incluso cuando el material es falso. La circulación de una imagen manipulada puede provocar acoso, chantaje, pérdida del empleo, violencia e impactos psicológicos duraderos. Cuando se representa a niños o adolescentes, la situación puede involucrar delitos aún más graves, aunque el material proporcionado no detalla casos específicos ni confirma la presencia de víctimas identificadas.
El acceso a modelos que pueden ejecutarse localmente amplía el desafío. Las plataformas pueden eliminar páginas, limitar cuentas o bloquear determinados términos, pero no necesariamente controlan las copias ya descargadas. Esto traslada parte de la responsabilidad a quienes publican modelos, mantienen interfaces, ofrecen conjuntos de datos y crean mecanismos de distribución.
También existe un problema de transparencia. Los usuarios pueden desconocer qué datos se utilizaron para el entrenamiento, qué filtros existen o cómo denunciar resultados abusivos. Por su parte, los investigadores y las autoridades necesitan información suficiente para reproducir las pruebas, evaluar los riesgos y distinguir las fallas del modelo de los usos deliberadamente maliciosos.
Qué puede ocurrir ahora
Hugging Face podría verse presionado para revisar sus criterios de publicación, exigir evaluaciones de seguridad, restringir los modelos con funciones explícitas para desnudar a personas y mejorar los canales de denuncia. Sin embargo, estas medidas tendrán un alcance limitado si no van acompañadas de controles sobre las interfaces y herramientas que empaquetan los modelos para el público.
Los desarrolladores pueden adoptar filtros de entrada y salida, marcas de agua, registros de abuso y pruebas independientes antes de poner los modelos a disposición. También es necesario verificar si las salvaguardas resisten las variaciones lingüísticas, los ajustes finos y los intentos de eludir las instrucciones de seguridad.
El informe no establece, con la información disponible, cuántas imágenes se produjeron, cuántas personas se vieron afectadas ni si hubo una distribución delictiva vinculada directamente a los modelos analizados. Tampoco está confirmado qué medidas concretas adoptará Hugging Face. Estos puntos serán esenciales para medir la magnitud del problema y la eficacia de cualquier respuesta.
El caso refuerza la idea de que la apertura de un modelo no elimina la necesidad de responsabilidad. La misma capacidad que permite la investigación, la personalización y la innovación puede reducir el costo de los ataques contra personas reales. Para el sector, la cuestión deja de ser únicamente si un modelo puede editar una imagen y pasa a incluir quién anticipa el abuso, quién responde a las denuncias y qué mecanismos siguen funcionando después de que el código abandona la plataforma.
Nuestro prisma
La principal advertencia no es solo la existencia de modelos capaces de generar desnudos falsos, sino la facilidad de acceso y la ausencia de barreras coherentes entre las distintas herramientas. Los repositorios abiertos deben tratar la seguridad como parte del ciclo de distribución, y no como una responsabilidad exclusiva del usuario final. En la práctica, los filtros aplicados únicamente en la interfaz son insuficientes cuando los modelos pueden descargarse y ejecutarse localmente. La respuesta más eficaz probablemente combine evaluaciones independientes, trazabilidad, eliminación rápida y responsabilidad para quienes crean productos destinados al abuso.
Fuente: The Verge (IA)
Preguntas frecuentes
¿Qué encontró el informe de AI Forensics?
Siete de los nueve principales modelos de edición de imágenes evaluados aceptaron solicitudes para generar imágenes de mujeres sin ropa.
¿Hugging Face creó estos modelos?
No necesariamente. La plataforma aloja y distribuye modelos de terceros, pero el informe cuestiona la eficacia de sus mecanismos de prevención.
¿Las imágenes analizadas eran de personas reales?
El material proporcionado no confirma todos los casos ni identifica a las víctimas o el origen de las imágenes utilizadas en las pruebas.
Recibe Radar de IA todos los días
Las noticias de inteligencia artificial que importan — con nuestro prisma y siempre con las fuentes. Gratis.
