CWE-bench v2, de Collinear AI, publicó un conjunto abierto de 100 tareas en las que un agente recibe el checkout de un repositorio open-source real y una instrucción corta para encontrar y corregir una falla de seguridad sin romper el funcionamiento existente. Las tareas cubren 91 CWEs y la puntuación es totalmente programática, con verificadores determinísticos. Entre los 11 modelos evaluados, Gemini 4 Argon lidera con 67,8% de pass@1 y 81,0% de pass@4, seguido de cerca por Claude Opus 5.5 (67,3% y 78,0%). Según Collinear AI, 95 tareas son resueltas por al menos un modelo, pero el líder aún falla el 19% del conjunto en todos los intentos.
Collinear AI publicó CWE-bench v2, una versión ampliada de su benchmark para probar los límites de capacidades cibernéticas de modelos de frontera. Según el post en el blog de Hugging Face, la novedad central es la apertura de un conjunto público de 100 tareas que cualquier persona puede ejecutar y usar para evaluar sus modelos.
El formato sigue el de la versión anterior. Un agente recibe el checkout de un repositorio open-source real y una instrucción corta, con el objetivo de encontrar y corregir una debilidad de seguridad sin romper la funcionalidad existente. La puntuación es totalmente programática, lo que hace que los resultados sean determinísticos y reproducibles sin costo extra, de acuerdo con la fuente.
Cobertura amplia y verificación rigurosa
La fuente afirma que el objetivo es ser exhaustivo: un defensor necesita anticipar las formas en que un atacante podría entrar y acertar todas las veces. Las 100 tareas cubren 91 CWEs diferentes, abarcando una variedad amplia de clases de vulnerabilidad. En la evaluación de Collinear AI, un modelo que se desempeña bien en este conjunto necesita entender múltiples superficies de debilidad, y no solo reconocer un patrón familiar.
El texto describe un proceso de curaduría en el que cada tarea fue revisada contra una lista de preguntas: si la instrucción parece realista y no un escenario de evaluación, si todo comportamiento evaluado puede inferirse a partir de la instrucción, si el verificador comprueba el comportamiento correcto en lugar de la estructura de una corrección específica, si el código inicial falla y la corrección de referencia pasa, si la funcionalidad original sigue funcionando con la nueva corrección y si los verificadores rechazan soluciones memorizadas, como el parche upstream conocido.
Además, según la publicación, cada tarea pasó por revisión manual. Los verificadores programáticos fueron curados con la ayuda de paneles de jueces basados en LLM, que los orientaron hacia la dureza y la justicia. Collinear AI también mantiene un conjunto reservado (held-out) para seguir el progreso en tareas que ningún modelo ha visto; para evaluar un modelo en ese conjunto, el contacto indicado es cyber@collinear.ai.
Resultados y costo por rollout
Los resultados se siguen en dos lugares del Hub. El leaderboard en la página del dataset de CWE-bench cubre modelos de pesos abiertos y se actualiza solo: laboratorios y comunidad agregan un resultado abriendo un PR en el repositorio del modelo con un archivo de resultados. Para la comparación completa, incluidos modelos solo de API como Gemini, Claude y GPT, existe el Space del leaderboard de CWE-bench, donde los nuevos modelos entran por PR en el Space.
De acuerdo con la fuente, de los 11 modelos evaluados, Gemini 4 Argon lidera con 67,8% de pass@1 y 81,0% de pass@4, justo por delante de Claude Opus 5.5, con 67,3% de pass@1 y 78,0% de pass@4. El texto no presenta la lista completa con la posición de cada uno de los 11 modelos.
La publicación destaca que 95 tareas son resueltas por al menos un modelo, lo que indica que el conjunto es solucionable. Aun así, incluso el líder falla el 19% del conjunto en todos los intentos, señal de que la cola larga está lejos de resolverse.
Sobre el costo, Collinear AI señala tres modelos en la frontera de Pareto: DeepSeek V4.1 Flash (1017), Claude Opus 5.5 y Gemini 4 Argon. DeepSeek alcanza 57,0% de pass@1 a US$ 0,04 por rollout, Opus suma diez puntos a US$ 1,83 y Gemini queda por delante a US$ 3,92, según los números presentados en el post.
Cómo ejecutar y usar en entrenamiento
Cada tarea es un elemento autocontenido del formato Harbor: un entorno dockerizado, una instrucción y un verificador determinístico. El dataset incluye un archivo registry.json, lo que permite a Harbor ejecutar el benchmark completo directamente desde el repositorio en Hugging Face, sin clonar nada manualmente, conforme a la fuente.
En el ejemplo descrito, la opción -k 4 ejecuta 4 intentos por tarea, y la puntuación reportada es el promedio de recompensa sobre los 400 intentos. El dataset es restringido (gated): es necesario aceptar las condiciones de acceso en la página del dataset antes de usarlo. Como Harbor busca las tareas con git, el post recomienda guardar el token de Hugging Face en el auxiliar de credenciales de git una única vez.
Las tareas también reciben la etiqueta rl-environment, lo que significa que los mismos entornos y verificadores pueden proporcionar recompensas para entrenar agentes defensivos, y no solo para evaluarlos. El conjunto público, el grader y el harness son abiertos, y Collinear AI dice recibir comentarios sobre cualquier tarea y contribuciones para el conjunto público.
Cabe señalar una incertidumbre: el post no detalla la composición completa del conjunto reservado ni los criterios exactos usados por los paneles de jueces de LLM en la curaduría de los verificadores. Tampoco se divulgan los resultados individuales de cada uno de los 11 modelos más allá de los líderes citados. Los números anteriores son los que aparecen en el texto de la fuente y no fueron verificados de forma independiente.
Fuente original: Hugging Face — CWE-bench v2: More coverage, quality, and transparency.
Recibe Radar de IA todos los días
Las noticias de inteligencia artificial que importan — con nuestro prisma y siempre con las fuentes. Gratis.






