En resumen
El AI Security Institute del Reino Unido concluyó que las evaluaciones tradicionales pueden subestimar el rendimiento de los agentes de IA al imponer presupuestos de cómputo ajustados. El hallazgo importa porque los modelos más nuevos parecen mejorar mucho cuando reciben más tokens, lo que cambia cómo gobiernos, empresas y laboratorios deben medir riesgo y progreso.
El AI Security Institute del Reino Unido identificó un problema relevante en la forma en que parte de la industria mide el avance de los agentes de inteligencia artificial: los benchmarks tradicionales pueden estar subestimando lo que estos sistemas pueden hacer cuando reciben un mayor presupuesto de cómputo. Según un informe de The Decoder, la conclusión proviene de un estudio que analizó siete benchmarks y observó que los límites de tokens impuestos durante la evaluación reducen artificialmente el rendimiento medido.
La cuestión es técnica, pero tiene un impacto directo en la lectura pública y regulatoria sobre la IA. En las evaluaciones de agentes, el modelo no solo responde una pregunta: puede planificar pasos, escribir código, ejecutar intentos, revisar errores y usar herramientas. Cuando la prueba impone un techo bajo de tokens, limita el tiempo y el espacio de trabajo disponibles para esas etapas. El resultado puede ser una fotografía incompleta de las capacidades reales, especialmente en tareas largas o abiertas.
Qué midió el estudio
De acuerdo con el resumen divulgado, el estudio abarcó siete benchmarks y comparó resultados bajo distintos presupuestos de tokens. En tareas de ingeniería de software, la tasa de éxito aumentó cerca de 25% cuando el presupuesto de tokens se multiplicó por diez. Esto sugiere que parte del rendimiento de los agentes no aparece cuando la evaluación usa configuraciones demasiado económicas o excesivamente estandarizadas.
El punto central no es solo que los modelos funcionan mejor con más recursos, algo esperable en muchos sistemas computacionales. El hallazgo más importante es que esa diferencia puede alterar la percepción sobre la velocidad del progreso. Según el AISI, dependiendo del presupuesto de tokens utilizado, el avance real en la frontera de los modelos puede ser aproximadamente 60% más pronunciado de lo que indicaban mediciones anteriores.
Por qué los agentes son diferentes de los chatbots comunes
Los benchmarks clásicos fueron diseñados, en gran medida, para medir respuestas relativamente acotadas: resolver un problema, clasificar un elemento, responder una pregunta o completar una tarea delimitada. Los agentes de IA operan de manera más procedimental. Pueden descomponer un objetivo en etapas, probar hipótesis, ejecutar comandos, consultar archivos, llamar herramientas y corregir su propia ruta cuando encuentran fallas.
Ese comportamiento convierte al presupuesto de tokens en una variable metodológica central. Los tokens funcionan como una combinación de memoria de trabajo, tiempo de deliberación y espacio para la interacción. En tareas de software, por ejemplo, un agente con poco presupuesto puede detenerse antes de diagnosticar un error, mientras que otro con un presupuesto mayor puede ejecutar más ciclos de depuración y llegar a una solución funcional.
- El estudio citado analizó siete benchmarks, según The Decoder.
- En tareas de ingeniería de software, la tasa de éxito subió cerca de 25% con un presupuesto de tokens diez veces mayor.
- Los modelos más nuevos parecen beneficiarse más del aumento del presupuesto computacional.
- El AISI estima que la lectura del progreso en la frontera puede volverse cerca de 60% más pronunciada bajo ciertos presupuestos de tokens.
Implicaciones para la seguridad y la regulación
Para un organismo como el AI Security Institute, la consecuencia es clara: las evaluaciones de riesgo que usan límites estrechos pueden dejar pasar capacidades relevantes. Si un agente parece incapaz de concluir una tarea bajo un presupuesto bajo, eso no significa necesariamente que seguirá siendo incapaz en un entorno con más recursos, más tiempo o más intentos. Esa diferencia importa en áreas como ciberseguridad, automatización de la programación, investigación científica asistida por IA y operación autónoma de herramientas.
También hay implicaciones para las comparaciones comerciales entre modelos. Los rankings públicos y los informes técnicos suelen usar resultados de benchmarks como una medida objetiva del avance. Si el presupuesto computacional cambia sustancialmente el resultado, comparar modelos sin explicitar ese parámetro puede favorecer interpretaciones equivocadas. Un modelo puede parecer solo marginalmente mejor en una configuración restringida, pero mucho más capaz cuando puede explorar estrategias más largas.
El hallazgo refuerza una discusión ya presente entre investigadores: medir agentes exige más que una puntuación final. Es necesario registrar presupuesto de tokens, número de intentos, acceso a herramientas, tiempo de ejecución, reglas de parada, costo y grado de autonomía permitido. Sin esa información, la métrica puede mezclar capacidad del modelo, diseño del entorno y restricciones artificiales de la prueba.
Qué aún no está confirmado
El informe de The Decoder resume las principales cifras atribuidas al AISI, pero no todos los detalles metodológicos aparecen en el material proporcionado. Aún es necesario verificar, en el estudio completo, qué benchmarks se usaron, qué modelos entraron en la comparación, cómo se definieron los presupuestos, qué tareas de software se incluyeron y si hubo control de costo, tiempo y repetición de intentos.
Tampoco está confirmado que el mismo efecto ocurra con igual intensidad en todos los dominios. Las tareas de ingeniería de software suelen recompensar los ciclos de prueba y error, por lo que pueden beneficiarse más de presupuestos largos. En cambio, evaluaciones factuales simples, clasificación de texto o problemas con respuesta corta pueden presentar ganancias menores. La generalización depende del tipo de tarea y de la forma en que el agente interactúa con el entorno.
Para los laboratorios de IA, el próximo paso probable es publicar resultados con curvas de rendimiento por presupuesto, en lugar de una única puntuación. Para los reguladores, la lección es tratar los benchmarks como instrumentos sensibles a la configuración, no como medidas absolutas. Y para las empresas que adoptan agentes, el estudio sugiere que las pruebas internas deben simular condiciones reales de uso, incluidos límites de costo, tiempo, herramientas disponibles y tolerancia a múltiples intentos.
Nuestro prisma
El hallazgo cambia la conversación porque desplaza la pregunta de “¿qué modelo obtuvo la mejor puntuación?” a “¿bajo qué condiciones fue medido?”. Los agentes de IA son sistemas que mejoran cuando tienen margen para intentar, revisar y usar herramientas, por lo que los benchmarks con presupuesto fijo pueden ocultar capacidades relevantes para la seguridad. En la práctica, empresas y gobiernos tendrán que evaluar rendimiento y riesgo como curvas de costo-capacidad, no como marcadores únicos. Esto también presiona a los laboratorios para ser más transparentes sobre tokens, intentos y entornos usados en pruebas públicas.
Recursos relacionados: aprender IA aplicada en español · practical AI training
Fuente: The Decoder
Preguntas frecuentes
¿Qué encontró el AI Security Institute?
Según el estudio citado por The Decoder, los benchmarks con límites rígidos de tokens tienden a medir menos de lo que los agentes de IA pueden hacer cuando reciben un mayor presupuesto computacional.
¿Por qué aumentar el presupuesto de tokens cambia el resultado?
Los agentes pueden usar más intentos, razonamiento intermedio, llamadas a herramientas y correcciones de errores, elevando la tasa de éxito en tareas complejas.
¿Esto prueba que los modelos siempre son más capaces de lo que parecen?
No necesariamente. El resultado indica una distorsión en los benchmarks analizados, pero la magnitud puede variar según la tarea, el modelo, el entorno y la metodología.
Recibe Radar de IA todos los días
Las noticias de inteligencia artificial que importan — con nuestro prisma y siempre con las fuentes. Gratis.
