Hugging Face publicó una receta reproducible para entrenar adaptadores LoRA con aprendizaje por refuerzo dentro del propio harness del agente. Según el post, en el Qwen3.8-27B el adaptador de Pi eleva el pass@1 en SWE-bench Pro de 39,2% a 64,7% y reduce las llamadas de herramienta en 56% a 72% en las tareas resueltas por los dos modelos. Los tres adaptadores también se fusionaron en un super adaptador que funciona en los tres harnesses.
Hugging Face publicó en su blog una receta reproducible para entrenar adaptadores de harness: LoRAs ajustados con aprendizaje por refuerzo dentro del propio harness de agente que el usuario pretende usar. El experimento usó el Qwen3.8-27B y tres harnesses, Pi, OpenCode y Hermes Agent, en tareas de ingeniería de software.
La premisa, según el post, es que los modelos se optimizan para un rendimiento general y no para cada harness y distribución de tareas. Al combinar modelo y harness sin ajuste, queda rendimiento y eficiencia sobre la mesa. El RL dentro del harness busca extraer el máximo de esa combinación específica.
Qué hace la receta en la práctica
El texto describe un pipeline de datos que reúne recuperación de tareas de entornos de RL existentes, generación con Repo2RLEnv, validación con OpenEnv y muestreo. Cada tarea pasa por un filtro de metadatos y por comprobaciones semánticas de openenv validate, incluyendo la recompensa de la solución de referencia, la brecha respecto a no hacer nada y el determinismo de la repetición.
Según el post, 858 de 1.127 candidatos del Hub pasaron la validación. Las fallas fueron mayoritariamente problemas de infraestructura, como imágenes que no iniciaban, pero los controles también detectaron defectos, incluyendo una tarea de Tasksmith que aceptaba una implementación incompleta y un verificador del Terminal-Bench 2.1 que aceptaba respuestas sabidamente erróneas.
Después de la validación viene la comprobación de dificultad. El Qwen3.8-27B intentó cada tarea 4 veces, u 8 veces en una muestra estratificada. De 442 tareas puntuadas, acertó 151 siempre y 120 nunca; las 171 resueltas solo en algunas intentos formaron el conjunto calificado para el GRPO, ya que las tareas siempre acertadas o siempre erradas no generan señal de aprendizaje.
Resultados en los benchmarks
El entrenamiento usó el AsyncGRPOTrainer de TRL, con LoRA anexado mediante la flag all-linear y modo de razonamiento desactivado durante los rollouts. La recompensa combinó la corrección del verificador con un bono de eficiencia de herramientas de 0,1. Cada adaptador se entrenó en 2 GPUs B200, con una dedicada al servidor vLLM y otra al entrenamiento.
En SWE-bench Pro, en las 51 tareas más difíciles, el adaptador de Pi pasó de 39,2% a 64,7% de pass@1, con 15 tareas recién resueltas contra 2 perdidas. El de Hermes subió de 29,4% a 43,1% y el de OpenCode de 35,3% a 51,0%. En el Terminal-Bench 2.1 completo, Pi ganó 16,3 puntos y Hermes 14,1; OpenCode ganó 6,0 en total y 13,6 en las 66 tareas que no participaron en la elección del checkpoint.
La eficiencia también mejoró. En las tareas resueltas tanto por los adaptadores como por el modelo base, hubo 56% a 72% menos llamadas de herramienta por tarea en SWE-bench Pro y 53% a 70% menos en Terminal-Bench 2.1. El post atribuye buena parte de esto a que el modelo razona menos, llama menos herramientas y acierta de primera con más frecuencia.
Super adaptador, límites y dudas abiertas
Los tres LoRAs se fusionaron por concatenación en la dimensión de rank, generando un adaptador de rank 96. La similitud de coseno entre los pares quedó en cerca de 0,01 a 0,02, lo que el post describe como el mejor escenario para la fusión. El peso ½ se eligió como el mejor equilibrio tras compararlo con ⅓ y con la suma simple.
Con el razonamiento desactivado, el super adaptador mejora el modelo base en los seis pares harness-benchmark, con pass@1 promedio de 39,5% a 49,0%, y reduce las llamadas de herramienta en 53% a 73%. Con el razonamiento activado, vence en cinco de los seis pares y empata en el sexto, con promedio de 55,5% a 63,5%. Aun así, el adaptador especialista de cada harness queda por delante en cuatro de los seis pares cuando el razonamiento está desactivado.
El post reconoce límites. Los resultados no deben compararse entre harnesses diferentes, porque configuraciones predeterminadas distintas, como que Pi no mantiene turnos anteriores de razonamiento, afectan el rendimiento. El peso ½ se eligió en Terminal-Bench 2.1, así que los números de ese benchmark son ligeramente optimistas. En 300 tareas de AutomationBench, con otro loop de agente, los adaptadores quedaron cerca del modelo base, con diferencias dentro del ruido, excepto quizá Hermes.
También hay una cuestión abierta planteada tras el lanzamiento. En modo sin razonamiento, los adaptadores pasaron a generar pequeños fragmentos de texto antes de proponer una llamada de herramienta, algo que el post llama fuga de razonamiento. El equipo dice que esto no invalida los resultados, pero planea repetir el pipeline con modelos puramente de razonamiento y con entrenamiento híbrido.
Durante el entrenamiento, que sumó 598 pasos y 78.114 muestras, el plugin safeagents bloqueó 647 llamadas de herramienta de un total de 1,3 millones verificadas. Los adaptadores, GGUFs, tareas de RL y el plugin están disponibles en una colección pública en Hugging Face, según el post.
Fuente original: Hugging Face — Introducing harness adapters: adapt your favorite model to your harness to improve performance and cost.
Recibe Radar de IA todos los días
Las noticias de inteligencia artificial que importan — con nuestro prisma y siempre con las fuentes. Gratis.






