Inicio Ciencia Entrenamiento con pooling de tokens reduce vectores de búsqueda sin perder calidad

Entrenamiento con pooling de tokens reduce vectores de búsqueda sin perder calidad

0
55
Entrenamiento con pooling de tokens reduce vectores de búsqueda sin perder calidad

Un experimento publicado en el blog de Hugging Face describe el entrenamiento con pooling de tokens para modelos de embedding multi-vector. Con factor de pooling 4, el modelo entrenado normalmente mantiene 94,6% del nDCG@10 no agrupado en NanoBEIR, con 4x menos vectores de documento; el entrenamiento consciente del pooling eleva esa retención a 97,8% en el mismo presupuesto de almacenamiento. Los resultados provienen de un experimento único, con un epoch sobre 120 mil tripletas de MS MARCO, sin búsqueda de hiperparámetros.

Los modelos de embedding multi-vector, como ColBERT, dan a cada token de la consulta la oportunidad de encontrar su mejor correspondencia en un documento. Esto los hace expresivos para la búsqueda, pero el costo aparece en el almacenamiento: según el post del blog de Hugging Face, un corpus con millones de documentos puede contener cientos de millones de vectores.

La propuesta descrita en el artículo es el pooling de tokens, que reduce esas representaciones agrupando vectores de tokens similares. El problema es que, cuanto más agresiva es la compresión, mayor es el riesgo de perder información útil. El entrenamiento consciente del pooling enseña al encoder a preservar lo que importa cuando sus vectores se fusionan.

Cómo el pooling agrupa vectores

HierarchicalTokenPooling usa clustering jerárquico de Ward. Comienza con un grupo por vector de token y va fusionando repetidamente los dos grupos que provocan el menor aumento en la dispersión interna, medida por la suma de las distancias cuadráticas de cada vector a la media del grupo. Cada grupo se representa entonces por su media, normalizada de nuevo para el cálculo de similitud MaxSim.

Con pool_factor=4, los documentos mantienen aproximadamente un cuarto de sus vectores originales, de modo que los documentos más largos conservan proporcionalmente más capacidad. Por defecto, el primer token se protege de la fusión y el pooling se aplica solo a los embeddings de documentos, sin alterar los de consulta.

El texto también describe controles alternativos, como límites fijos de vectores y pooling adaptativo con un umbral de distancia compartido. Ese umbral puede calibrarse a partir de una muestra del corpus para alcanzar una media objetivo de vectores por documento, y el resultado es una media: documentos individuales pueden quedar por encima o por debajo de ella.

El entrenamiento que enseña al modelo a sobrevivir a la compresión

El pooling ya puede ser útil en un modelo multi-vector común, pero el post observa que la dificultad surge cuando un documento contiene una distinción relevante para la recuperación y la fusión de vectores hace que esa distinción sea más difícil de recuperar. La solución es incluir la representación comprimida en el propio objetivo de entrenamiento.

En el ejemplo, cada lote de entrenamiento aporta dos pérdidas: una de recuperación con los embeddings originales y otra tras comprimir los documentos a aproximadamente un cuarto de los vectores. Ambas tienen el mismo peso y actualizan el mismo encoder, que recibe retroalimentación sobre la recuperación antes y después de la compresión.

Como el clustering de Ward toma decisiones discretas, el entrenamiento usa un estimador straight-through para llevar gradientes de los vectores agrupados de vuelta a los tokens que los componen, sin diferenciar las asignaciones de grupo. El componente MultiVectorTokenPoolingLoss envuelve una pérdida de recuperación multi-vector existente y aplica los poolers elegidos.

El autor compara el principio con el de los embeddings Matryoshka, que aplican el objetivo de recuperación en varios anchos para que los prefijos más pequeños sigan siendo útiles. Aquí, el objetivo se aplica a representaciones con menos vectores de token.

Resultados y límites del experimento

Se entrenaron dos modelos a partir de answerdotai/ModernBERT-base, cada uno con una proyección de tokens de 128 dimensiones: uno solo con la pérdida contrastiva en caché y otro con esa pérdida envuelta por los objetivos sin pooling y con factor 4. Ambos usaron un epoch sobre las mismas 120 mil tripletas de MS MARCO, semilla 42 y configuraciones de inicialización y optimización equivalentes, con un límite de 300 tokens en el entrenamiento.

La evaluación se hizo en NanoBEIR@13, con nDCG@10 medio. Con pool_factor=4, el nDCG@10 sube de 49,03 a 51,23, mientras el modelo almacena 74,8% menos vectores de documento que la recuperación sin pooling. La retención pasa de 94,6% a 97,8%, calculada como el nDCG@10 medio con pooling dividido por el nDCG@10 medio sin pooling de cada modelo. La recuperación sin pooling también mejora, de 51,84 a 52,39.

Las ganancias se extienden a límites fijos y al pooling adaptativo, incluso con entrenamiento usando solo la representación completa y el pooling proporcional. Con una media de 29,58 vectores por documento, el pooling adaptativo retiene 97,3% del nDCG@10 sin pooling del modelo consciente del pooling, almacenando 84,7% menos vectores de documento; el modelo entrenado normalmente retiene 93,3% en el mismo presupuesto.

El post es explícito sobre las condiciones: solo la pérdida difiere entre los dos experimentos y no hubo búsqueda de hiperparámetros. Los números se refieren a ese par de modelos, a ese conjunto de datos y a esa configuración, y el propio texto recomienda comparar con una ejecución de pérdida común equivalente antes de adoptar el enfoque en otro escenario.

Para quien necesita reducir el índice, el autor sugiere un orden de prioridades: cuantización de embeddings a 4, 2 o 1 bit, por ejemplo vía Fast-PLAID; pooling de tokens, opcionalmente con ajuste fino consciente del pooling; y embeddings Matryoshka para disminuir la dimensionalidad de cada vector. Los enfoques pueden combinarse, y la recomendación es evaluar el tamaño del índice y la calidad de recuperación en el motor de búsqueda y el corpus reales.

El ejemplo completo de entrenamiento y un script de evaluación acompañan el post, midiendo recuperación sin pooling, límites de 64, 32, 16, 8 y 4 vectores y factores de pooling de 2 a 6. El texto también cita trabajos anteriores sobre pooling en recuperación multi-vector, incluidos estudios de Stefan Josef, de Benjamin Clavié y colaboradores y de Antoine Chaffin.

Fuente original: Hugging Face — Token Pooling-Aware Training for Multi-Vector Embedding Models.

Recibe Radar de IA todos los días

Las noticias de inteligencia artificial que importan — con nuestro prisma y siempre con las fuentes. Gratis.

Sin spam. Cancela cuando quieras.

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí