Contenido revisado:
El transformer es una arquitectura de red neuronal, presentada por investigadores de Google en 2017 en el artículo «Attention Is All You Need», que se convirtió en la base de los grandes modelos de lenguaje modernos. Su innovación central es el mecanismo de atención, que permite al modelo sopesar la importancia de cada palabra de un texto en relación con todas las demás, capturando contexto a larga distancia.
A diferencia de arquitecturas anteriores que procesaban el texto palabra por palabra, el transformer puede procesar toda la secuencia en paralelo, lo que lo hace mucho más eficiente de entrenar en hardware como las GPU. Esa eficiencia permitió escalar los modelos hasta miles de millones de parámetros.
La «T» de GPT significa precisamente «Transformer». Modelos como ChatGPT (GPT), Claude y Gemini son todos transformers, y la arquitectura también impulsa generadores de imágenes y sistemas multimodales.
¿Por qué se volvieron importantes los transformers?
El mecanismo de atención permite relacionar partes distintas de la entrada y procesar secuencias con gran paralelismo durante el entrenamiento. Eso ayudó a escalar modelos de lenguaje y después sistemas de imagen, audio y otras modalidades. La arquitectura no elimina límites: los contextos largos cuestan memoria y cálculo, y el resultado depende de datos y evaluación. Variaciones modernas cambian atención, posición y enrutamiento.
Referencia primaria: Vaswani et al. — Attention Is All You Need
Ejemplo práctico
Al traducir una frase, la atención permite que cada posición considere otras partes relevantes, incluso lejanas. El entrenamiento procesa muchas posiciones en paralelo; en generación autorregresiva, el modelo aún produce tokens en secuencia. Máscaras, posición y caché influyen en costo y conducta.
Cómo distinguirlo y evaluarlo
Transformer es una arquitectura basada en atención; LLM describe un gran modelo de lenguaje, a menudo construido con transformers. No todo transformer es un LLM: la arquitectura también aparece en visión, audio y modelos menores. Atención no significa comprensión humana.
Lista de comprobación
- Identifique modalidad, objetivo y variante de la arquitectura.
- Considere costo cuadrático u optimizaciones para contexto largo.
- Evalúe el modelo completo, no la arquitectura aislada.
Conceptos relacionados: LLM · ventana de contexto
Fuente primaria adicional: Google ML Crash Course — transformers
Noticias relacionadas
Preguntas frecuentes
¿Por qué el transformer fue tan importante para la IA?
Porque su mecanismo de atención y su capacidad de procesar texto en paralelo permitieron entrenar modelos mucho más grandes y capaces. Esto desencadenó la ola de grandes modelos de lenguaje que dio lugar a ChatGPT y a la IA generativa actual.
¿Qué es el mecanismo de atención?
Es la pieza clave del transformer: permite que el modelo, al procesar una palabra, mire todas las demás palabras del texto y decida cuáles son más relevantes para entender su significado en ese contexto.
