Contenido revisado:
Un token es la unidad básica de texto que procesa un modelo de lenguaje. Antes de «leer» un texto, el modelo lo divide en tokens, que pueden ser palabras enteras, fragmentos de palabras o signos de puntuación. Por ejemplo, la palabra «inteligencia» puede dividirse en varios tokens, mientras que palabras comunes suelen ocupar uno solo.
Los tokens importan porque casi todo en los modelos de IA se mide en ellos: la longitud máxima que un modelo puede manejar de una vez (la ventana de contexto), la velocidad de generación y, sobre todo, el precio. Las APIs de OpenAI, Anthropic o Google cobran por cantidad de tokens de entrada y de salida.
Como regla aproximada en inglés, un token equivale a unos cuatro caracteres o tres cuartos de palabra; en español la proporción varía. Entender los tokens ayuda a estimar costos y a no superar los límites de contexto.
¿Por qué importa el número de tokens?
Los tokens determinan cuánto contenido cabe en el contexto y a menudo influyen en costo y tiempo de respuesta. La misma frase puede producir cantidades distintas según idioma y tokenizador. Archivos, instrucciones y salida comparten el límite disponible en muchos sistemas. Para estimar un flujo, use el tokenizador del modelo, pruebe documentos reales y reserve espacio para la respuesta y mensajes del sistema.
Referencia primaria: Google ML Crash Course — grandes modelos de lenguaje
Ejemplo práctico
Una frase de 20 palabras no equivale necesariamente a 20 tokens: puntuación, acentos, números e idioma cambian la división. Al resumir varios archivos, instrucciones, fragmentos recuperados, historial y respuesta compiten por el mismo presupuesto. La aplicación cuenta tokens con el tokenizador del modelo antes de enviar.
Cómo distinguirlo y evaluarlo
Token es una unidad del tokenizador, no exactamente palabra, carácter o concepto. El token usado para procesar lenguaje también es distinto del token de autenticación de una API. Modelos diferentes pueden segmentar el mismo texto de maneras distintas y cobrar o limitar por cifras diferentes.
Lista de comprobación
- Use el contador específico del modelo y versión.
- Reserve espacio para salida, sistema y llamadas de herramientas.
- Pruebe documentos reales en todos los idiomas atendidos.
Conceptos relacionados: ventana de contexto · LLM
Fuente primaria adicional: OpenAI — tokenizador interactivo
Noticias relacionadas
Preguntas frecuentes
¿Cuántas palabras es un token?
Como referencia, en inglés un token equivale en promedio a unas tres cuartas partes de una palabra, o cerca de cuatro caracteres. En español, por las tildes y palabras más largas, suelen necesitarse algo más de tokens para el mismo texto.
¿Por qué los tokens afectan el costo de usar IA?
Porque las APIs de modelos cobran por tokens procesados, sumando los de tu prompt (entrada) y los de la respuesta (salida). Prompts más largos o respuestas más extensas consumen más tokens y, por lo tanto, cuestan más.
