Un token es la unidad básica de texto que procesa un modelo de lenguaje. Antes de «leer» un texto, el modelo lo divide en tokens, que pueden ser palabras enteras, fragmentos de palabras o signos de puntuación. Por ejemplo, la palabra «inteligencia» puede dividirse en varios tokens, mientras que palabras comunes suelen ocupar uno solo.
Los tokens importan porque casi todo en los modelos de IA se mide en ellos: la longitud máxima que un modelo puede manejar de una vez (la ventana de contexto), la velocidad de generación y, sobre todo, el precio. Las APIs de OpenAI, Anthropic o Google cobran por cantidad de tokens de entrada y de salida.
Como regla aproximada en inglés, un token equivale a unos cuatro caracteres o tres cuartos de palabra; en español la proporción varía. Entender los tokens ayuda a estimar costos y a no superar los límites de contexto.
Noticias relacionadas
Preguntas frecuentes
¿Cuántas palabras es un token?
Como referencia, en inglés un token equivale en promedio a unas tres cuartas partes de una palabra, o cerca de cuatro caracteres. En español, por las tildes y palabras más largas, suelen necesitarse algo más de tokens para el mismo texto.
¿Por qué los tokens afectan el costo de usar IA?
Porque las APIs de modelos cobran por tokens procesados, sumando los de tu prompt (entrada) y los de la respuesta (salida). Prompts más largos o respuestas más extensas consumen más tokens y, por lo tanto, cuestan más.
