¿Qué son los tokens en IA?
Los tokens son las piezas de texto que un modelo de IA lee y produce — y la unidad en la que se escriben todos los límites de contexto y las facturas de API.
La definición, en una frase
Un token es un fragmento de texto — muchas veces una palabra común completa, a veces un fragmento de palabra o un símbolo — que un modelo de lenguaje procesa como una sola unidad. Los modelos nunca ven letras directamente: un tokenizador convierte primero tu texto en identificadores de token, y todo lo que sigue (límites de contexto, precios, medidores de uso) se cuenta en esos tokens.
Para el inglés normal, un token equivale a unas 0,75 palabras, o aproximadamente 4 caracteres incluyendo espacios. Ese único ratio convierte entre las unidades que conoces (palabras, páginas) y las unidades en las que facturan los proveedores (tokens).
Cómo es un token en la práctica
Las palabras cortas comunes se comprimen en un solo token: the, and, is. Las palabras más largas o raras se dividen en piezas. Números, URLs, identificadores de código y emojis se rompen en muchos tokens.
Cada familia de modelos entrenó su propio vocabulario de tokenizador, así que la misma frase cuesta un número ligeramente distinto de tokens en GPT, Claude, Gemini, Grok y Kimi — y las generaciones de tokenizadores cambian dentro de un mismo proveedor.
Dónde aparecen los tokens en una solicitud de IA
Los tokens de entrada incluyen todo lo que se envía al modelo: instrucciones del sistema, mensajes, historial de conversación, documentos recuperados y definiciones de herramientas. Los tokens de salida los genera el modelo a una tarifa mayor — típicamente 3–6 veces la de entrada. Los tokens de entrada en caché son prefijos repetidos que se sirven con un gran descuento.
- Entrada: instrucciones, preguntas, contexto e historial.
- Salida: la respuesta del modelo — el tramo más caro.
- Entrada en caché: prefijos reutilizados, a menudo al 10% del precio de entrada.
Por qué importa el conteo de tokens
Los tokens determinan si una solicitud cabe en la ventana de contexto de un modelo y cuánto cuesta. Un mensaje corto puede convertirse en una solicitud grande si la aplicación adjunta un prompt de sistema largo, muchos documentos o una conversación entera.
A escala, las pequeñas decisiones de tokens se acumulan: recortar el 20% de los tokens del prompt en una carga de trabajo de 2.000 USD/mes ahorra 400 USD — sin contar la salida que dejas de generar.
¿Cuántas palabras es un token?
Los ratios de planificación: 1 token ≈ 0,75 palabras ≈ 4 caracteres; 1 palabra ≈ 1,3 tokens; 1.000 tokens ≈ 750 palabras, o 1,5–2 páginas. Una ventana de 128K tokens contiene aproximadamente una novela; 1M de tokens, unas diez.
Usa rangos, no números únicos: el inglés casual ronda 0,85 palabras por token, la prosa técnica densa se acerca a 0,65, y el código o los alfabetos no latinos son bastante más densos.
Un flujo de trabajo útil de planificación
Cuenta primero el prompt estable — un tokenizador real en tu navegador da conteos exactos para modelos de OpenAI y una aproximación etiquetada para el resto. Añade el contexto típico de conversación y recuperación, reserva espacio para la respuesta y multiplica por tráfico realista.
Finalmente, calibra: los proveedores devuelven conteos exactos de uso con cada respuesta. Regístralos durante una semana y compáralos con tus estimaciones.
Preguntas frecuentes
¿Qué es exactamente un token en IA?
Una pieza de texto — normalmente una palabra común o un fragmento — que un modelo lee o genera como una unidad. Los proveedores cobran por token, por separado para entrada y salida.
¿Qué son los tokens en términos simples?
Imagina los tokens como piezas de LEGO de texto: las palabras frecuentes son una sola pieza; las palabras raras, los números y el código son varias piezas pequeñas unidas.
¿Cuántas palabras es un token?
Unas 0,75 palabras en inglés por token; una palabra cuesta aproximadamente 1,3 tokens. 1.000 tokens son aproximadamente 750 palabras.
¿Qué son tokens de entrada frente a tokens de salida?
Los tokens de entrada son todo lo que envías en la solicitud; los de salida son lo que genera el modelo, facturados a una tarifa mayor por token.
¿Todos los modelos de IA usan los mismos tokens?
No. Cada familia de modelos tiene su propio vocabulario de tokenizador, así que el mismo texto produce conteos distintos en GPT, Claude, Gemini, Grok y Kimi.