Resumen rápido
- Un token es la unidad mínima de texto que el modelo procesa.
- Puede ser una palabra completa, una parte de ella o un símbolo.
- Los proveedores facturan por token, no por petición.
- Los modelos tienen un número máximo de tokens por solicitud.
- Optimizar el número de tokens ahorra dinero y evita errores.
Si alguna vez has usado un asistente de texto y te has preguntado por qué a veces te aparecen mensajes del tipo “has superado el límite de tokens”, no estás solo. Ese mensaje no es un error de programación, sino una regla de negocio basada en cómo la IA entiende y cobra el texto. En este artículo vamos a desmenuzar, con analogías cotidianas, qué es exactamente un token, cómo se contabiliza y por qué esa cuenta tiene consecuencias directas en el precio que pagas y en los límites que encuentras.
¿Qué es un token?
Imagina que quieres montar un rompecabezas. Cada pieza del puzzle representa una parte del mensaje que vas a enviar a la IA. Algunas piezas son grandes, como una pieza que contiene la palabra “casa”. Otras son más pequeñas, como una pieza que solo lleva la terminación “‑ar” de “cantar”. En el mundo de los modelos de lenguaje, esas piezas se llaman tokens. No son necesariamente palabras completas; pueden ser fragmentos de una palabra, signos de puntuación o incluso espacios, siempre dependiendo del vocabulario que el modelo haya aprendido.
Esta forma de dividir el texto permite que el modelo maneje de forma eficiente miles de palabras distintas sin tener que memorizar cada combinación posible. Al final, el modelo ve la entrada como una secuencia de tokens y genera la respuesta token a token.
Cómo se cuentan los tokens en la práctica
Para entenderlo mejor, veamos algunos ejemplos cotidianos.
- Frase corta: “Hola, ¿cómo estás?”
- “Hola” → 1 token
- “, ” (coma y espacio) → 1 token
- “¿” → 1 token
- “cómo” → 1 token
- “estás” → 1 token
- “?” → 1 token
Total: 6 tokens.
- Frase larga con palabras compuestas: “El rápido zorro marrón saltó sobre el perro perezoso.”
- Palabras como “rápido” o “marrón” pueden ocupar 1 token cada una, mientras que “perezoso” podría dividirse en dos tokens (“perez” + “oso”) según el vocabulario.
Total aproximado: 10‑12 tokens.
- Texto con emojis o símbolos: “¡Buen trabajo! 👍”
- El emoji suele contar como un token independiente.
Total: 4‑5 tokens, dependiendo del espacio y la puntuación.
Muchos proveedores ofrecen herramientas o “contadores de tokens” en línea que permiten pegar tu texto y ver rápidamente cuántos tokens representa. Utilizarlos antes de lanzar una petición ayuda a evitar sorpresas.
Por qué los tokens importan para el precio
La mayoría de los servicios de IA cobran por token, es decir, por cada pieza que envías y por cada pieza que recibes como respuesta. Imagina que cada token fuera una palabra que pagas en una tienda de café: si pides una taza pequeña (pocos tokens) pagas menos que si pides una taza grande con espuma y leche (muchos tokens). La facturación suele dividirse en dos partes:
- Tokens de entrada (prompt): lo que tú envías al modelo.
- Tokens de salida (completion): lo que el modelo genera como respuesta.
Si tu prompt es muy largo, consumes más tokens antes de que el modelo empiece a escribir. Del mismo modo, si solicitas una respuesta extensa, el número de tokens de salida crecerá y, con ello, el coste total. Por eso suele aconsejarse ser conciso: redacta preguntas claras, elimina repeticiones y usa formatos como listas cuando sea posible. Reducir tokens no solo ahorra dinero, sino que también acelera la respuesta.
Por qué los tokens importan para los límites
Los modelos de lenguaje no pueden procesar una cantidad infinita de tokens de una sola vez. Cada modelo tiene un máximo de tokens por solicitud, que incluye tanto los tokens de entrada como los de salida. Piensa en ello como el tamaño máximo de una caja de correos: si intentas meter más cartas de las que cabe, tendrás que dividir el envío en varios paquetes.
Cuando el total supera el límite, el modelo suele truncar (cortar) parte del texto de entrada o detener la generación de la respuesta. El resultado puede ser una respuesta incompleta o un mensaje de error. Por eso es útil:
- Revisar la longitud del prompt antes de enviarlo.
- Solicitar respuestas más breves cuando el límite está cerca.
- Dividir una tarea grande en varias peticiones más pequeñas.
En la práctica, si sabes que el modelo admite, por ejemplo, 4 000 tokens y tu prompt ya ocupa 3 500, solo dispones de 500 tokens para la respuesta. Ajustar el prompt a esa realidad evita que el modelo se quede “sin espacio”.
Preguntas frecuentes
¿Cómo saber cuántos tokens llevo en una petición?
Muchas plataformas ponen a disposición un contador en su interfaz o una API que devuelve el número de tokens usados. También puedes copiar el texto a un tokenizer online, que simula la misma división que el modelo.
¿Puedo reducir el número de tokens sin perder información?
Suele ser posible simplificar el mensaje: elimina palabras de relleno, usa sinónimos más cortos y aprovecha listas o viñetas. En algunos casos, reformular una frase larga en dos oraciones más breves reduce la fragmentación y, por tanto, el número de tokens.
¿Todos los tokens cuestan lo mismo?
En la mayoría de los esquemas de facturación, cada token cuenta por igual, independientemente de si es una palabra completa o un fragmento. Sin embargo, el coste total depende de cuántos tokens consumas en total (entrada + salida).
En resumen, los tokens son la medida básica que determina tanto el coste como la capacidad de una solicitud a la IA. Conocer cómo se forman, cómo se cuentan y cómo influyen en los límites te permite usar la tecnología de forma más eficiente y económica.
