Token (IA)

Antes de procesar un texto, el modelo lo divide en tokens. Una palabra corta y frecuente suele ser un token; una larga o poco común se parte en varios.

Los límites de longitud de los modelos y los precios de sus APIs se miden en tokens de entrada y de salida.

Un ejemplo

Una API que cobra por millón de tokens te cobra tanto por el texto que le envías como por la respuesta que genera.

Por qué importa

Los tokens importan porque son la unidad con la que se miden los límites y el coste de un modelo de lenguaje. Cada modelo tiene una ventana de contexto máxima, y en ella entran tanto tu petición como la respuesta; si te pasas, el modelo puede olvidar el principio de la conversación o rechazar el texto.

También afectan al precio cuando se usa una API: normalmente se cobra por tokens de entrada y de salida. Por eso, ser conciso en el prompt y no repetir textos largos innecesariamente ahorra dinero y mejora los resultados. En español suele hacer falta algo más de tokens que en inglés para el mismo texto, porque las palabras se dividen en más trozos.

Confusiones frecuentes

Un token no equivale exactamente a una palabra: puede ser una palabra corta, un trozo de una larga, un signo o un espacio. Por eso contar palabras no da el número exacto de tokens. Tampoco hay que confundirlo con el «token» de seguridad que se usa para autenticarse en servicios y APIs: comparten el nombre, pero son conceptos distintos.

Preguntas frecuentes

¿Cuántos tokens tiene mi texto?

Depende del modelo, porque cada uno trocea el texto a su manera. Muchos proveedores ofrecen un contador de tokens para comprobarlo antes de enviar.

¿Qué ocurre si supero el límite de contexto?

El modelo puede devolver un error o ignorar las partes más antiguas. Resume el texto o divídelo en partes más pequeñas.