Ventana de contexto
Cantidad máxima de texto, medida en tokens, que un modelo de lenguaje puede tener en cuenta de una vez.
Incluye todo lo que el modelo maneja a la vez: las instrucciones, los mensajes anteriores, los documentos adjuntos y la respuesta que escribe. Cuando se llena, lo más antiguo deja de estar disponible.
Por eso en conversaciones muy largas el asistente puede perder detalles del principio. Resumir y empezar una conversación nueva suele ayudar.
Un ejemplo
Pegas un documento enorme y, al preguntar por un detalle del inicio, el chatbot no lo recuerda: el texto no cabía en su ventana de contexto.