¿Qué es la "ventana de contexto" de una IA y por qué a veces parece que se le olvida la conversación?

El otoño pasado un cliente inmobiliario nos pidió un asistente que contestara preguntas sobre sus contratos de arras subiendo el PDF directamente al chat. Sonaba trivial. Probamos primero con un contrato corto, de ocho páginas, y funcionó perfecto: preguntas sobre plazos, sobre la cláusula de penalización, sobre quién se queda con la señal si se cae la operación. Todo bien: el contrato entero cabía de sobra en la ventana de contexto del modelo.

El problema llegó con uno de sus contratos largos de verdad, de los que arrastran anexos técnicos y un historial de modificaciones: cuarenta y tantas páginas, muchas más de las que cabían en esa ventana. El modelo empezó a responder con seguridad absoluta sobre cláusulas que no existían. No es que se equivocara un poco, es que se inventaba números de artículo enteros. La ventana de contexto es justo eso: el límite de cuánto texto puede “tener presente” un modelo a la vez, y cuando se supera, casi nunca avisa con un error claro, así que la IA “parece olvidar” el principio de la conversación o el documento y empieza a improvisar.

Es un concepto que casi ningún cliente conoce hasta que le explota en la cara: ese límite se mide en tokens, no en páginas ni en palabras (un token son más o menos tres o cuatro caracteres). Un modelo con ventana de 128.000 tokens puede manejar, a ojo, unas 300 páginas de texto normal. Suena generoso. Pero un PDF escaneado, con tablas mal convertidas o con imágenes incrustadas, puede convertirse en el doble o el triple de tokens de los que parece a simple vista, y ahí es donde el margen desaparece sin avisar.

Lo que pasa en la práctica, exactamente, es esto: según la herramienta, corta el documento por donde puede, o resume partes sin decírtelo, o simplemente rellena huecos con lo que le parece más probable dado el patrón del texto. Eso es lo que le pasó a nuestro cliente: el modelo no tenía el final del contrato en su ventana activa y, en vez de decir “no lo sé”, improvisó.

La solución que aplicamos no fue buscar un modelo con ventana más grande (los hay, hasta de un millón de tokens, pero cuestan más y van más lentos). Trabajamos con RAG: en vez de meter el contrato entero de golpe, el sistema busca primero los fragmentos relevantes para la pregunta concreta y solo esos entran en la ventana de contexto. Menos elegante que “sube el PDF y pregunta lo que quieras”, pero mucho más fiable, y de paso más barato, porque pagas por los tokens que realmente usa cada consulta.

Si alguien os vende un asistente de IA “sin límites” para documentos largos, preguntad qué pasa exactamente cuando el documento no cabe entero. Si la respuesta es vaga, probablemente no lo han probado con un caso real de cuarenta páginas.