¿Qué es una ventana de contexto?
Una ventana de contexto es la cantidad de texto, medida en tokens, que un modelo de IA puede asimilar de una vez: las instrucciones, la conversación hasta ese momento, los documentos y el espacio para su respuesta.
Todo lo que un modelo sabe sobre tu petición tiene que caber dentro. Lo que no cabe, para esa respuesta, no existe.
Cómo funciona
El texto se divide en tokens, fragmentos de unos pocos caracteres, y la ventana de contexto de un modelo es un número fijo de ellos. Cada petición vuelve a enviar el historial relevante, así que una conversación larga, un archivo grande o un resultado de herramienta extenso llenan la ventana más rápido.
Cuando la ventana se llena, algo tiene que ceder: los mensajes antiguos se descartan o se resumen, los resultados largos se recortan o la petición se rechaza.
Ejemplos
- Un chat largo en el que el modelo parece olvidar algo dicho al principio.
- Un PDF grande que hay que buscar por partes en lugar de leerlo entero.
- Un resultado de herramienta, como una página web larga, que desplaza al resto de la conversación.
Limitaciones
- Una ventana más grande cuesta más por petición y puede ser más lenta.
- Los modelos no aprovechan igual todas las partes de una ventana larga; los detalles del medio pueden pasarse por alto.
- Una ventana no es memoria: nada de lo que contiene pasa por sí solo a la siguiente conversación.
Cómo lo usa Venta
Cuando una conversación se alarga, Venta condensa los turnos antiguos en una nota breve, para que lo dicho antes siga contando sin volver a enviarlo. Una petición que sigue siendo demasiado grande para el modelo incluido se reenvía con los resultados largos de las herramientas recortados, y Venta dice claramente si aun así es demasiado grande.
Para tus documentos, Venta busca los pasajes que coinciden con tu pregunta y envía esos, en lugar de archivos enteros.
Las preguntas que la gente hace primero
- ¿Cuántos tokens tiene una palabra?
- En inglés, un token tiene de media unos cuatro caracteres, así que una palabra suele ser uno o dos tokens. Otros idiomas y el código suelen ocupar más.
- ¿Una ventana de contexto más grande es siempre mejor?
- No. Permite a un modelo leer más de una vez, pero cuesta más y no garantiza que lo aproveche todo bien. Elegir los pasajes adecuados suele funcionar mejor.
- ¿Venta recuerda cosas más allá de la ventana de contexto?
- Sí, mediante la memoria: lo que ha guardado sobre ti, que puedes ver, descargar y desactivar en un proyecto.