O que é uma janela de contexto?
Uma janela de contexto é a quantidade de texto, medida em tokens, que um modelo de IA consegue absorver de uma vez: as instruções, a conversa até ali, os documentos e o espaço para a resposta.
Tudo o que um modelo sabe sobre o seu pedido precisa caber nela. O que não cabe, para aquela resposta, não existe.
Como funciona
O texto é dividido em tokens, pedaços de poucos caracteres cada, e a janela de contexto de um modelo é um número fixo deles. Cada pedido envia de novo o histórico relevante, então uma conversa longa, um arquivo grande ou um resultado de ferramenta extenso enchem a janela mais rápido.
Quando a janela enche, algo precisa ceder: mensagens antigas são descartadas ou resumidas, resultados longos são cortados ou o pedido é recusado.
Exemplos
- Um chat longo em que o modelo parece esquecer algo dito no começo.
- Um PDF grande que precisa ser pesquisado em partes em vez de lido inteiro.
- Um resultado de ferramenta, como uma página web longa, que empurra o resto da conversa para fora.
Limitações
- Uma janela maior custa mais por pedido e pode ser mais lenta.
- Os modelos não aproveitam igualmente todas as partes de uma janela longa; detalhes no meio podem passar despercebidos.
- Uma janela não é memória: nada nela passa sozinho para a próxima conversa.
Como a Venta usa isso
Quando uma conversa fica longa, a Venta condensa as trocas antigas em uma nota curta, para que o que foi dito antes continue valendo sem ser reenviado. Um pedido ainda grande demais para o modelo incluído é reenviado com os resultados longos das ferramentas cortados, e a Venta diz claramente quando ainda assim é grande demais.
Para os seus documentos, a Venta procura os trechos que correspondem à sua pergunta e envia esses, em vez de arquivos inteiros.
As perguntas que as pessoas fazem primeiro
- Quantos tokens tem uma palavra?
- Em inglês, um token tem em média cerca de quatro caracteres, então uma palavra costuma ter um ou dois tokens. Outros idiomas e código costumam ocupar mais.
- Uma janela de contexto maior é sempre melhor?
- Não. Ela deixa um modelo ler mais de uma vez, mas custa mais e não garante que ele aproveite tudo bem. Escolher os trechos certos costuma funcionar melhor.
- A Venta lembra coisas além da janela de contexto?
- Sim, pela memória: o que ela guardou sobre você, que você pode ver, baixar e desativar em um projeto.