Economia de contexto

Todo modelo de linguagem opera dentro de uma janela de contexto limitada. Tudo o que entra nessa janela, instruções, histórico de conversa, documentos anexados, consome espaço e custa dinheiro a cada chamada.

Isso cria uma escolha real de arquitetura. Um sistema pode tentar colocar tudo dentro do contexto de uma vez, ou pode buscar apenas o que é relevante no momento certo, usando ferramentas e recuperação de informação. A primeira abordagem é simples de construir e cara de rodar. A segunda exige mais engenharia, mas escala.

Na prática, projetar bem um sistema de IA é decidir o que merece entrar no contexto e o que pode ficar de fora até ser necessário.

Contexto não é um recurso infinito, é um orçamento.

Times que tratam contexto como orçamento, e não como despejo de informação, constroem sistemas mais rápidos, mais baratos e mais fáceis de manter.