Engenharia de Contexto para LLMs: Estratégias para Otimizar a Performance

Estudos indicam que o fornecimento de mais tokens para a janela de contexto de um LLM afeta negativamente a performance, com um estudo da Chroma de 2025 revelando que a precisão pode cair de 95% para 60% à medida que o tamanho da entrada aumenta. Esse desafio é abordado pela 'engenharia de contexto', que gerencia estrategicamente a entrada do modelo por meio de quatro táticas principais: uso de memória externa, seleção de informações relevantes via RAG, compressão do histórico de conversas e isolamento de preocupações entre múltiplos agentes.