Airbnb revoluciona avaliação de LLMs, reduzindo tempo de semanas para um dia

A abordagem da Airbnb para acelerar a avaliação de LLMs é um case de como a engenharia de software clássica se torna crucial para lidar com as especificidades dos modelos de IA em produção. A empresa focou em quatro camadas para transformar um processo de semanas em um ciclo diário. Primeiro, identificou as fontes de não-determinismo: tanto a variação nas respostas dos LLMs quanto a instabilidade na pontuação dos avaliadores. Para isso, criou um sistema de caching robusto, que armazena referências e pontuações, garantindo que entradas idênticas gerem resultados consistentes, uma base essencial para diagnosticar ruídos e comparar experimentos de forma confiável.

Em seguida, a Airbnb implementou os micro-adapters LoRA (Low-Rank Adaptation), pequenas adaptações que permitem correções pontuais em modelos base congelados. Com eles, é possível treinar um patch em menos de uma hora numa única GPU para resolver um problema específico, sem a necessidade de retreinar o modelo completo. Este sistema de mutação de modelo