Open ASR Leaderboard ganha dados privados de inglês egípcio e nigeriano, em parceria com a Liva AI

O Open ASR Leaderboard, mantido no Hugging Face, passou a incluir dados privados (held-out) para reduzir o benchmaxxing, quando modelos são otimizados para conjuntos públicos conhecidos. A primeira leva trouxe 11 splits da Appen e da DataOceanAI, com fala roteirizada e conversacional de cinco sotaques. Depois veio um split de inglês indiano, em parceria com a Voice Arena. Agora entram o inglês egípcio e o nigeriano, via Liva AI.

A aba Private ganhou um detalhamento novo, baseado nos Three Circles de Kachru (ideia atribuída ao leaderboard da Hume AI). O placar reporta EUA contra não-EUA (Reino Unido, Austrália, Canadá, Índia, Nigéria e Egito) e Inner Circle (EUA, Reino Unido, Austrália e Canadá) contra Outer e Expanding Circles (Índia, Nigéria e Egito). Quando mais sotaques entrarem, Outer e Expanding serão separados. A Liva AI coleta dados multimodais em produtos de consumo usados por pessoas reais, o que, segundo a fonte, dá acesso a comportamento natural e rico em contexto, e não a interações induzidas ou baseadas em tarefas.

Para quem escolhe ou treina modelos de ASR, a leitura é que a média geral esconde bastante coisa. Um modelo pode ir bem no inglês americano e cair em sotaques fora do Inner Circle. Os dados privados permitem checar isso sem o risco de o modelo ter visto o teste no treino. Vale olhar a quebra por círculo antes de pôr um modelo em produção para usuários fora de EUA e Reino Unido.