Acelerando pesquisadores e desenvolvedores de IA multilíngue com um novo dataset aberto

O GitHub Multilingual Repositories Dataset, lançado em 15 de junho de 2026, é um conjunto de metadados, não um dump de conteúdo, que mapeia a presença de linguagem natural não inglesa em três pontos-chave de colaboração em repositórios públicos: READMEs, issues e pull requests. Ele classifica mais de 80 milhões de amostras (150 caracteres iniciais de cada texto) usando três ferramentas independentes: fastText, gcld3 e lingua-py, com exigência mínima de confiança de 0,5. Diferentemente de benchmarks tradicionais, o dataset mantém todas as classificações separadas para dar controle real ao pesquisador sobre precisão e recall, por exemplo, exigir concordância entre os três classificadores para criar um subconjunto de alta confiança em grego, ou usar apenas um para estudos exploratórios em línguas românicas.

O português aparece como a língua não inglesa mais frequente em READMEs, com mais de 3 milhões de repositórios identificados. Já o coreano lidera em issues, mas cai para quinto lugar em READMEs, um indicativo claro de que padrões de uso linguístico variam conforme o tipo de artefato colaborativo. O dataset inclui ainda metadados estruturados como data de criação do repositório, número de stars e forks, linguagem de programação principal e licença SPDX, permitindo correlações entre comportamento linguístico e dinâmica de projeto.

Esse dataset responde a uma lacuna crítica: a maioria dos modelos de IA para desenvolvedores (como assistentes de código, geradores de documentação ou revisores de PR) é treinada e avaliada em textos web genéricos ou em inglês técnico, não no português, espanhol, polonês ou turco reais usados por comunidades ativas no GitHub. Sem dados representativos dessa colaboração multilíngue, ferramentas tendem a falhar em contextos reais: traduzir mal comandos de instalação em READMEs, ignorar bugs descritos em português em issues ou gerar revisões de código em inglês mesmo quando toda a conversa do PR está em espanhol. O lançamento cumpre um compromisso da Microsoft sob os European Digital Commitments de 2025, priorizando acessibilidade de dados para desenvolvedores de IA de código aberto, especialmente em línguas europeias e outras historicamente subrepresentadas em corpora de treino.

Desenvolvedores de IA podem usar o dataset imediatamente para construir conjuntos de avaliação específicos, por exemplo, filtrar 10 mil repositórios com READMEs em português e issues em inglês para testar robustez de um gerador de documentação em cenários mistos. Time de engenharia de ferramentas pode medir cobertura linguística real de seus produtos: quantos dos 3 milhões de repositórios com READMEs em português já são suportados? E quanto àqueles com issues em árabe ou tailandês, que não foram classificados com alta confiança por nenhum dos três modelos? A transparência do dataset, expondo confianças individuais e fontes de classificação, permite diagnóstico fino de viés de ferramentas de detecção de idioma, sem depender de rótulos únicos e potencialmente enganosos. Isso é essencial para quem trabalha com GPT-4-turbo, Claude Sonnet ou Gemini 2.5 em pipelines de análise de código aberto multilíngue.