Treinamento de Modelos de Linguagem mRNA em 25 Espécies por $165

A OpenMed desenvolveu uma pipeline de IA abrangente para proteínas, cobrindo previsão de estrutura, design de sequências e otimização de códons. Comparando diversas arquiteturas de transformadores para modelagem de linguagem em nível de códon, o CodonRoBERTa-large-v2 se destacou, superando significativamente o ModernBERT em perplexidade e correlação CAI de Spearman. A equipe expandiu para 25 espécies, treinou quatro modelos de produção em 55 horas de GPU e desenvolveu um sistema condicionado por espécie, único entre projetos open-source. O post apresenta resultados completos, decisões arquitetônicas e código executável.