A Arquitetura Por Trás dos LLMs Open-Source

No ecossistema open-weight, as equipes constroem sobre as inovações umas das outras para potencializar o ritmo do progresso. Esta publicação analisa vários modelos open source e as apostas de engenharia que definem cada um. Praticamente todos os principais modelos open-weight lançados na fronteira desde 2025 utilizam uma arquitetura transformer do tipo Mixture-of-Experts. É crucial entender que quase todo modelo 'open source' é, na verdade, open-weight — o que significa que os parâmetros treinados são públicos, mas os dados de treinamento e, frequentemente, o código completo de treinamento não são.