Mirendil lança o Fern, seu primeiro LLM, com janela de contexto de até 10 milhões de tokens

A Mirendil apresentou o Fern, seu primeiro modelo, pré-treinado do zero e com janela de contexto de até 10 milhões de tokens. A primeira versão, o Fern 0.1, passou por uma rodada curta de pós-treinamento, e a empresa diz que novas versões saem com frequência. O modelo é descrito como o mais eficiente da empresa, voltado a tarefas de agentes focadas e de alto volume.

O argumento técnico da empresa é que o desempenho cresce com computação gasta de duas formas: parâmetros ou comprimento de contexto. Mais parâmetros dão mais conhecimento estático e raciocínio mais sofisticado. Mais contexto permite usar mais informação da própria tarefa, como especificações, documentos, código e experiências passadas do agente. Dez milhões de tokens equivalem a cerca de 23 MB de código, algo como meio milhão de linhas, uma base na escala da biblioteca Megatron-LM, ou dezenas a centenas de traces completos de agentes. A Mirendil mostra que mais contexto ajuda até na previsão do próximo token (medida em bits por byte, em que menor é melhor) e faz um teste básico de acesso efetivo ao contexto longo com o RULER. Resultados mais completos de contexto longo ainda não saíram, segundo a própria empresa.

Para quem opera agentes e pipelines de treinamento, o recado é a aposta em contexto em vez de só parâmetros. Casos como auditar dados de pré-treino, depurar um treino a partir de logs e ler traces inteiros dependem de contexto longo que de fato funcione. Como os testes de contexto longo ainda são básicos, vale esperar os resultados mais amplos e medir no seu próprio fluxo antes de apostar nos 10 milhões de tokens.