Liquid AI Otimiza Criação de Tokenizers com Agentes de Codificação Autônomos
Aprofundamento CEVIU
Aprofundamento
A Liquid AI, empresa com foco em otimização de infraestrutura de IA, acaba de lançar o toktoktok, um treinador de tokenizer BPE (Byte-Pair Encoding) de código aberto. O mais interessante é que o toktoktok não foi escrito por humanos. Ele é produto de agentes de codificação autônomos. Esse projeto exigiu que os agentes combinassem conhecimento profundo em Machine Learning (ML), para entender as nuances do treinamento de tokenizers, com habilidades de engenharia de sistemas, para lidar com as restrições de memória e performance de produção. É um belo exemplo prático do que o CEVIU News já cobriu em fevereiro de 2026, sobre o conceito de Fábricas de Software e o Momento Agentic, onde agentes de IA escrevem e refinam código de forma autônoma.
O grande diferencial da abordagem da Liquid AI foi a criação de um loop iterativo. Os agentes (Claude Opus 4.5 e Codex com GPT-5.2) não entregaram a solução final de primeira, mas foram capazes de diagnosticar problemas e refinar o código com base em testes contra dados de produção e verificação externa, garantindo que o tokenizer funcionasse corretamente com outras bibliotecas como tiktoken e Hugging Face tokenizers. Isso mostra a importância de uma especificação clara do objetivo e de um ambiente de verificação robusto para que os agentes possam “aprender” com a realidade e convergir para uma solução de qualidade de produção.
O que mudou
A cobertura do CEVIU News sobre Fábricas de Software e o Momento Agentic, em 9 de fevereiro de 2026, apresentou a ideia de agentes de IA escrevendo e refinando código. O que era um conceito promissor, agora tem uma implementação concreta e de código aberto na forma do toktoktok. A Liquid AI demonstra que não estamos mais falando apenas da possibilidade de agentes criarem software, mas sim de sistemas que resolvem problemas complexos e multidisciplinares em nível de produção, superando as limitações de expertise de um único engenheiro humano.
A experiência também revela uma evolução na forma de testar esses agentes. Sai a ideia de que eles “acertam de primeira” (zero-shot) e entra a necessidade de ciclos de iteração rigorosos. Não basta um teste em pequena escala; a verificação precisa ser contra dados de produção e por ferramentas externas, garantindo que a autonomia dos agentes resulte em artefatos confiáveis, como o toktoktok, que se integra com ferramentas existentes.
Por que isso importa
A capacidade de agentes de codificação autônomos criarem software de produção, como o toktoktok, muda a dinâmica do desenvolvimento. Isso sugere um futuro onde gargalos de expertise multi-domínio podem ser preenchidos por IA, liberando engenheiros para tarefas de maior nível. Além disso, a ênfase em loops iterativos e verificação externa estabelece um novo padrão para a engenharia de software com IA, focando na confiabilidade e adaptabilidade a cenários reais, e não apenas na geração inicial de código.
Para o CEVIU News, que já acompanhava o trabalho da Liquid AI com a apresentação de encoders de contexto longo otimizados para CPUs em 30 de julho de 2026, esta notícia reforça a posição da empresa na vanguarda da infraestrutura de IA, não só criando modelos eficientes, mas também as ferramentas para construí-los.
Linha do tempo
Fábricas de Software e o Momento Agentic: StrongDM desenvolve fábrica de software com agentes de IA autônomos.
IA ajudando a construir uma IA melhor: LinkedIn usa agentes de IA para acelerar a experimentação de modelos.
Compilação de Agente de IA: Redução Drástica de Tokens e Latência na Execução de Workflows.
Redução de 94% no Uso de Tokens Otimiza Agentes por Meio de Compilação de Habilidades.
Otimização de Agentes de IA: Redução Drástica de Tokens e Tempo de Execução.
Liquid AI Apresenta Encoders de Contexto Longo Otimizados para CPUs.
Liquid AI Otimiza Criação de Tokenizers com Agentes de Codificação Autônomos (toktoktok).
Perguntas frequentes
O que é um tokenizer e por que o toktoktok é importante?
Um tokenizer é um componente fundamental em modelos de linguagem, que quebra o texto em unidades menores (tokens) para processamento. O toktoktok é importante porque ele é um treinador de tokenizer BPE (Byte-Pair Encoding) otimizado para ambientes de produção, capaz de lidar com grandes volumes de dados e restrições de memória. Ele oferece recursos que bibliotecas existentes não tinham, como warm start e orçamento de vocabulário por idioma.
Como um agente de codificação autônomo funciona?
Um agente de codificação autônomo, como os usados pela Liquid AI, é um sistema de IA que pode entender uma especificação de objetivo, gerar código para alcançá-lo e iterar sobre esse código. Ele faz isso diagnosticar problemas, propor correções e refinar a solução com base em testes e feedback do ambiente. No caso do toktoktok, os agentes utilizaram modelos avançados como Claude Opus 4.5 e Codex com GPT-5.2.
Como garantir a confiabilidade do código gerado por IA?
A confiabilidade do código gerado por IA é garantida por meio de um processo de desenvolvimento iterativo e robusto. Isso inclui o uso de especificações claras, testes contra dados de produção em larga escala e, crucialmente, a verificação externa por ferramentas ou bibliotecas que o agente não controla. No projeto toktoktok, o código foi validado por sua interoperabilidade com bibliotecas existentes como tiktoken e Hugging Face tokenizers.
Qual a relação entre o toktoktok e a cobertura anterior do CEVIU sobre agentes de IA?
O toktoktok é um exemplo concreto e de produção do conceito de 'Fábricas de Software e o Momento Agentic' que o CEVIU News cobriu em 9 de fevereiro de 2026. Aquela matéria discutia a capacidade dos agentes de IA de escrever e refinar código autonomamente. O caso do toktoktok demonstra essa capacidade na prática, com agentes resolvendo um problema complexo que exige expertise multidisciplinar e entregando um software funcional e de código aberto.
Fontes
- liquid.aifonte original
- Categoria
- CEVIU IA
- Publicado
- 19 de agosto de 2026
- Editoria
- CEVIU IA

