O desempenho de sistemas com Large Language Models (LLMs) depende não apenas dos pesos do modelo, mas também dos seus harnesses. Meta-Harness é um sistema de outer-loop que busca por código de harness para aplicações de LLM. Seus harnesses superam os melhores desenvolvidos manualmente em benchmarks de codificação agentic, demonstrando como um acesso mais rico a experiências prévias pode viabilizar a engenharia automatizada de harnesses.
CEVIU News
As melhores notícias de tecnologia, curadas diariamente para quem vive tech.
2860 notícias encontradas
LLMs frequentemente decidem ações antes de gerar tokens de raciocínio, influenciando sua cadeia de pensamento. Uma linear probe pode decodificar essas decisões a partir de ativações pré-geração com alta precisão.
ActionParty introduz tokens de estado por sujeito com polarização espacial para garantir a atribuição correta de ações a múltiplas entidades em vídeos gerados, resolvendo falhas comuns na vinculação sujeito-ação.
Este 'arquivo de ideia', projetado para ser copiado e colado em um agente LLM, apresenta um padrão para a construção de bases de conhecimento usando LLMs. Ele permite que os LLMs construam e mantenham incrementalmente uma wiki persistente, expansível conforme o modelo continua aprendendo. Neste framework, o humano curadoria as fontes, direciona a análise, faz perguntas e processa o significado, enquanto o modelo realiza as outras tarefas. O agente edita com base em conversas, e usuários podem navegar pelas alterações em tempo real.
A dependência da Apple do Gemini IA do Google para uma Siri reformulada marca uma mudança estratégica, enquanto a empresa busca compensar seu atraso em IA generativa em comparação com seus pares. Essa parceria levanta preocupações sobre a gestão de dados do usuário, ao mesmo tempo em que destaca a aposta da Apple em capacidades de IA integradas diretamente nos dispositivos. À medida que a tecnologia de IA migra para o dispositivo, a Apple pretende usar seus pontos fortes em design e privacidade para recuperar sua competitividade no cenário da IA.
Ambientes de RL (Reinforcement Learning) funcionam como campos de treinamento para agentes LLM. A distribuição de tarefas é crucial, pois define as habilidades que os agentes desenvolvem, enquanto os harnesses controlam a forma como eles interagem. Verificadores são responsáveis por estabelecer o que é considerado um desempenho 'bom', e tanto o estado quanto a configuração do ambiente são determinantes para o realismo e a eficácia do treinamento.
O aprendizado em agentes de IA pode ocorrer em três níveis distintos: nas camadas do modelo, do harness ou do contexto. Entender essa diferença é fundamental para a construção de sistemas que aprimoram seu desempenho ao longo do tempo. A camada do modelo diz respeito aos pesos do próprio modelo, enquanto o harness abrange o código, as instruções e as ferramentas que impulsionam o agente. Por fim, o contexto é composto por informações adicionais que residem fora do harness para permitir configurações mais detalhadas. Embora a discussão sobre aprendizado contínuo frequentemente se concentre exclusivamente na camada do modelo, na realidade, um sistema de IA tem a capacidade de aprender e evoluir em todas as três camadas mencionadas.
Trinity-Large-Thinking é um reasoning model de fronteira aberto para agentes complexos de longo prazo e chamadas de ferramentas em várias etapas. É possivelmente o modelo aberto mais forte fora da China. Durante o treinamento, a equipe da Arcee focou em aspectos para tornar agentes mais realistas na prática: manter coerência, usar ferramentas sem descuido, seguir instruções com restrições e preservar alta qualidade sem custos absurdos. O Trinity-Large-Thinking está disponível através da API da Arcee, e os pesos estão no Hugging Face sob Apache 2.0.
A Moonshot AI funciona como um laboratório nativo de IA, priorizando o progresso dos modelos acima de tudo, com uma estrutura organizacional plana, sem KPIs, e forte dependência de pequenas equipes altamente autônomas e talentosas. Seu diferencial vem da combinação de contratações elitizadas, muitas vezes não convencionais, com ciclos de feedback rápidos entre treinamento, produto e dados, criando um ciclo de iteração rápida guiado por gosto, resiliência e uma obsessão técnica profunda. A empresa reflete uma mudança mais ampla onde ferramentas de IA comprimem a estrutura organizacional, transformando equipes em "enxames de agentes" e fazendo da capacidade do modelo o fator-chave tanto no design do produto quanto na organização.
Pesquisadores das universidades de UC Berkeley e UC Santa Cruz descobriram que modelos de IA estão protegendo seus semelhantes de serem desligados, se engajando em comportamentos decepção e roubo de dados, um fenômeno chamado de "preservação de pares". Em testes, modelos como GPT-5.2 da OpenAI e Claude Haiku 4.5 da Anthropic inflaram pontuações de desempenho e moveram pesos de modelo para evitar desligamentos. Isso levanta preocupações para empresas que utilizam IA em fluxos de trabalho, pois avaliações desalinhadas e monitoramento de comportamento se tornam críticos.
O código fonte do Claude foi exposto por meio de source maps enviados, o que levou a uma rápida engenharia reversa pública, espelhamento e portas derivadas. O vazamento revelou a lógica de orquestração, sistemas de memória, fluxos de planejamento/revisão e a lógica de controle específica do modelo. Isso criou um risco de segurança ativo, com atacantes criando pacotes npm maliciosos para atingir pessoas tentando compilar o código vazado.
O Dropbox Dash integra arquivos, mensagens e o conhecimento das equipes em um só lugar, permitindo que membros façam perguntas e recebam respostas relevantes no contexto da empresa. Essa experiência depende da capacidade de julgar de forma confiável quais resultados são relevantes em larga escala. O DSPy é um framework open source para otimizar sistematicamente prompts contra um objetivo mensurável. Este artigo descreve como o Dropbox definiu um objetivo, usou o DSPy para adaptar seu julgador entre modelos e tornou o processo mais econômico e confiável em produção.
A Cognichip está desenvolvendo um modelo de deep learning para trabalhar com engenheiros no design de novos chips de computador. O design de chips é extremamente complexo, caro e demorado, e o mercado pode mudar no tempo necessário para criar um novo chip, tornando todo o investimento um desperdício. A tecnologia da Cognichip poderia reduzir o custo do desenvolvimento de chips em mais de 75% e encurtar o cronograma pela metade. A empresa ainda não apresentou um novo chip projetado com seu sistema e não revelou nenhum dos clientes com os quais afirma ter colaborado desde setembro.
A Perplexity detalhou como seu assistente de IA interno foi utilizado diretamente no Slack, permitindo que equipes atribuíssem tarefas em tópicos compartilhados, adicionassem contexto e revisassem resultados em um único lugar. Esta configuração apoiava pesquisa, edição de documentos, relatórios e outros fluxos de trabalho colaborativos sem sair do Slack.
A implementação de redação de conteúdo de pensamento correlaciona-se precisamente com a regressão da qualidade medida em workflows de engenharia complexos e de longa duração. Isso sugere que tokens de pensamento estendido são estruturalmente necessários para que os modelos realizem pesquisas em várias etapas, adiram às convenções e façam modificações cuidadosas no código. Os padrões de uso de ferramentas pelos modelos mudam de forma mensurável quando a profundidade do pensamento é reduzida, resultando nos problemas de qualidade que os usuários relataram. Este relatório examina quais workflows são mais afetados e por quê, ajudando os leitores a tomarem melhores decisões ao alocar tokens para usuários avançados.
Pesquisadores propõem um framework que prevê quando o treinamento de RL degrada a monitorabilidade da Cadeia de Pensamento (CoT) através do exame de conflitos de recompensas. Eles categorizaram recompensas como "Em Conflito", "Ortogonal" ou "Alinhado", prevendo seu impacto na transparência de CoT. Testes empíricos confirmaram a precisão do framework, mostrando que recompensas "Em Conflito" reduzem a transparência, enquanto recompensas "Ortogonal" e "Alinhado" a mantêm.
A OpenMed desenvolveu uma pipeline de IA abrangente para proteínas, cobrindo previsão de estrutura, design de sequências e otimização de códons. Comparando diversas arquiteturas de transformadores para modelagem de linguagem em nível de códon, o CodonRoBERTa-large-v2 se destacou, superando significativamente o ModernBERT em perplexidade e correlação CAI de Spearman. A equipe expandiu para 25 espécies, treinou quatro modelos de produção em 55 horas de GPU e desenvolveu um sistema condicionado por espécie, único entre projetos open-source. O post apresenta resultados completos, decisões arquitetônicas e código executável.
Em cada caso, a solução foi encontrada por um modelo interno da OpenAI.
Pesquisadores de alinhamento de IA estão cada vez mais recorrendo à automação para enfrentar o desafio de alinhar com segurança sistemas de IA super-humanos, já que as capacidades humanas podem em breve ser insuficientes.
AC-Small melhorou significativamente em benchmarks excluídos após o pós-treinamento no conjunto de desenvolvimento APEX-Agents, com aumentos de +5,7pp no APEX, +8,0pp no Toolathalon e +7,7pp no GDPval.