Voltar
OpenAI Propõe Perplexity como Métrica Chave para Avaliar o Progresso da IA e a Segurança

OpenAI Propõe Perplexity como Métrica Chave para Avaliar o Progresso da IA e a Segurança

Aprofundamento CEVIU

Aprofundamento

A OpenAI, através de seu Chief Scientist Jakub Pachocki, propõe a perplexity (ou perda de entropia cruzada) como uma métrica unificada para avaliar o progresso da IA e estabelecer padrões de segurança. Pachocki argumenta que o desenvolvimento de IA moderna é intrinsecamente ligado ao treinamento de compressores de dados em larga escala. A empresa divulgou que seus modelos, como GPT-3.5 e GPT-4, alcançaram níveis de perplexity abaixo de 0.8. Esse avanço levou ao surgimento de capacidades

O que mudou

A discussão sobre a perplexity proposta por Pachocki alinha-se a um debate recente sobre métricas. Em 25 de setembro de 2026, o CEVIU noticiou que a Trajectory.ai introduziu a métrica de 'densidade de inteligência', que se afasta de medidas tradicionais de custo de treinamento, buscando otimizar a eficiência de modelos de IA. A proposta da OpenAI, por outro lado, foca na perplexity como um indicador de capacidades emergentes, não diretamente ligada a custos operacionais. Esta é a primeira vez que a OpenAI divulga abertamente suas medições internas de perplexity para modelos como GPT-3.5 e GPT-4, fornecendo uma base transparente para a avaliação de progresso em modelos de fundação.

Por que isso importa

Para desenvolvedores e pesquisadores de IA, a padronização da perplexity como uma métrica chave oferece uma base mais transparente e comparável para avaliar o progresso dos modelos. Ao vincular níveis de perplexity a capacidades emergentes, como as observadas em cibersegurança e matemática, a OpenAI oferece um roteiro preditivo para o desenvolvimento de IA. Essa transparência pode impulsionar uma colaboração mais eficaz em segurança e pesquisa, ao permitir que a indústria estabeleça limites de desenvolvimento e requisitos de segurança baseados em marcos de desempenho mensuráveis.

Linha do tempo

  1. Modelo Astra da OpenAI alcança pontuação perfeita no ExploitBench em cibersegurança.

  2. OpenAI introduz a técnica de 'recurrent depth' no modelo Astra, levantando alertas de segurança.

  3. OpenAI divulga resultados matemáticos de modelo interno de ponta e metodologia de revisão.

  4. OpenAI propõe perplexity como métrica-chave para avaliar o progresso da IA e a segurança.

Perguntas frequentes

O que é perplexity no contexto de modelos de IA?

Perplexity, ou perda de entropia cruzada, é uma métrica que mede a capacidade de um modelo de prever o próximo token em uma sequência. Quanto menor a perplexity, melhor o modelo prevê os dados, indicando uma compreensão mais profunda do padrão subjacente nos dados de treinamento.

Por que a OpenAI está propondo a perplexity como métrica de segurança?

A OpenAI argumenta que avanços significativos na redução da perplexity estão correlacionados com o surgimento de capacidades inesperadas e poderosas em modelos de IA. Monitorar a perplexity pode ajudar a prever quando um modelo está atingindo um limiar que exige novas avaliações de segurança e governança, antes que essas capacidades sejam plenamente exploradas.

Como a perplexity se relaciona com as capacidades de cibersegurança e matemática mencionadas?

A OpenAI observou que, ao atingir níveis de perplexity abaixo de 0.8, modelos de IA como GPT-4 exibiram capacidades transformadoras em domínios como cibersegurança e matemática, que não eram previsíveis. Isso sugere que a melhoria na capacidade de compressão de dados (refletida na perplexity) leva a uma inteligência mais geral e aplicável em diversas áreas.

Fontes

Avalie este artigo:
Categoria
CEVIU IA
Publicado
22 de novembro de 2026
Editoria
CEVIU IA

Quer receber mais sobre CEVIU IA?

Conteúdo curado diariamente, direto no seu e-mail.

Conteúdo curado diariamenteDiversas categoriasCancele quando quiser