OpenAI Propõe Perplexity como Métrica Chave para Avaliar o Progresso da IA e a Segurança
Aprofundamento CEVIU
Aprofundamento
A OpenAI, através de seu Chief Scientist Jakub Pachocki, propõe a perplexity (ou perda de entropia cruzada) como uma métrica unificada para avaliar o progresso da IA e estabelecer padrões de segurança. Pachocki argumenta que o desenvolvimento de IA moderna é intrinsecamente ligado ao treinamento de compressores de dados em larga escala. A empresa divulgou que seus modelos, como GPT-3.5 e GPT-4, alcançaram níveis de perplexity abaixo de 0.8. Esse avanço levou ao surgimento de capacidades
O que mudou
A discussão sobre a perplexity proposta por Pachocki alinha-se a um debate recente sobre métricas. Em 25 de setembro de 2026, o CEVIU noticiou que a Trajectory.ai introduziu a métrica de 'densidade de inteligência', que se afasta de medidas tradicionais de custo de treinamento, buscando otimizar a eficiência de modelos de IA. A proposta da OpenAI, por outro lado, foca na perplexity como um indicador de capacidades emergentes, não diretamente ligada a custos operacionais. Esta é a primeira vez que a OpenAI divulga abertamente suas medições internas de perplexity para modelos como GPT-3.5 e GPT-4, fornecendo uma base transparente para a avaliação de progresso em modelos de fundação.
Por que isso importa
Para desenvolvedores e pesquisadores de IA, a padronização da perplexity como uma métrica chave oferece uma base mais transparente e comparável para avaliar o progresso dos modelos. Ao vincular níveis de perplexity a capacidades emergentes, como as observadas em cibersegurança e matemática, a OpenAI oferece um roteiro preditivo para o desenvolvimento de IA. Essa transparência pode impulsionar uma colaboração mais eficaz em segurança e pesquisa, ao permitir que a indústria estabeleça limites de desenvolvimento e requisitos de segurança baseados em marcos de desempenho mensuráveis.
Linha do tempo
Modelo Astra da OpenAI alcança pontuação perfeita no ExploitBench em cibersegurança.
OpenAI introduz a técnica de 'recurrent depth' no modelo Astra, levantando alertas de segurança.
OpenAI divulga resultados matemáticos de modelo interno de ponta e metodologia de revisão.
OpenAI propõe perplexity como métrica-chave para avaliar o progresso da IA e a segurança.
Perguntas frequentes
O que é perplexity no contexto de modelos de IA?
Perplexity, ou perda de entropia cruzada, é uma métrica que mede a capacidade de um modelo de prever o próximo token em uma sequência. Quanto menor a perplexity, melhor o modelo prevê os dados, indicando uma compreensão mais profunda do padrão subjacente nos dados de treinamento.
Por que a OpenAI está propondo a perplexity como métrica de segurança?
A OpenAI argumenta que avanços significativos na redução da perplexity estão correlacionados com o surgimento de capacidades inesperadas e poderosas em modelos de IA. Monitorar a perplexity pode ajudar a prever quando um modelo está atingindo um limiar que exige novas avaliações de segurança e governança, antes que essas capacidades sejam plenamente exploradas.
Como a perplexity se relaciona com as capacidades de cibersegurança e matemática mencionadas?
A OpenAI observou que, ao atingir níveis de perplexity abaixo de 0.8, modelos de IA como GPT-4 exibiram capacidades transformadoras em domínios como cibersegurança e matemática, que não eram previsíveis. Isso sugere que a melhoria na capacidade de compressão de dados (refletida na perplexity) leva a uma inteligência mais geral e aplicável em diversas áreas.
Fontes
- openai.comfonte original
- Categoria
- CEVIU IA
- Publicado
- 22 de novembro de 2026
- Editoria
- CEVIU IA

