CEVIU Logo
Voltar
Diagram of three-step Judge-Evaluate-Iterate Loop: define a judge with objective criteria, evaluate model outputs against it, then iterate and refine, repeating in a cycle.
The judge-evaluate-iterate loop involves specifying judgement criteria, evaluating outputs against those criteria, and iterating over the implementation to improve those outputs.

Crítica como habilidade central do design na era da IA

Aprofundamento CEVIU

Aprofundamento

O designer deixou de ser o autor de telas estáticas para virar o guardião de um sistema vivo: cada prompt, cada contexto injetado, cada avaliação de saída é uma decisão de design que impacta a experiência real do usuário. Isso não é só sobre escrever melhor, é sobre construir um processo crítico repetível, com critérios objetivos (não subjetivos), treináveis por humanos e por IA. Um bom critério não diz 'a resposta deve soar empática', mas 'deve incluir exatamente um reconhecimento explícito da frustração do usuário + uma ação concreta com prazo definido'. Essa objetividade permite escalar avaliações com LLMs como juízes, desde que calibrados contra anotações humanas reais, com F1 ≥ 0.8. E isso já está em produção: times no Spotify DJ usam pares de respostas 'boas/ruins' para fine-tuning contínuo de agentes conversacionais; equipes no Notion AI monitoram em tempo real a fidelidade semântica de resumos com ferramentas como Galileo.

A crítica aqui não é uma etapa final, é o núcleo operacional. Ela se entrelaça com arquitetura de contexto (como mostramos em 15/06) e com o conceito de 'pronto' como processo contínuo (6/02). Designers nativos de IA hoje entregam não apenas prompts, mas conjuntos de testes de avaliação, bancos de casos de falha rotulados e definições de 'passou' que são auditáveis por engenheiros, cientistas de dados e até por compliance. É design como especificação executável, não mais em Figma, mas em código, dados e critérios mensuráveis.

O que mudou

Em abril, falávamos de designers como 'condutores' de protótipos funcionais. Hoje, esse papel evoluiu para 'árbitros de qualidade': não basta conduzir, é preciso julgar com rigor, medir com precisão e iterar com frequência. A grande mudança prática é que o ciclo judge-evaluate-iterate deixou de ser teórico, virou rotina em times que lançaram funcionalidades com IA em produção. Enquanto em 02/06 discutíamos o que significa 'pronto', agora temos equipes aplicando avaliação contínua em produção com monitoramento em tempo real via Galileo e Braintrust. E o que era uma comparação metafórica (IA como lâmpada mágica, 13/04) agora ganhou mecanismos concretos: critérios objetivos, F1 como métrica de confiança e pares de respostas para fine-tuning.

Por que isso importa

Porque erros de IA não são bugs, são desalinhamentos silenciosos entre intenção humana e comportamento probabilístico. Um chatbot que responde 'sim' a uma pergunta sobre risco de câncer pode passar em todos os testes unitários, mas falhar catastroficamente na prática. Crítica estruturada é a única barreira entre essa falha e o usuário. E ela é acessível: não exige PhD em ML, mas sim domínio de métodos de avaliação, habilidade de decompor necessidades em critérios observáveis e disciplina para manter o loop ativo, mesmo quando os resultados parecem estáveis. É a diferença entre projetar *para* a IA e projetar *com* ela, como parceira que precisa ser constantemente orientada, não programada.

Linha do tempo

  1. CEVIU publica analogia da IA como lâmpada mágica, destacando o desafio de definir o 'o quê' em vez do 'como'

  2. CEVIU define o designer nativo de IA como 'condutor' de protótipos funcionais, não tradutor de mockups

  3. CEVIU introduz o conceito de 'design por dentro', com foco em código, dados reais e iterações rápidas

  4. CEVIU redefine 'pronto' como processo contínuo, não estado estático, para funcionalidades com IA

  5. CEVIU conclui, após 28 entrevistas, que pensamento crítico, não ferramentas, é a habilidade central do designer nativo de IA

  6. CEVIU mostra que o design migrou do prompt engineering para a arquitetura de contexto como fronteira principal

  7. Notícia atual: crítica estruturada se consolida como habilidade central, com ciclo judge-evaluate-iterate como prática operacional

Perguntas frequentes

Como transformar uma necessidade subjetiva ('a resposta deve ser empática') em um critério objetivo avaliável?

Quebre em elementos observáveis: presença de reconhecimento explícito da emoção do usuário (ex: 'entendo que isso é frustrante'), uso de linguagem ativa ('vamos resolver isso juntos'), e ausência de jargão técnico. Teste com 3+ avaliadores humanos: se >90% concordam em 80% dos casos, o critério está suficientemente objetivo.

Quando usar avaliação humana x avaliação por LLM-juíz?

Use humanos para definir critérios iniciais, calibrar o LLM-juíz e revisar falhas críticas (ex: segurança, ética, contexto sensível). Use LLM-juíz para escalar avaliações rotineiras, desde que tenha F1 ≥ 0.8 contra amostra humana representativa. Nunca substitua humanos em decisões de alto impacto.

Por que dividir critérios complexos em componentes menores melhora a avaliação?

Permite usar modelos menos potentes (e mais baratos) para partes objetivas (ex: verificação de contraste de cor via WCAG), enquanto reserva modelos avançados só para julgamentos sutis (ex: adequação do tom). Também facilita depuração: se um critério falha, você identifica exatamente qual componente gerou o problema.

O que fazer quando o modelo ignora mudanças no prompt?

Mude de estratégia: em vez de refinar o prompt, crie pares 'entrada → saída boa' e 'entrada → saída ruim' e use-os para fine-tuning supervisionado. Ou adicione camadas de validação pós-processamento, como um filtro determinístico que rejeita respostas com mais de 3 frases em interações rápidas.

Fontes

Avalie este artigo:
Compartilhar:
Categoria
CEVIU Design
Publicado
16 de junho de 2026
Editoria
CEVIU Design

Quer receber mais sobre CEVIU Design?

Conteúdo curado diariamente, direto no seu e-mail.

Conteúdo curado diariamenteDiversas categoriasCancele quando quiser