Como a Cursor Avalia a Qualidade dos Modelos de IA

A Cursor emprega um processo híbrido de avaliação, online e offline, para garantir que sua compreensão da qualidade dos modelos esteja alinhada com as atividades reais dos desenvolvedores ‍. A parte offline utiliza o CursorBench, um conjunto de avaliação interno baseado em sessões reais da equipe de engenharia da Cursor. Ele mede múltiplas dimensões do desempenho do agente, incluindo a correção da colusão, a qualidade do código, a eficiência e o comportamento de interação.

A parte online envolve uma análise controlada sobre o tráfego em tempo real , que identifica regressões que os conjuntos offline podem não detectar. Juntos, esses componentes mantêm a percepção da Cursor sobre a qualidade do modelo firmemente enraizada no ambiente de produção, mesmo com a evolução dos fluxos de trabalho .