Shopify Atinge 98% de Estabilidade em Testes End-to-End Mobile com Nova Abordagem

A busca por testes end-to-end (E2E) móveis estáveis sempre foi um desafio. A Shopify enfrentava isso: sua suíte, que deveria ser um controle de qualidade essencial, virou um gargalo para a integração contínua (CI). As falhas nos testes E2E móveis, baseados em Appium/WebdriverIO e React Native Test IDs, eram tão frequentes que a suíte foi desativada das verificações de pull requests. O problema estava na flexibilidade excessiva do setup anterior, que permitia atalhos como pause(1000) e validava detalhes de implementação em vez da real experiência do usuário. Elementos podiam ser clicados mesmo se estivessem ocultos, e a falta de asserções em cada etapa levava a detecção tardia de problemas.

A resposta da Shopify foi uma reformulação completa, focando em um wrapper com uma API estrita, estilo builder. Agora, cada passo exige uma asserção explícita sobre o estado esperado da tela, garantindo que o teste falhe imediatamente se a realidade divergir. Para situações onde é preciso contornar as regras, existem 'escape hatches' prefixados com UNSAFE_, desencorajando seu uso indiscriminado. A grande virada, porém, veio com a implementação de visão computacional. Em vez de React Native Test IDs, o sistema agora localiza elementos visivelmente, usando PaddleOCR para texto e OpenCV para ícones (comparando com SVGs do Polaris design system). Isso replica a percepção do usuário final e acelera a autoria de testes, pois os desenvolvedores podem escrever testes usando o que veem na tela, não o que está na árvore de componentes. Uma CLI unificada roda os mesmos testes em qualquer ambiente, de local a dispositivos remotos, e um 'flakiness gate' pré-promoção garante a estabilidade de novos testes antes de entrarem na suíte principal. A estabilidade saltou de 50% para 98%, uma prova de que a flakiness pode ser combatida com um framework bem projetado.

A Shopify evoluiu de uma suíte de testes E2E móveis com estabilidade de 50% para impressionantes 98%. O grande catalisador foi a substituição da abordagem anterior (Appium/WebdriverIO com React Native Test IDs flexíveis) por um wrapper opinativo com uma API estrita, estilo builder. Antes, a flexibilidade do Appium permitia práticas inconsistentes e falhas por elementos não encontrados ou asserções incorretas. Agora, a nova arquitetura força asserções a cada etapa e emprega visão computacional para localizar elementos como um usuário, não pela hierarquia de componentes. O que era um gargalo que bloqueava pull requests se transformou em uma ferramenta confiável de garantia de qualidade.

Esta nova abordagem da Shopify ressignifica o que é possível em testes E2E móveis. Uma estabilidade de 98% não só acelera o ciclo de desenvolvimento, minimizando o tempo perdido com testes falhos e falsos positivos, mas também aumenta a confiança da equipe de desenvolvimento em cada deploy. A metodologia impõe boas práticas, melhora a experiência do desenvolvedor (DX) ao simplificar a escrita e depuração de testes, e ainda prepara o terreno para a integração de agentes de IA na criação de testes, um ponto que o CEVIU News já cobriu em “Como a Expensify utiliza IA e agent-device para automação de testes e profiling mobile” (5 de julho de 2026). A capacidade de localizar elementos via visão computacional, espelhando a interação humana, representa um avanço significativo, desafiando a antiga crença de que testes E2E móveis são inerentemente instáveis.