Bits Críticos em Redes Neurais

A pesquisa em Deep Neural Lesion (DNL) identifica parâmetros extremamente sensíveis em redes neurais. Nesses pontos, a alteração de apenas alguns bits pode levar a uma falha drástica no desempenho do modelo, impactando tanto tarefas de visão quanto de linguagem. O trabalho também demonstra que proteger um pequeno subconjunto desses bits é uma estratégia eficaz para mitigar tais falhas.