Entregar o controle a uma superinteligência pode ser um risco para a humanidade, argumenta texto

O texto, publicado no Substack de Ruxandra Teslo, parte de uma conversa em San Francisco com alguém que constrói IA num dos grandes laboratórios. A pessoa disse que, depois da superinteligência, não via outro destino para a humanidade além da perda permanente de poder, sob uma IA benevolente. A autora chama essa visão de handoverismo: a humanidade sobrevive, mas entrega a direção do futuro à IA.

Ela cita o ensaio recente de Scott Alexander, que defende deixar uma IA "divina", se comprovadamente alinhada, arrumar o mundo como achar melhor. Cita também a proposta AI 2040, em que a responsabilidade passa aos poucos para máquinas alinhadas até haver um ponto sem retorno. A autora estima, com incerteza declarada, que 30 a 40 por cento da comunidade de segurança em IA fora dos laboratórios tenha alguma variação dessa visão, e mais gente dentro deles. O gatilho do debate é a "auto-melhoria recursiva" (RSI), discutida em alguns círculos como possível em poucos meses. Ela não afirma que o cenário vai acontecer, só que a crença é sincera e merece resposta.

Para quem trabalha com IA, isso mostra que a ideia de ceder decisões a sistemas automatizados não é só ficção. Circula entre quem constrói esses sistemas. Na prática, vale pesar onde o julgamento humano continua no circuito, porque o argumento central do texto é que a direção da tecnologia ainda está em mãos humanas. Isso é uma leitura editorial, não uma previsão.