Amazonbot finalmente passa a respeitar robots.txt

A partir de 15 de junho, o Amazonbot fará a transição oficial para respeitar as diretrizes padrão do robots.txt, concedendo aos proprietários de sites controle direto sobre como o crawler acessa seus domínios.