Frequentemente, ao visitar certos sites ou fóruns para pesquisar algo de útil, muitos pedem para cadastrar. Cada vez que um fórum me pede para registrar, eu simplesmente fecho o site. Você provavelmente faz o mesmo. Mas desta vez, vamos usar uma técnica para entrar nesses sites sem necessidade de registro!
Antes de começar, você deve saber como as coisas funcionam. Todos os sites e fóruns irão bloquear usuários não registrados, mas eles não vão bloquear o Google Bot.
O que vamos fazer é mudar o nosso “user agent” para Google Bot e poder navegar livremente em qualquer site ou forum sem se registrar. O “user agent” é a como o site reconhece o seu navegador. Ao invés do seu navegador ser reconhecido como Mozilla Firefox, será reconhecido como “Google Bot“, que é responsável pela indexação das páginas no Google. Então o site não vai bloquear o Google Bot, e você poderá navegar tranquilo.
Primeiro pegue o add-on para o Firefox chamado “user agent” aqui e instale-o. Agora, vá em Ferramentas> Default User Agent > Edit User Agents. Abra a opção Search Robots, dê um duplo clique em Googlebot 2.1 e edite conforme abaixo:
No campo Description coloque:
crawl-66-249-66-1.googlebot.com
No campo User Agent coloque:
Googlebot/2.1 (+http://www.googlebot.com/bot.html)
Selecione o Google Bot como seu User Script indo em Ferramentas > Default User Agent > Search Robots > crawl-66-249-66-1.googlebot.com.
Agora, chega de ficar preenchendo formulários e perdendo um tempão para caçar alguma simples informação!
Fonte: Inexistentman
