Como Criar robots.txt e Bloquear os Mecanismos de Busca

Os bots dos mecanismos de busca estão constantemente escaneando sites para serem indexados. Mas por alguma razão você pode optar por esconder seus sites. Neste caso o robots.txt pode ser utilizado para impedir que os bots acessem a sua página.

Neste tutorial, você vai aprender como criar robots.txt – chamado erroneamente por algumas pessoas de robot.txt.

Do Que Você Vai Precisar

Antes de iniciar você vai precisar:

• Acesso ao painel de controle de sua hospedagem ou FTP.

1. Acesse o Servidor e Crie o Arquivo robots.txt

Antes de mais nada, você precisa criar um arquivo para criar robots.txt. Para isso você pode usar um cliente FTP ou o Gerenciador de Arquivos. O arquivo deve ser colocado na mesma pasta onde se encontra seu site (geralmente public_html). Neste tutorial vamos usar o Gerenciador de Arquivos para criar robots.txt:

2. Editar o Arquivo robots.txt

Cada mecanismo de busca usa seu crawler (bot ou user-agent) próprio. Ao criar robots.txt você pode especificar o crawler usando o User-agent. Existem centenas de crawlers, mas os mais comuns são:

• Googlebot
• Yahoo! Slurp
• bingbot
• AhrefsBot
• Baiduspider
• Ezooms
• MJ12bot
• YandexBot

Por exemplo, se você quer impedir o crawler do Google de acessar o seu site, basta editar o arquivo com a seguinte regra:

User-agent: Googlebot 
Disallow: /example-subfolder/

Caso você queira bloquear página de todos os crawlers é só usar o *:

User-agent: *

Disallow: /

Se você quer prevenir que o crawler acesse algum diretório ou arquivo específico, a regra é semelhante, mas você precisa especificar o nome do arquivo ou pasta. Digamos que você não quer que os crawlers acessem o diretório artigos e o arquivo private.php apenas. Nesse caso o robots.txt vai ficar assim:

User-agent: Bingbot

Disallow: /subpasta-exemplo/pagina-bloqueada.html

Quando terminar de editar o arquivo robots.txt não esqueça de salvar as alterações.

Conclusão

Você acabou de aprender como impedir que crawlers (ou bots) de mecanismos de busca acessem e indexem o seu site. Isso é útil para prevenir que seu site apareça nos mecanismos de busca, claro, se é isso mesmo que você quer que aconteça.