Neste tutorial você aprenderá como usar o arquivo robots.txt na hospedagem e onde ele deve ficar.
1. O que é o robots.txt?
O arquivo robots.txt é usado para informar aos mecanismos de busca e outros robôs da web como eles devem interagir com o seu site.
2. Onde o arquivo deve ficar
O arquivo robots.txt deve ficar no document root (raiz do site) do domínio, que normalmente é a pasta principal do site, como
public_html no domínio principal.3. Como criar ou editar o robots.txt
1. Entre no cPanel.
2. Vá em Files (Arquivos) > File Manager (Gerenciador de Arquivos).
3. Acesse a pasta raiz do site.
4. Se o arquivo não existir, clique em + File (+ Arquivo) e crie o arquivo
5. Se ele já existir, selecione o arquivo e clique em Edit (Editar).
2. Vá em Files (Arquivos) > File Manager (Gerenciador de Arquivos).
3. Acesse a pasta raiz do site.
4. Se o arquivo não existir, clique em + File (+ Arquivo) e crie o arquivo
robots.txt.5. Se ele já existir, selecione o arquivo e clique em Edit (Editar).
4. Exemplo simples
User-agent: * Disallow:
Esse exemplo permite que os robôs acessem todo o site.
5. Exemplo bloqueando uma pasta
User-agent: * Disallow: /privado/
Esse exemplo orienta os robôs a não rastrearem a pasta
/privado/.O arquivo robots.txt é uma instrução para robôs e não um sistema de segurança. Ele não substitui proteção por senha ou controle de acesso.
6. Atenção para quem usa Sitejet
A documentação do cPanel informa que, ao publicar um novo site com o Sitejet Builder, um arquivo
robots.txt personalizado pode ser removido. Nesse caso, o ideal é guardar uma cópia local antes de publicar e recolocar o arquivo depois, se necessário.7. Resumo
Para usar o
robots.txt, basta criar ou editar esse arquivo na raiz do seu site e inserir as regras desejadas para os robôs da web.Pronto! Agora você já sabe como usar o arquivo robots.txt na hospedagem.
