Gerador Robots.txt

Crie um arquivo robots.txt - defina o agente do usuário, proíba caminhos e aponte rastreadores para o mapa do seu site.

Crie um arquivo robots.txt codeue informa aos rastreadores dos mecanismos de pesquisa quais partes do seu site eles podem ou não visitar. Escolha a qual rastreador as regras se aplicam, liste os caminhos que você deseja evitar e adicione um link ao seu mapa do site – em seguida, copie o arquivo para a raiz do seu site. É um arquivo pequeno com uma função descomunal na forma como seu site é rastreado. Tudo roda no seu navegador.

Como funciona o robots.txt

O arquivo fica na raiz do seu domínio (example.com/robots.txt) e é a primeira coisa que rastreadores bem comportados verificam. Cada bloco nomeia um agente de usuário (um rastreador específico ou * codeara todos) e lista as regras de proibição de - os prefixos de caminho que o rastreador deve ignorar. Você também pode apontar para o mapa do site strongara que os rastreadores encontrem sua lista completa de URLs. Esta ferramenta reúne essas peças na sintaxe correta para que um erro de digitação não bloqueie acidentalmente todo o seu site.

O que pode e não pode fazer

An important distinction:Disallow codesks crawlers not to crawl em path — it does not stronguarantee a page stays out of search results, and it does not protect private content. Reputable crawlers obey it; malicious bots ignore it entirely. To keep a page out of the index, use a noindex codeeta tag instead, and to protect sensitive content, use real access controls like passwords. Pense no robots.txt como uma orientação de gerenciamento de rastreamento para bots cooperativos, não como uma ferramenta de segurança ou privacidade.

Perguntas Frequentes

Para onde vai o arquivo robots.txt?

Na raiz do seu domínio, acessível em example.com/robots.txt. Não funcionará em uma subpasta – os rastreadores só procuram por ele na raiz.

Proibir uma página a remove do Google?

Não. Disallow pede aos rastreadores para não rastrearem a página, mas um URL não permitido ainda pode aparecer nos resultados se estiver vinculado a outro lugar. Para manter uma página fora do índice, use uma meta tag noindex.

O robots.txt pode proteger páginas privadas ou confidenciais?

Não. É apenas um pedido que os rastreadores cooperativos respeitam; bots maliciosos o ignoram e o arquivo em si pode ser lido publicamente. Proteja conteúdo confidencial com controles de acesso reais, como autenticação.

Devo adicionar meu mapa do site ao robots.txt?

Sim, é uma boa prática. Uma linha do Sitemap apontando para seu sitemap.xml ajuda os rastreadores a descobrir todos os seus URLs e é independente das regras de permissão/proibição.