Aprender a criar um arquivo robots.txt leva cerca de dez minutos, e a maior parte desse tempo é gasta decidindo o que bloquear, em vez de escrever a sintaxe. Um arquivo robots.txt é um arquivo de texto simples na raiz do seu domínio que informa aos rastreadores de mecanismos de busca quais URLs eles podem solicitar. Acertando, você direciona o orçamento de rastreamento para páginas que importam. Errando uma barra, você pode acidentalmente esconder todo o seu site do Google.
Este guia aborda todo o trabalho do início ao fim: as quatro diretivas que você realmente precisa, a regra de correspondência mais longa que pega quase todo mundo, exemplos reais de allow e disallow, exatamente onde fazer o upload do arquivo e como testá-lo antes que um rastreador o veja. Nada de modelos vagos, nada de copiar a documentação do Google palavra por palavra.
O que um Arquivo Robots.txt Realmente Faz#
Um arquivo robots.txt é um conjunto de instruções para rastreadores web, servido de https://seudominio.com/robots.txt. Quando um bot bem-comportado, como o Googlebot, visita seu site, ele lê este arquivo primeiro e obedece às regras que encontra antes de solicitar qualquer outra URL.
A palavra-chave é "bem-comportado". Robots.txt é uma solicitação, não uma barreira. Google, Bing e outros grandes mecanismos o respeitam. Scrapers e bots maliciosos podem ignorá-lo completamente. Portanto, trate o robots.txt como uma orientação de rastreamento, nunca como um controle de segurança.
Importante: robots.txt controla o rastreamento, não a indexação. Bloquear uma URL aqui não garante que ela fique fora dos resultados de busca. Se o Google encontrar links para uma página bloqueada em outro lugar, ele ainda pode listar a URL (sem descrição). Para manter uma página fora dos resultados, você precisa de uma tag noindex, que é um mecanismo separado que abordamos no final.
As quatro partes que você realmente usa#
A maioria dos arquivos reais é construída com apenas quatro diretivas:
- User-agent: qual rastreador as regras a seguir se aplicam.
*significa todos os rastreadores. - Disallow: um caminho de URL que o rastreador não deve solicitar.
- Allow: um caminho de URL que o rastreador pode solicitar, usado para criar exceções em um Disallow mais amplo.
- Sitemap: a URL completa do seu sitemap XML, para que os rastreadores encontrem todas as suas páginas mais rapidamente.
Existem algumas extras (Crawl-delay, diretivas de host) que abordaremos, mas essas quatro cobrem 95% dos sites.
Como Criar um Arquivo Robots.txt Passo a Passo#
Aqui está o procedimento completo, desde um arquivo em branco até um robots.txt testado e ativo. Siga a ordem e você não terá problemas.
Passo 1: Mapeie o que deve e não deve ser rastreado#
Antes de digitar uma única linha, liste seus padrões de URL. Abra a estrutura do seu site e separe as páginas em dois grupos.
Coisas que você geralmente quer rastreadas: sua página inicial, posts de blog, páginas de produto ou serviço, páginas de categoria e seu sitemap. Coisas que você geralmente quer manter fora do rastreamento: áreas administrativas (/admin/, /wp-admin/), resultados de pesquisa interna (/search?), páginas de carrinho e checkout, páginas de agradecimento, URLs de teste ou duplicadas e URLs de filtros facetados que criam milhares de combinações quase duplicadas.
Este mapeamento é o trabalho real. A sintaxe é trivial depois que você sabe sua intenção.
Passo 2: Escreva o bloco user-agent#
Comece com a regra mais ampla que se aplica a todos os rastreadores:
User-agent: *
Toda diretiva após esta linha, até a próxima linha User-agent ou final do arquivo, se aplica a todos os rastreadores. Se você precisar de uma regra para um bot específico, adicione um bloco separado. Por exemplo, para dar ao Googlebot um tratamento diferente dos demais:
User-agent: Googlebot
Disallow: /private/
User-agent: *
Disallow: /private/
Disallow: /tmp/
Um rastreador lê apenas o bloco mais específico que corresponde ao seu nome. O Googlebot aqui obedece ao primeiro bloco e ignora o segundo completamente. Isso surpreende as pessoas, então lembre-se: um bot segue um grupo, não a combinação.
Passo 3: Adicione suas regras Disallow e Allow#
Agora traduza seu mapeamento do Passo 1 em diretivas. Cada Disallow recebe um caminho de URL que começa com /. Alguns padrões que você usará constantemente:
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /search
Allow: /search/help
Disallow: /*.pdf$
Lendo linha por linha:
Disallow: /admin/bloqueia tudo sob a pasta admin.Disallow: /searchbloqueia qualquer caminho começando com/search, incluindo/search?q=shoes.Allow: /search/helpabre uma exceção para que essa página permaneça rastreável.Disallow: /*.pdf$usa um curinga (*) e uma âncora de final de URL ($) para bloquear todos os PDFs.
Um Disallow: vazio (nada após os dois pontos) significa "não bloquear nada", que é como você permite explicitamente o rastreamento completo.
Passo 4: Adicione a linha do sitemap#
Diga aos rastreadores onde seu sitemap está. Use a URL absoluta, não um caminho relativo, e coloque-a em qualquer lugar do arquivo (a convenção é no final):
Sitemap: https://seudominio.com/sitemap.xml
Você pode listar mais de um sitemap em linhas Sitemap: separadas. Se você ainda não criou um, gere-o com o gerador de sitemap XML gratuito e coloque a URL resultante aqui. A linha do sitemap funciona independentemente de quais blocos User-agent existem, pois é global.
Passo 5: Gere, salve e valide o arquivo#
Você pode escrever o arquivo manualmente em qualquer editor de texto simples (salve como UTF-8, nomeado exatamente robots.txt, sem extensão dupla .txt.txt). Se preferir não arriscar um erro de digitação, o gerador de robots.txt gratuito cria um arquivo sintaticamente válido a partir de suas escolhas de allow e disallow e mostra como o Googlebot lê cada regra. Essa pré-visualização é onde você pega os erros de precedência cobertos na próxima seção.
Passo 6: Faça upload para a raiz do seu domínio#
O arquivo deve estar acessível exatamente em https://seudominio.com/robots.txt. Ele só funciona na raiz de um host. Um arquivo em https://seudominio.com/blog/robots.txt é ignorado.
Como fazer o upload depende da sua plataforma:
- WordPress: use um plugin de SEO (Yoast, Rank Math) que expõe um editor de robots.txt, ou faça upload via FTP para o diretório raiz.
- Site estático ou personalizado: coloque
robots.txtna sua pasta pública ou raiz da web (geralmentepublic/,www/ouhtdocs/). - Subdomínios: cada subdomínio precisa de seu próprio arquivo.
blog.seudominio.comeseudominio.comnão compartilham um.
Após o upload, visite a URL no seu navegador. Você deve ver seu texto simples, não um 404 ou sua página inicial.
Passo 7: Teste antes de confiar#
Abra o Google Search Console e use o relatório de robots.txt (ele mostra o arquivo que o Google buscou por último e sinaliza erros de sintaxe). Em seguida, teste URLs específicas: cole um caminho que você pretendia bloquear e um caminho que você pretendia manter, e confirme se cada um retorna o resultado esperado. Testar uma URL bloqueada e uma URL permitida pega a grande maioria dos erros antes que eles custem tráfego.
A Regra de Maior Correspondência Vence (Onde os Sites Quebram)#
Esta única regra causa mais bloqueios acidentais do que qualquer outra, e a maioria dos tutoriais a ignora. Quando várias regras Allow e Disallow podem se aplicar à mesma URL, o Google não lê de cima para baixo. Ele aplica a regra com o caminho de correspondência mais longo. Se duas regras empatarem em comprimento, Allow vence.
Imagine este arquivo:
User-agent: *
Disallow: /blog/
Allow: /blog/public/
Para a URL /blog/public/post-1, duas regras correspondem. Disallow: /blog/ corresponde a 6 caracteres; Allow: /blog/public/ corresponde a 13 caracteres. A regra mais longa vence, então esta página pode ser rastreada, mesmo que uma leitura de cima para baixo sugira que está bloqueada.
Agora inverta e veja a armadilha:
User-agent: *
Allow: /products/
Disallow: /products/secret/
Para /products/secret/item, o caminho Disallow é mais longo, então essa URL está corretamente bloqueada enquanto o resto de /products/ permanece aberto. As regras estão fazendo exatamente o que os comprimentos determinam.
Aqui está a comparação que importa quando você depura um mistério de "por que esta página está bloqueada":
| URL solicitada | Regras correspondentes | Vencedor | Resultado |
|---|---|---|---|
/blog/public/post | Disallow: /blog/ (6), Allow: /blog/public/ (13) | Allow (mais longo) | Rastreado |
/products/secret/x | Allow: /products/ (10), Disallow: /products/secret/ (18) | Disallow (mais longo) | Bloqueado |
/page | Allow: /page (5), Disallow: /page (5) | Allow (empate vai para Allow) | Rastreado |
Aviso: o erro mais prejudicial é um
Disallow: /solto sobUser-agent: *. Uma única barra bloqueia todo o seu site de qualquer rastreador. Se seu tráfego orgânico cair drasticamente após uma implantação, verifique robots.txt para essa linha primeiro.
Exemplos Reais de Robots.txt que Você Pode Adaptar#
Modelos concretos superam regras abstratas. Aqui estão três pontos de partida honestos. Substitua o domínio e ajuste os caminhos conforme sua estrutura.
Um site simples que quer tudo rastreado#
User-agent: *
Disallow:
Sitemap: https://seudominio.com/sitemap.xml
O Disallow: vazio permite todo o rastreamento. Este é o padrão correto para um blog pequeno ou site institucional. Não complique demais.
Um site WordPress ou CMS#
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Sitemap: https://seudominio.com/sitemap_index.xml
A linha Allow para admin-ajax.php é importante: muitos temas e plugins precisam desse endpoint, e bloquear toda a pasta /wp-admin/ sem ela pode quebrar funcionalidades de front-end que os rastreadores usam.
Um site de e-commerce gerenciando orçamento de rastreamento#
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*&color=
Allow: /products/
Sitemap: https://seudominio.com/sitemap.xml
As regras com curinga bloqueiam URLs de filtros facetados (combinações de sort, filter, color) que geram páginas quase duplicadas sem fim e desperdiçam o orçamento de rastreamento em catálogos grandes. O Allow: /products/ mantém suas URLs de produto limpas abertas.
Você deve usar Crawl-delay?#
Crawl-delay pede que um rastreador espere um número definido de segundos entre requisições. O Google ignora isso completamente (controle a taxa de rastreamento do Googlebot no Search Console). Bing e Yandex respeitam. Só adicione se um bot específico estiver sobrecarregando um servidor pequeno, e mesmo assim, prefira corrigir o servidor. Uma linha como Crawl-delay: 10 sob um user-agent específico é o caso raro em que vale a pena.
Crawling vs Indexação: A Distinção Que Te Salva#
O maior erro conceitual é tratar o robots.txt como uma forma de remover uma página do Google. Não é. Desabilitar uma URL impede o Google de rastreá-la, mas uma página desabilitada ainda pode aparecer nos resultados de busca se outras páginas linkarem para ela, exibida como uma URL nua sem snippet.
Pior, há uma combinação que você nunca deve usar. Se você adicionar uma meta tag noindex a uma página e também bloquear essa página no robots.txt, o Google nunca conseguirá rastrear a página para ver a tag noindex. O resultado é que a página permanece indexada indefinidamente, o oposto do que você queria.
A regra prática:
- Para manter uma página fora dos resultados de busca: use uma meta tag robots
noindex(ou o cabeçalho HTTPX-Robots-Tagpara PDFs e outros arquivos não HTML) e deixe a página rastreável para que o Google possa ler essa tag. - Para manter rastreadores totalmente fora de uma seção (e aceitar que ela ainda pode aparecer como uma URL nua): use
Disallowno robots.txt. - Para conteúdo sensível: não confie em nenhum dos dois. Use autenticação.
Se você está decidindo qual mecanismo se aplica a uma determinada página, nosso explicador sobre bloqueio de rastreadores de IA com robots.txt percorre a mesma lógica de rastreamento versus indexação para a nova onda de bots de treinamento de IA, que é um motivo cada vez mais comum para as pessoas editarem este arquivo em 2026.
Erros Comuns e Como Evitá-los#
Uma pequena lista de verificação dos erros que custam tráfego real:
- Um
Disallow: /esquecido do ambiente de staging. Sites em desenvolvimento geralmente bloqueiam tudo. Esquecer de removê-lo após o lançamento destrói sua visibilidade. - Bloquear CSS e JavaScript. O Google renderiza páginas para entendê-las. Desabilitar
/assets/ou/js/pode quebrar a renderização e prejudicar os rankings. Deixe os rastreadores acessarem seus recursos. - Localização errada do arquivo. Ele deve estar na raiz do host, em minúsculas (
robots.txt), servido comotext/plain. - Usá-lo para privacidade. Listar
/secret-admin/em um arquivo público é um roteiro para qualquer curioso. Use controle de acesso real. - Sensibilidade a maiúsculas e minúsculas. Os caminhos diferenciam maiúsculas de minúsculas.
/Blog/e/blog/são regras diferentes.
Na dúvida, altere uma regra de cada vez e teste novamente no Search Console. Lento e verificado é melhor que rápido e quebrado.
Concluindo#
Agora você sabe como criar um arquivo robots.txt que faz exatamente o que você pretende: um conjunto limpo de diretivas de user-agent, disallow, allow e sitemap, colocado na raiz do seu domínio, testado antes de entrar no ar. As duas ideias que valem a pena guardar na cabeça são a regra de precedência de correspondência mais longa e a linha dura entre rastreamento (robots.txt) e indexação (noindex). Domine essas e você nunca mais esconderá um site acidentalmente.
Quando estiver pronto para criar o arquivo sem digitar a sintaxe manualmente, o gerador de robots.txt transforma suas escolhas de allow e disallow em um arquivo válido e mostra uma prévia de como o Googlebot o lê. Combine-o com o gerador de sitemap XML para que a linha Sitemap: aponte para algo real, e você terá a configuração completa de controle de rastreamento em minutos.
Perguntas Frequentes#
Onde coloco o arquivo robots.txt?
Na raiz do seu domínio, acessível exatamente em https://seudominio.com/robots.txt. Deve estar em minúsculas, nomeado robots.txt e servido como texto simples. Um arquivo em uma subpasta é ignorado, e cada subdomínio precisa do seu próprio arquivo separado.
Eu realmente preciso de um arquivo robots.txt? Não estritamente. Se você está satisfeito com os mecanismos de busca rastreando tudo, pode pular e os rastreadores assumirão acesso total. A maioria dos sites ainda adiciona um para apontar para seu sitemap e manter os rastreadores fora de URLs de administração, carrinho, pesquisa e duplicadas que desperdiçam orçamento de rastreamento.
Bloquear uma página no robots.txt a remove do Google? Não. O robots.txt impede o rastreamento, não a indexação. Uma página bloqueada ainda pode aparecer nos resultados como uma URL simples se outras páginas linkarem para ela. Para remover uma página dos resultados de busca, use uma meta tag noindex e mantenha a página rastreável para que o Google possa ler essa tag. Nunca bloqueie uma página com noindex no robots.txt, porque então o Google não consegue ver o noindex.
O que significa o asterisco em User-agent?
User-agent: * aplica as regras que seguem a todos os rastreadores. Se você adicionar um bloco para um bot específico como User-agent: Googlebot, esse bot segue apenas seu próprio bloco e ignora o bloco curinga. Um rastreador obedece a um único grupo, não a uma mescla de todos os grupos correspondentes.
Como testar meu robots.txt antes de publicar? Use o relatório de robots.txt no Google Search Console, que mostra o arquivo que o Google buscou e sinaliza erros de sintaxe. Teste URLs específicas verificando um caminho que você pretendia bloquear e outro que pretendia manter rastreável. Você também pode visualizar o comportamento das regras em um gerador de robots.txt antes de fazer upload, o que detecta erros de precedência de correspondência mais longa cedo.
Posso usar curingas no robots.txt?
Sim, dentro de limites. * corresponde a qualquer sequência de caracteres, e $ ancora uma regra ao final de uma URL. Então Disallow: /*.pdf$ bloqueia todos os PDFs, e Disallow: /*?sort= bloqueia qualquer URL contendo um parâmetro de ordenação. Esses dois símbolos são os únicos padrões de correspondência que o padrão suporta.
