Vamos conversar

SEO técnico

Robots.txt: controlar o rastreamento corretamente

Aprenda a configurar robots.txt, evitar bloqueios de produção, diferenciar rastreamento de indexação e validar regras com logs e ferramentas.

Nível: Iniciante 10 min de leitura Atualizado em Por Fernando Souza

Nesta página

O que é e como funciona

O robots.txt comunica regras de acesso de crawlers a caminhos do site. Não é uma ferramenta de segurança nem uma forma confiável de retirar URLs dos resultados de busca.

Um arquivo de homologação com Disallow: / pode ser copiado para produção. Regras amplas criadas para reduzir rastreamento de filtros também podem bloquear páginas importantes ou recursos necessários para renderização.

Qual problema resolve

Resolve o rastreamento desnecessário de áreas sem valor de busca, como endpoints internos, combinações infinitas de filtros e ambientes de teste expostos por engano, e a falta de orientação sobre onde está o sitemap XML. Orienta o orçamento de rastreamento para as páginas que importam.

Também evita um erro comum e silencioso: bloquear recursos essenciais, como CSS e JavaScript, impedindo que o buscador renderize a página como o usuário a vê. O robots.txt não protege dados sensíveis nem remove URLs já indexadas; para isso existem autenticação e a diretiva noindex.

Bloqueios indevidos podem impedir o Google de acessar páginas importantes e atualizar sinais de conteúdo. Por outro lado, liberar milhões de combinações irrelevantes pode complicar o rastreamento. O impacto depende do volume, dos links e de como o site está indexado; o arquivo sozinho não remove URLs do índice.

Quando utilizar

  • Existem áreas de rastreamento desnecessário, como certos endpoints ou URLs infinitas.
  • Você quer declarar a localização do sitemap XML.
  • Precisa verificar se recursos CSS e JavaScript essenciais estão acessíveis.

Quando não utilizar

  • A intenção é esconder arquivos privados ou o painel: use autenticação e controle de acesso, não robots.txt.
  • A intenção é retirar uma URL do índice: use noindex acessível ao crawler, 404/410 ou remoção apropriada, conforme o caso.
  • A intenção é corrigir canonicalização ou redirecionamentos: regras de rastreamento não substituem essas soluções.

Matriz de decisão

Situação O que usar Por quê
Ambiente de homologação ou teste exposto na internet Autenticação HTTP (ou rede restrita); Disallow: / só como camada adicional e só se o próprio /robots.txt for servido sem autenticação O robots.txt sozinho não protege nem impede indexação por links externos; a autenticação sim. Se a autenticação cobre o site inteiro, o /robots.txt responde 401 e o Disallow nunca é lido (o Google trata robots.txt 4xx como sem restrições, mas páginas 401 não entram no índice). Ilustrativo: homolog.exemplo.com.br atrás de senha.
Área privada, painel ou arquivos confidenciais Controle de acesso no servidor; não listar o caminho no robots.txt Listar /painel/ em um arquivo público só revela o endereço; proteção é autenticação.
Página já indexada que deve sair dos resultados noindex (meta robots ou X-Robots-Tag) com a página rastreável, ou 404/410 Um Disallow impede o robô de ler a diretiva e a URL pode continuar listada.
Espaço de URLs infinito (combinações de filtros, calendários, buscas internas) Disallow por padrão de caminho específico, mantendo CSS/JS e páginas de produto liberados Reduz rastreamento sem valor sem bloquear a renderização. Ilustrativo: Disallow: /busca? (prefixo de caminho; o ? é literal). Nem todo robô segue a sintaxe do Google: teste a regra com URLs representativas e confira o arquivo lido pelo Google no relatório de robots.txt do Search Console antes e depois de publicar.
Quero indicar onde está o mapa do site Linha Sitemap: com URL absoluta, só para mapas existentes e acessíveis Orienta a descoberta; um sitemap inexistente gera erro e ruído.

Pré-requisitos

  • Confirmação do host, protocolo, porta e ambiente (produção ou homologação) a que as regras se aplicam.
  • Lista de URLs públicas, áreas não rastreáveis e recursos CSS/JS indispensáveis.
  • Acesso de leitura ao arquivo servido em /robots.txt, Search Console e, quando disponíveis, logs de acesso.

Passo a passo detalhado

  1. Identifique o ambiente, a origem exata e a política de rastreamento desejada por grupo de URLs.
  2. Baixe o robots.txt da produção e confira HTTP, encoding e conteúdo efetivamente servido.
  3. Mapeie regras por user-agent e teste conflitos entre caminhos públicos, filtros e recursos CSS/JS.
  4. Escreva regras mínimas, sem expor diretórios sensíveis como se isso oferecesse segurança.
  5. Inclua Sitemap: somente para mapas existentes e acessíveis, quando útil.
  6. Teste URLs representativas em ferramenta de inspeção e com crawler; confirme que não há bloqueio global acidental.
  7. Monitore logs do servidor, inspeção de URL e comportamento de rastreamento após a implantação.

Exemplos práticos e códigos

Exemplo ilustrativo: adapte ao contexto do seu projeto.

Caso completo — sintoma, causa, correção e evidência: Cenário ilustrativo: após um deploy, novas páginas deixam de ser rastreadas. Verifique https://dominio/robots.txt; encontra-se User-agent: * seguido de Disallow: /. Confirme que é ambiente de produção, substitua pela política aprovada e verifique logs e inspeção de URL. A retomada do rastreamento depende da próxima visita dos robôs.

Contraexemplo: Exemplo incorreto em produção: User-agent: * seguido de Disallow: / quando o objetivo era liberar páginas públicas.

User-agent: *
Disallow: /area-interna/
Sitemap: https://www.exemplo.com.br/sitemap.xml

Como validar a implementação

  1. Abra o robots.txt diretamente e confirme HTTP 200 e texto válido.
  2. Confira se páginas estratégicas e seus recursos essenciais não estão bloqueados.
  3. Inspecione URLs no Google Search Console e monitore mensagens de bloqueio.
  4. Verifique logs do servidor quando disponíveis para observar comportamento de crawlers.

Ferramentas recomendadas

  • Google Search Console — inspeção de URL e relatório de robots.txt (arquivo lido pelo Google e erros de busca do arquivo); não edita o arquivo.
  • curl/DevTools — mostram resposta HTTP e conteúdo servido.
  • Logs de servidor e crawler — ajudam a validar comportamento observado, não garantem indexação.

Ferramentas do laboratório relacionadas

SEO Control Centerem desenvolvimento e testes internos AutoSEO Hubprojeto em desenvolvimento

Erros comuns

  • Usar robots.txt para proteger dados confidenciais.
  • Bloquear páginas com noindex antes de o crawler conseguir ler a diretiva.
  • Copiar regras de homologação para produção (por exemplo, um Disallow: / global após o deploy).
  • Bloquear recursos CSS/JavaScript necessários para renderizar conteúdo importante.
  • Supor que robots.txt é mecanismo de remoção do índice.

Checklist de execução

Marque as etapas concluídas. O progresso fica salvo apenas neste navegador.

Referências oficiais

Histórico de atualizações

  • Revisão editorial das consultas rápidas e matrizes de decisão: Disallow: / só é lido se o robots.txt estiver fora da autenticação; contexto do padrão Disallow: /busca? e teste no verificador.
  • Revisão final para publicação: teste de regras remetido ao relatório de robots.txt do Search Console (a antiga ferramenta de teste foi descontinuada pelo Google) e erros comuns sem repetição.
  • Publicação após revisão técnica e editorial final (precisão, exemplos, referências oficiais e acessibilidade).

Conteúdos relacionados