catalogodachina.com.br
robots.txt

Robots Exclusion Standard data for catalogodachina.com.br

Resource Scan

Scan Details

Site Domain catalogodachina.com.br
Base Domain catalogodachina.com.br
Scan Status Failed
Failure StageFetching resource.
Failure ReasonCouldn't connect to server.
Last Scan2024-08-21T22:15:00+00:00
Next Scan 2024-11-19T22:15:00+00:00

Last Successful Scan

Scanned2024-04-01T22:13:09+00:00
URL https://catalogodachina.com.br/robots.txt
Domain IPs 201.48.8.144
Response IP 201.48.8.144
Found Yes
Hash b7f47f8c4782d271718684f120614f16d70a629f651f3b77bc0444c3c418cb42
SimHash a850fad1c6b2

Groups

*

Rule Path
Disallow /CVS
Disallow /*.svn$
Disallow /*.idea$
Disallow /*.sql$
Disallow /*.tgz$
Disallow /admin/
Disallow /api.php
Disallow /cron.php
Disallow /cron.sh
Disallow /error_log
Disallow /get.php
Disallow /install.php
Disallow /LICENSE.html
Disallow /LICENSE.txt
Disallow /LICENSE_AFL.txt
Disallow /README.txt
Disallow /RELEASE_NOTES.txt
Disallow /*?SID=
Disallow /checkout/
Disallow /onestepcheckout/
Disallow /customer/
Disallow /customer/account/
Disallow /customer/account/login/
Disallow /catalogsearch/
Disallow /catalogsearch/ajax/suggest/
Disallow /catalog/product_compare/
Disallow /newsletter/
Disallow /poll/
Disallow /review/
Disallow /wishlist/
Disallow /404/
Disallow /app/
Disallow /cgi-bin/
Disallow /downloader/
Disallow /errors/
Disallow /includes/
Disallow /magento/
Allow /media/catalog/product/
Disallow /pkginfo/
Disallow /report/
Disallow /scripts/
Disallow /shell/
Disallow /skin/
Disallow /stats/
Disallow /var/

googlebot

Rule Path
Disallow

slurp

Rule Path
Disallow

msnbot

Rule Path
Disallow

googlebot-image

Rule Path
Disallow

yahoo-mmcrawler

Rule Path
Disallow

psbot

Rule Path
Disallow

baiduspider

Rule Path
Disallow /

baiduspider

Rule Path
Disallow /

baiduspider-imagem

Rule Path
Disallow /

baiduspider-video

Rule Path
Disallow /

baiduspider-news

Rule Path
Disallow /

baiduspider-favo

Rule Path
Disallow /

baiduspider-cpro

Rule Path
Disallow /

baiduspider-anãºncios

Rule Path
Disallow /

baidu

Rule Path
Disallow /

majestic12

Rule Path
Disallow /

yandeximages

Rule Path
Disallow /

yandex

Rule Path
Disallow /

mj12bot

Rule Path
Disallow /
Disallow /*.php$
Disallow /*?SID=
Disallow /*?dir*
Disallow /*?dir=desc
Disallow /*?dir=asc
Disallow /*?limit=all
Disallow /*?mode*
Disallow /captcha/refresh/

Comments

  • robots.txt for Magento Community and Enterprise
  • GENERAL SETTINGS
  • Habilitar regras robots.txt para todos os indexadores
  • Crawlers Setup
  • Parâmetro Crawl-delay: número de segundos de espera entre as solicitações sucessivas para o mesmo servidor.
  • Definir uma taxa de rastreamento personalizado se você estiver enfrentando problemas de tráfego com o seu servidor.
  • Crawl-delay: 30
  • Magento sitemap
  • Sitemap: https://www.catalogodachina.com.br/sitemap/sitemap.xml
  • DEFINIÇÕES MAGENTO
  • Não rastrear arquivos e pastas: CVS, SVN e diretórios arquivos
  • CONFIGURAÇÕES GENERAL MAGENTO
  • Magento admin page
  • Não rastrear arquivos
  • MAGENTO SEO MELHORIAS
  • Não rastejar 2-nd cópia home page (example.com/index.php/)
  • Tira comentário somente se ativou URLs Magento SEO.
  • Disallow: /index.php/
  • Não rastrear ligações com IDs de sessão
  • Não rastrear páginas conta e checkout do usuário
  • Não indexar páginas de pesquisa e não-SEO
  • Directories
  • Disallow: /js/
  • Disallow: /lib/
  • Disallow: /media/
  • CONFIGURAÇÕES DA IMAGEM
  • Extra: Deixar em comentário para o Google e Bing indexar as imagens do produto
  • Não indexar pagina Baidu
  • Baiduspider
  • Paths no clean URLs
  • Disallow: /*.js$
  • Disallow: /*.css$
  • Não rastrear páginas da categoria que são classificados ou filtrados.
  • Error: formId is mandatory