Log In Sign Up

noticiasautomotivas.com.br
robots.txt

Robots Exclusion Standard data for noticiasautomotivas.com.br

Resource Scan

Scan Details

Site Domain noticiasautomotivas.com.br
Base Domain noticiasautomotivas.com.br
Scan Status Ok
Last Scan2024-10-29T17:39:12+00:00
Next Scan 2024-11-05T17:39:12+00:00

Last Scan

Scanned2024-10-29T17:39:12+00:00
URL https://www.noticiasautomotivas.com.br/robots.txt
Domain IPs 2406:da18:9d0:143f:2124:4e9c:36a9:d9de, 52.221.42.138
Response IP 52.221.42.138
Found Yes
Hash 48a584f5afc15e9495c9a1dd799db25a9f6572827527ea847c4ce8f14f366c70
SimHash 7746df09c725

Groups

*

Rule Path
Disallow /_private/
Disallow /wp-admin/
Disallow /wp-login.php
Disallow /*.php$
Disallow /cgi-bin/
Disallow /trackback/
Disallow /search/
Disallow *?s=*
Disallow *?p=*
Disallow *%26p%3D*
Disallow *%26preview%3D*
Disallow /readme.html
Disallow /refer/

mediapartners-google*

Rule Path
Allow /

adsbot-google

Rule Path
Allow /
Back to top

Other Records

Field Value
sitemap https://www.noticiasautomotivas.com.br/sitemap_index.xml
sitemap https://www.noticiasautomotivas.com.br/sitemap-root.xml
sitemap https://www.noticiasautomotivas.com.br/sitemap-posttype-post.xml
sitemap https://www.noticiasautomotivas.com.br/sitemap-posttype-page.xml
Back to top

Comments

  • robots for https://www.noticiasautomotivas.com.br/
  • mexi nele em 7 de junho de 2007 pra acabar com problema de duplicated e supplemental, tirando /email e /plugins
  • em 19 de maio de 2008, adicionei mais algumas coisas, listadas depois do *?*, tambem duggmirror e archiver
  • em 14 de agosto de 2008 adicionei wp-, cache, themes, comments feed e 2005 a 2009
  • em 23 de setembro de 2008 tirei 2005 a 2009, porque as paginas de arquivos ja estao com noindex
  • em 15 de abril de 2009 deixei o feed ser indexado
  • em 9 de abril de 2010 inclui arquivos php
  • em 27 de marco de 2011 inclui itens 404 do google webmaster tools, como 0, 2006, 2007, 2008 e paginas traduzidas
  • em 30 de maio de 2012 tirei restricao a tags
  • em 15 de marco de 2013 voltei restricao a tags
  • em 28 de maio de 2015 retirei restricoes a ?, includes, plugins e themes
  • em 14 de janeiro de 2016 retirei disallows antigos, referindo a page e versões de outros idiomas e inseri crawl delay para todos ao inves de apenas Slurp
  • em 4 de agosto de 2017 retirei crawl delay
  • em 15 de agosto de 2017 joguei descrições para baixo e inseri mediapartners e adsbot
  • em 5 de outubro de 2018 inclui restricao a tudo que tenha wpamp
  • em 14 de outubro de 2018 retirei restricao a wpamp
  • em 5 de dezembro de 2018 inclui disallow a wp-login.php e retirei allow para wp-admin/images
  • em 26 de julho de 2021 retirei Ahrefs, duggmirror e ia_archive, corrigi links para os sitemaps e adicionei disallows a partir de /search/
  • em 19 de dezembro de 2022 adicionei disallow para ?, para evitar crawling the ?wpamp e ?PageSpeed=noscript
  • em 12 de agosto de 2023 adicionei disallow para chat gpt
  • em 30 de setembro de 2023 adicionei 7 linhas de exclusão de JS ezoic
  • em 6 de outubro de 2023 removi wp-content/plugins, includes, tag, author, comments/feed, interrogação e JS ezoic
  • em 3 de dezembro de 2023, disallow google-extended
  • em 10 de janeiro de 2024, removi disallow para chat gpt e google-extended
Back to top