Log In Sign Up

doitbest.com
robots.txt

Robots Exclusion Standard data for doitbest.com

Resource Scan

Scan Details

Site Domain doitbest.com
Base Domain doitbest.com
Scan Status Ok
Last Scan2024-09-13T05:51:57+00:00
Next Scan 2024-10-13T05:51:57+00:00

Last Scan

Scanned2024-09-13T05:51:57+00:00
URL https://doitbest.com/robots.txt
Redirect https://www.doitbest.com/robots.txt
Redirect Domain www.doitbest.com
Redirect Base doitbest.com
Domain IPs 151.101.131.10, 151.101.195.10, 151.101.3.10, 151.101.67.10
Redirect IPs 151.101.131.10, 151.101.195.10, 151.101.3.10, 151.101.67.10
Response IP 199.232.47.10
Found Yes
Hash 234dbc84ddb6ab630d6db8b92bec9f9f2982be354ab5bea11d3a69e630f54279
SimHash f140d54b9637

Groups

*

Rule Path
Allow *graphql
Allow /api/graphql
Disallow /bin/
Disallow /var/
Disallow /cart
Disallow /checkout/
Disallow /write-a-review/
Disallow /my-account/
Disallow /order-confirmation/
Disallow /products/product-comparison/
Disallow /search/
Disallow /*?search
Disallow /*?category
Disallow /*%5Bfilter
Disallow /*?pr_rd_page
Disallow /global/*/?member
Disallow /product/*/?member
Disallow /category/*/?member
Disallow /brands/*/?member
Disallow /*.CVS
Disallow /*.Zip$
Disallow /*.Svn$
Disallow /*.Idea$
Disallow /*.Sql$
Disallow /*.Tgz$

mediapartners-google

Rule Path
Allow /

storebot-google

Rule Path
Allow /

adsbot-google

Rule Path
Allow *graphql
Allow /api/graphql
Disallow /*my-account
Disallow /*checkout
Disallow /*cart

facebot

Rule Path
Allow /global/*/?member
Allow /product/*/?member
Allow /category/*/?member
Allow /brands/*/?member

facebookexternalhit

Rule Path
Allow /global/*/?member
Allow /product/*/?member
Allow /category/*/?member
Allow /brands/*/?member

facebookbot

Rule Path
Allow /global/*/?member
Allow /product/*/?member
Allow /category/*/?member
Allow /brands/*/?member

twitterbot

Rule Path
Allow /global/*/?member
Allow /product/*/?member
Allow /category/*/?member
Allow /brands/*/?member

baiduspider

Rule Path
Disallow /

yisouspider

Rule Path
Disallow /

petalbot

Rule Path
Disallow /

bytespider

Rule Path
Disallow /

sogou web spider

Rule Path
Disallow /

sogou inst spider

Rule Path
Disallow /

robozilla

Rule Path
Disallow /

yahoo-mmcrawler

Rule Path
Disallow /

psbot

Rule Path
Disallow /

asterias

Rule Path
Disallow /

yahoo-blogs/v3.9

Rule Path
Disallow /

yandex

Rule Path
Disallow /

blexbot

Rule Path
Disallow /

nutch

Rule Path
Disallow /

rogerbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

dotbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

ahrefsbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

mj12bot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

semrushbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 1

siteauditbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

semrushbot-ba

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

semrushbot-si

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

semrushbot-swa

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

semrushbot-ct

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

splitsignalbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

semrushbot-coub

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

pinterestbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10
Back to top

Other Records

Field Value
sitemap https://www.doitbest.com/sitemap.xml
Back to top

Comments

  • Exclusions
  • Member Parameters
  • CVS, SVN directory and dump files
  • Google's Adsense
  • Google's Storebot
  • Google's Adbot
  • Social Media Bots
  • Chinese Bots
  • Crawl Delays
  • ==============================================================================
  • ==================================================================================
  • ===@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@===
  • ===@@==========================================================================@@===
  • ===@@==========================================================================@@===
  • ===@@==========================================================================@@===
  • ===@@=======@@@@@@@@@@=================================@@@@====================@@===
  • ===@@======@@@@@@@@@@@@@@@@===========================@@@@@@===@@@@============@@===
  • ===@@======@@@@@@@@@@@@@@@@@@@=========================@@@@====@@@@============@@===
  • ===@@========@@@@@@=====@@@@@@@======@@@@@@@=================@@@@@@@===========@@===
  • ===@@========@@@@@@@======@@@@@@++@@@@@@@@@@@@@======@@@@@@==@@@@@@@@@@========@@===
  • ===@@========@@@@@@@=======@@@@@@@@@@@@@@@@@@@@@======@@@@@=@@@@@@@@@@@========@@===
  • ===@@======================@@@@@@@@@========@@@@@======@@@@====@@@@============@@===
  • ===@@======================@@@@@@@@==========@@@@@=====@@@@====@@@@============@@===
  • ===@@========@@@@@@@=======@@@@@@@@==========@@@@@=====@@@@====@@@@============@@===
  • ===@@========@@@@@@========@@@@@@@@==========@@@@@=====@@@@====@@@@============@@===
  • ===@@========@@@@@@========@@@@@@@@@========@@@@@======@@@@====@@@@@===========@@===
  • ===@@========@@@@@@@@@@@@@@@@@==@@@@@@@@@@@@@@@@=======@@@@====@@@@@@@@@@@=====@@===
  • ===@@========@@@@@@@@@@@@@@@======@@@@@@@@@@@@@========@@@@======@@@@@@@@======@@===
  • ===@@===========@@@@@@@==============@@@@@@============@@@@========@@@@@=======@@===
  • ===@@==========================================================================@@===
  • ===@@======@@@@@@@@@@@@@@@=====================================@@@@============@@===
  • ===@@======@@@@@@@@@@@@@@@@@===================================@@@@============@@===
  • ===@@=========@@@@======@@@@@======+@@@@@@=======+@@@@@@+=====@@@@@============@@===
  • ===@@=========@@@@======@@@@@====@@@@@@@@@@@===@@@@@@@@@@@@@@@@@@@@@@@@========@@===
  • ===@@=========@@@@======@@@@===@@@@@@@@@@@@@@=@@@@@@@@@@@@@@@@@@@@@@@@@========@@===
  • ===@@=========@@@@@@@@@@@@@===@@@@@=======@@@@@@@@@===========@@@@@+===========@@===
  • ===@@=========@@@@@@@@@@@@@==@@@@@@=======@@@@@@@@@@==========@@@@@============@@===
  • ===@@=========@@@@@=====@@@@@@@@@@@@@@@@@@@@@@**@@@@@@@@@======@@@@============@@===
  • ===@@=========@@@@=======@@@@@@@@@@================@@@@@@@@====@@@@============@@===
  • ===@@=========@@@@=======@@@@@@@@@@====================@@@@@===@@@@============@@===
  • ===@@=========@@@@======@@@@@*@@@@@@@=====@@@==@@======@@@@@===@@@@@===========@@===
  • ===@@=========@@@@@@@@@@@@@@@====@@@@@@@@@@@@==@@@@@@@@@@@@@====@@@@@@@@@======@@===
  • ===@@=========@@@@@@@@@@@@========@@@@@@@@@@===@@@@@@@@@@========@@@@@@========@@===
  • ===@@==========================================================================@@===
  • ===@@==========================================================================@@===
  • ===@@==========================================================================@@===
  • ===@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@===
  • ==================================================================================
Back to top

Warnings

  • 2 invalid lines.
Back to top