Log In Sign Up

farmersbuildingsupply.com
robots.txt

Robots Exclusion Standard data for farmersbuildingsupply.com

Resource Scan

Scan Details

Site Domain farmersbuildingsupply.com
Base Domain farmersbuildingsupply.com
Scan Status Ok
Last Scan2024-11-19T20:42:33+00:00
Next Scan 2024-12-19T20:42:33+00:00

Last Scan

Scanned2024-11-19T20:42:33+00:00
URL https://farmersbuildingsupply.com/robots.txt
Redirect https://www.doitbest.com/robots.txt?member=farmers-building-feed
Redirect Domain www.doitbest.com
Redirect Base doitbest.com
Domain IPs 13.248.160.137, 76.223.34.124
Redirect IPs 151.101.131.10, 151.101.195.10, 151.101.3.10, 151.101.67.10
Response IP 199.232.47.10
Found Yes
Hash fd8d572956d3c6bc1dcd4d0ee1d4fbb42bd58ecfd63075d0571ff7c734b6fc06
SimHash 7558dd5a8eaf

Groups

*

Rule Path
Allow *graphql
Allow /api/graphql
Disallow /bin/
Disallow /var/
Disallow /cart
Disallow /checkout/
Disallow /write-a-review/
Disallow /my-account/
Disallow /order-confirmation/
Disallow /products/product-comparison/
Disallow /search/
Disallow /*?search
Disallow /*?category
Disallow /*%5Bfilter
Disallow /*?pr_rd_page
Disallow /global/*/?member
Disallow /product/*/?member
Disallow /category/*/?member
Disallow /brands/*/?member
Disallow /*.CVS
Disallow /*.Zip$
Disallow /*.Svn$
Disallow /*.Idea$
Disallow /*.Sql$
Disallow /*.Tgz$

mediapartners-google

Rule Path
Allow /

storebot-google

Rule Path
Allow /

adsbot-google

Rule Path
Allow *graphql
Allow /api/graphql
Disallow /*my-account
Disallow /*checkout
Disallow /*cart

facebot

Rule Path
Allow /global/*/?member
Allow /product/*/?member
Allow /category/*/?member
Allow /brands/*/?member

facebookexternalhit

Rule Path
Allow /global/*/?member
Allow /product/*/?member
Allow /category/*/?member
Allow /brands/*/?member

facebookbot

Rule Path
Allow /global/*/?member
Allow /product/*/?member
Allow /category/*/?member
Allow /brands/*/?member

twitterbot

Rule Path
Allow /global/*/?member
Allow /product/*/?member
Allow /category/*/?member
Allow /brands/*/?member

baiduspider

Rule Path
Disallow /

yisouspider

Rule Path
Disallow /

petalbot

Rule Path
Disallow /

bytespider

Rule Path
Disallow /

sogou web spider

Rule Path
Disallow /

sogou inst spider

Rule Path
Disallow /

robozilla

Rule Path
Disallow /

yahoo-mmcrawler

Rule Path
Disallow /

psbot

Rule Path
Disallow /

asterias

Rule Path
Disallow /

yahoo-blogs/v3.9

Rule Path
Disallow /

yandex

Rule Path
Disallow /

blexbot

Rule Path
Disallow /

nutch

Rule Path
Disallow /

perplexitybot

Rule Path
Disallow /

bravebot

Rule Path
Disallow /

iaskbot

Rule Path
Disallow /

pingdompagespeed

Rule Path
Disallow /

linerbot

Rule Path
Disallow /

claudebot

Rule Path
Disallow /

harsilbot

Rule Path
Disallow /

bytespider

Rule Path
Disallow /

orbbot

Rule Path
Disallow /

yelpbot

Rule Path
Disallow /

zoominfobot

Rule Path
Disallow /

seznambot

Rule Path
Disallow /

awariobot

Rule Path
Disallow /

trendictionbot

Rule Path
Disallow /

gabanzabot

Rule Path
Disallow /

zoombot

Rule Path
Disallow /

yak

Rule Path
Disallow /

petalbot

Rule Path
Disallow /

bitsightbot

Rule Path
Disallow /

sidetrade indexer bot

Rule Path
Disallow /

uptimerobot

Rule Path
Disallow /

yodaobot

Rule Path
Disallow /

stractbot

Rule Path
Disallow /

dataforseobot

Rule Path
Disallow /

mojeekbot

Rule Path
Disallow /

mail.ru_bot

Rule Path
Disallow /

blexbot

Rule Path
Disallow /

coccocbot-web

Rule Path
Disallow /

pubmatic crawler bot

Rule Path
Disallow /

seekrbot

Rule Path
Disallow /

surdotlybot

Rule Path
Disallow /

duckassistbot

Rule Path
Disallow /

snap url preview service

Rule Path
Disallow /

yandexfavicons

Rule Path
Disallow /

aihitbot

Rule Path
Disallow /

superpagesbot

Rule Path
Disallow /

cincraw

Rule Path
Disallow /

startmebot

Rule Path
Disallow /

duckduckbot

Rule Path
Disallow /

qwantbot

Rule Path
Disallow /

archive.org_bot

Rule Path
Disallow /

iaskspider

Rule Path
Disallow /

sogou push spider

Rule Path
Disallow /

baiduspider

Rule Path
Disallow /

rogerbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

dotbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

ahrefsbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

mj12bot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

semrushbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 1

siteauditbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

semrushbot-ba

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

semrushbot-si

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

semrushbot-swa

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

semrushbot-ct

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

splitsignalbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

semrushbot-coub

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10

pinterestbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10
Back to top

Other Records

Field Value
sitemap https://www.doitbest.com/sitemap.xml
Back to top

Comments

  • Exclusions
  • Member Parameters
  • CVS, SVN directory and dump files
  • Google's Adsense
  • Google's Storebot
  • Google's Adbot
  • Social Media Bots
  • Chinese Bots
  • Blocking bots and spiders
  • Crawl Delays
  • ==============================================================================
  • ==================================================================================
  • ===@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@===
  • ===@@==========================================================================@@===
  • ===@@==========================================================================@@===
  • ===@@==========================================================================@@===
  • ===@@=======@@@@@@@@@@=================================@@@@====================@@===
  • ===@@======@@@@@@@@@@@@@@@@===========================@@@@@@===@@@@============@@===
  • ===@@======@@@@@@@@@@@@@@@@@@@=========================@@@@====@@@@============@@===
  • ===@@========@@@@@@=====@@@@@@@======@@@@@@@=================@@@@@@@===========@@===
  • ===@@========@@@@@@@======@@@@@@++@@@@@@@@@@@@@======@@@@@@==@@@@@@@@@@========@@===
  • ===@@========@@@@@@@=======@@@@@@@@@@@@@@@@@@@@@======@@@@@=@@@@@@@@@@@========@@===
  • ===@@======================@@@@@@@@@========@@@@@======@@@@====@@@@============@@===
  • ===@@======================@@@@@@@@==========@@@@@=====@@@@====@@@@============@@===
  • ===@@========@@@@@@@=======@@@@@@@@==========@@@@@=====@@@@====@@@@============@@===
  • ===@@========@@@@@@========@@@@@@@@==========@@@@@=====@@@@====@@@@============@@===
  • ===@@========@@@@@@========@@@@@@@@@========@@@@@======@@@@====@@@@@===========@@===
  • ===@@========@@@@@@@@@@@@@@@@@==@@@@@@@@@@@@@@@@=======@@@@====@@@@@@@@@@@=====@@===
  • ===@@========@@@@@@@@@@@@@@@======@@@@@@@@@@@@@========@@@@======@@@@@@@@======@@===
  • ===@@===========@@@@@@@==============@@@@@@============@@@@========@@@@@=======@@===
  • ===@@==========================================================================@@===
  • ===@@======@@@@@@@@@@@@@@@=====================================@@@@============@@===
  • ===@@======@@@@@@@@@@@@@@@@@===================================@@@@============@@===
  • ===@@=========@@@@======@@@@@======+@@@@@@=======+@@@@@@+=====@@@@@============@@===
  • ===@@=========@@@@======@@@@@====@@@@@@@@@@@===@@@@@@@@@@@@@@@@@@@@@@@@========@@===
  • ===@@=========@@@@======@@@@===@@@@@@@@@@@@@@=@@@@@@@@@@@@@@@@@@@@@@@@@========@@===
  • ===@@=========@@@@@@@@@@@@@===@@@@@=======@@@@@@@@@===========@@@@@+===========@@===
  • ===@@=========@@@@@@@@@@@@@==@@@@@@=======@@@@@@@@@@==========@@@@@============@@===
  • ===@@=========@@@@@=====@@@@@@@@@@@@@@@@@@@@@@**@@@@@@@@@======@@@@============@@===
  • ===@@=========@@@@=======@@@@@@@@@@================@@@@@@@@====@@@@============@@===
  • ===@@=========@@@@=======@@@@@@@@@@====================@@@@@===@@@@============@@===
  • ===@@=========@@@@======@@@@@*@@@@@@@=====@@@==@@======@@@@@===@@@@@===========@@===
  • ===@@=========@@@@@@@@@@@@@@@====@@@@@@@@@@@@==@@@@@@@@@@@@@====@@@@@@@@@======@@===
  • ===@@=========@@@@@@@@@@@@========@@@@@@@@@@===@@@@@@@@@@========@@@@@@========@@===
  • ===@@==========================================================================@@===
  • ===@@==========================================================================@@===
  • ===@@==========================================================================@@===
  • ===@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@===
  • ==================================================================================
Back to top

Warnings

  • 4 invalid lines.
Back to top