foxglove.dev
robots.txt

Robots Exclusion Standard data for foxglove.dev

Resource Scan

Scan Details

Site Domain foxglove.dev
Base Domain foxglove.dev
Scan Status Ok
Last Scan2025-07-11T17:40:14+00:00
Next Scan 2025-07-25T17:40:14+00:00

Last Scan

Scanned2025-07-11T17:40:14+00:00
URL https://foxglove.dev/robots.txt
Domain IPs 13.203.125.58, 13.233.175.166, 3.109.243.18
Response IP 13.233.175.166
Found Yes
Hash a96964b599f51b6b648bf8c24cfdc938d1af07ff8bddd6679ba52e797bda05e2
SimHash c582ab4325d7

Groups

googlebot

Rule Path
Allow /

bingbot

Rule Path
Allow /

duckduckbot

Rule Path
Allow /

yandexbot

Rule Path
Allow /

googlebot-image

Rule Path
Allow /

googlebot-news

Rule Path
Allow /

*

Rule Path
Allow /

Other Records

Field Value
sitemap https://foxglove.dev/sitemap.xml

Comments

  • robots.txt for https://foxglove.dev
  • @
  • @@**(@@
  • @@&(@@@
  • ,@
  • /@ @@ @@@@@@@@@@@ @@ @
  • /@ @@ @@...........,,@@% @@ @
  • @@ /@@ @@...(@@@.....@@@.,,&@% @@. @@
  • @@@,,*@@ @@...#@**&@...@(**@*,,,@@ @@,,*@@@
  • @#,,,**@@ @......(@......,@*...,,(@ @@,,,,*@@
  • @@@@@@@/@@ @@@@@@@@@@@@@@@@@@@@@@@@@@/ @@/@@@@@@@
  • @@@///@@@@@@,,,,,,,,,,,,,,,,,,,,///@@@@@@///@@@
  • @@@@,,*@@,,,,@@@@,,,,,,,@@@&,///@#,,*@@@@
  • @@,,*@@,,,,,,,,,,,,,,,,,,,,///@#,,*@@
  • @@@@@@,,,,@@&&&&&&&&&&&@@,///@@@@@@
  • @@,,,,@@***********@@,///@/
  • @@,,,,@@@@@@***@@@@@@,///@/
  • @@,,,,,,,,,,,,,,,,,,,,///@/
  • @@@@@@@@@@@@@@@@@@@@@@@@@
  • @#,,,,**@@ @@,,,,,*@@
  • @@,,,@@@ @@&,,*@@
  • ,@//((@. @@//(@@
  • @@@@@@@@@@ @@@@@@@@@@
  • @@,,,,,,,,**@@ @@,,,,,,,,**@/
  • @@,,,,,,,,**@@ @@,,,,,,,,**@@
  • Here comes the friendly indexing robot!
  • Allow all major search engines
  • Specific rules for Google (optional, but good practice)
  • Handle all other bots (less specific, but necessary)
  • Webflow specific considerations:
  • No need to disallow the /?edit mode
  • Webflow handles pagination well, usually no need to disallow /page/
  • Disallow low-value pages
  • Sitemap location
  • Sitemap: https://foxglove.dev/sitemap.xml