rags.ru
robots.txt

Robots Exclusion Standard data for rags.ru

Resource Scan

Scan Details

Site Domain rags.ru
Base Domain rags.ru
Scan Status Ok
Last Scan2024-10-03T14:16:25+00:00
Next Scan 2024-10-10T14:16:25+00:00

Last Scan

Scanned2024-10-03T14:16:25+00:00
URL https://rags.ru/robots.txt
Domain IPs 81.177.141.30
Response IP 81.177.141.30
Found Yes
Hash 372d560ca1e305936fbb6df786b8604d30db5272fa458cb7acf3c549b236119f
SimHash 8705dad597b1

Groups

yandex

Rule Path
Disallow /Data1/

yandex

Rule Path
Allow /

googlebot

Rule Path
Disallow /gosts/gost/1071/

Other Records

Field Value
sitemap https://rags.ru/sitemap.xml
sitemap https://rags.ru/map/sitemap-docs.xml
sitemap https://rags.ru/map/sitemap-gosts1.xml
sitemap https://rags.ru/map/sitemap-gosts2.xml
sitemap https://rags.ru/map/sitemap-gosts3.xml
sitemap https://rags.ru/map/sitemap-stroyka-text.xml
sitemap https://rags.ru/map/sitemap-stroyka-doc.xml

Warnings

  • `clean-param` is not a known field.
  • `host` is not a known field.