Log In Sign Up

comtermo.ru
robots.txt

Robots Exclusion Standard data for comtermo.ru

Resource Scan

Scan Details

Site Domain comtermo.ru
Base Domain comtermo.ru
Scan Status Ok
Last Scan2025-04-07T20:55:02+00:00
Next Scan 2025-05-07T20:55:02+00:00

Last Scan

Scanned2025-04-07T20:55:02+00:00
URL https://comtermo.ru/robots.txt
Domain IPs 104.21.91.148, 172.67.222.192, 2606:4700:3033::ac43:dec0, 2606:4700:3037::6815:5b94
Response IP 172.67.222.192
Found Yes
Hash b967c1e0596d99cb28256e646299e556edc365390f440ddd64826f604b35b1d7
SimHash 4c188f53e533

Groups

yandex

Rule Path
Allow /*?page
Allow /feeds/
Disallow /aurora/
Disallow /search/
Disallow /cart/
Disallow /*?
Disallow /*?parent-baobab-id=

Other Records

Field Value
crawl-delay 5

googlebot

Rule Path
Disallow /aurora/
Disallow /search/
Disallow /cart/
Disallow /*?parent-baobab-id=

Other Records

Field Value
crawl-delay 5

*

Rule Path
Allow /*?page
Disallow /*?
Disallow /aurora/
Disallow /search/
Disallow /cart/

Other Records

Field Value
crawl-delay 5
Back to top

Other Records

Field Value
sitemap https://comtermo.ru/sitemap_1.xml
sitemap https://comtermo.ru/sitemap_2.xml
sitemap https://comtermo.ru/sitemap_3.xml
sitemap https://comtermo.ru/sitemap_4.xml
sitemap https://comtermo.ru/sitemap_5.xml
sitemap https://comtermo.ru/sitemap_6.xml
sitemap https://comtermo.ru/sitemap_7.xml
sitemap https://comtermo.ru/sitemap_8.xml
sitemap https://comtermo.ru/sitemap_9.xml
sitemap https://comtermo.ru/sitemap_10.xml
sitemap https://comtermo.ru/sitemap_11.xml
sitemap https://comtermo.ru/sitemap_12.xml
sitemap https://comtermo.ru/sitemap_13.xml
sitemap https://comtermo.ru/sitemap_14.xml
sitemap https://comtermo.ru/sitemap_15.xml
sitemap https://comtermo.ru/sitemap_16.xml
sitemap https://comtermo.ru/sitemap_17.xml
sitemap https://comtermo.ru/sitemap_18.xml
sitemap https://comtermo.ru/sitemap_19.xml
sitemap https://comtermo.ru/sitemap_20.xml
sitemap https://comtermo.ru/sitemap_21.xml
sitemap https://comtermo.ru/sitemap_22.xml
sitemap https://comtermo.ru/sitemap_23.xml
sitemap https://comtermo.ru/sitemap_24.xml
sitemap https://comtermo.ru/sitemap_25.xml
sitemap https://comtermo.ru/sitemap_26.xml
sitemap https://comtermo.ru/sitemap_27.xml
sitemap https://comtermo.ru/sitemap_28.xml
sitemap https://comtermo.ru/sitemap_29.xml
sitemap https://comtermo.ru/sitemap_30.xml
sitemap https://comtermo.ru/sitemap_31.xml
sitemap https://comtermo.ru/sitemap_32.xml
sitemap https://comtermo.ru/sitemap_33.xml
sitemap https://comtermo.ru/sitemap_34.xml
sitemap https://comtermo.ru/sitemap_35.xml
sitemap https://comtermo.ru/sitemap_36.xml
sitemap https://comtermo.ru/sitemap_37.xml
sitemap https://comtermo.ru/sitemap_38.xml
sitemap https://comtermo.ru/sitemap_39.xml
sitemap https://comtermo.ru/sitemap_40.xml
Back to top

Warnings

  • `clean-param` is not a known field.
  • `host` is not a known field.
Back to top