mot-motor.ru
robots.txt

Robots Exclusion Standard data for mot-motor.ru

Resource Scan

Scan Details

Site Domain mot-motor.ru
Base Domain mot-motor.ru
Scan Status Failed
Failure StageFetching resource.
Failure ReasonServer returned a client error.
Last Scan2024-09-05T11:09:13+00:00
Next Scan 2024-11-04T11:09:13+00:00

Last Successful Scan

Scanned2024-06-15T11:07:55+00:00
URL https://mot-motor.ru/robots.txt
Domain IPs 104.21.36.220, 172.67.200.2, 2606:4700:3030::6815:24dc, 2606:4700:3035::ac43:c802
Response IP 172.67.200.2
Found Yes
Hash 5633f9bfc34588a6601d2cb60d7b3c9112072009a5416b0b1d3c6716483a3869
SimHash 00b0a0308c38

Groups

*

Rule Path Comment
Disallow /*?* -
Disallow /seo-custom-variable/ -
Disallow /cgi-bin классика...
Disallow /? все параметры запроса на главной
Disallow /wp- все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow /wp-content/ все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow /wp-admin/ все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow /wp-includes/ все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow *?s= поиск
Disallow *%26s%3D поиск
Disallow /search поиск
Disallow /author/ арÑ
Disallow *?attachment_id= страница вложения. Вообще-то на ней редирект...
Disallow */feed все фиды
Disallow */rss rss фид
Disallow */embed все встраивания
Disallow */page/ все виды пагинации
Allow */uploads открываем uploads
Allow /*/*.js внутри /wp- (/*/ - для приоритета)
Allow /*/*.css внутри /wp- (/*/ - для приоритета)
Allow /wp-*.png картинки в плагинаÑ
Allow /wp-*.jpg картинки в плагинаÑ
Allow /wp-*.jpeg картинки в плагинаÑ
Allow /wp-*.gif картинки в плагинаÑ
Allow /wp-*.svg картинки в плагинаÑ
Allow /wp-*.pdf файлы в плагинаÑ
Allow /wp-content/uploads/ -
Allow *?roistat= -

geedoproductsearch

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 100

Warnings

  • 7 invalid lines.