mspak.ru
robots.txt

Robots Exclusion Standard data for mspak.ru

Resource Scan

Scan Details

Site Domain mspak.ru
Base Domain mspak.ru
Scan Status Ok
Last Scan2024-09-06T22:50:33+00:00
Next Scan 2024-10-06T22:50:33+00:00

Last Scan

Scanned2024-09-06T22:50:33+00:00
URL https://mspak.ru/robots.txt
Domain IPs 94.250.252.49
Response IP 94.250.252.49
Found Yes
Hash d52ea93aaf2e9959be62330395f3154cd0d1b4b25a54cc17de68b780d76eb8e4
SimHash 4db89a62be38

Groups

*

Rule Path Comment
Disallow /cgi-bin классика...
Disallow /? все параметры запроса на главной
Disallow *?etext=* все параметры запроса
Disallow /wp- все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow *?s= поиск
Disallow *%26s%3D поиск
Disallow /search поиск
Disallow /author/ архив автора
Disallow */embed все встраивания
Disallow */page/ все виды пагинации
Allow */uploads открываем uploads
Allow /*/*.js внутри /wp- (/*/ - для приоритета)
Allow /*/*.css внутри /wp- (/*/ - для приоритета)
Allow /wp-*.png картинки в плагинах, cache папке и т.д.
Allow /wp-*.jpg картинки в плагинах, cache папке и т.д.
Allow /wp-*.jpeg картинки в плагинах, cache папке и т.д.
Allow /wp-*.gif картинки в плагинах, cache папке и т.д.
Allow /wp-*.svg картинки в плагинах, cache папке и т.д.
Allow /wp-*.pdf файлы в плагинах, cache папке и т.д.
Allow /wp-admin/admin-ajax.php -
Disallow /product/ несуществующий каталог
Disallow *utm*%3D -
Disallow *openstat%3D -

yandex

Rule Path Comment
Disallow /cgi-bin классика...
Disallow /? все параметры запроса на главной
Disallow *?etext=* все параметры запроса
Disallow /wp- все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow *?s= поиск
Disallow *%26s%3D поиск
Disallow /search поиск
Disallow /author/ архив автора
Disallow */embed все встраивания
Disallow */page/ все виды пагинации
Allow */uploads открываем uploads
Allow /*/*.js внутри /wp- (/*/ - для приоритета)
Allow /*/*.css внутри /wp- (/*/ - для приоритета)
Allow /wp-*.png картинки в плагинах, cache папке и т.д.
Allow /wp-*.jpg картинки в плагинах, cache папке и т.д.
Allow /wp-*.jpeg картинки в плагинах, cache папке и т.д.
Allow /wp-*.gif картинки в плагинах, cache папке и т.д.
Allow /wp-*.svg картинки в плагинах, cache папке и т.д.
Allow /wp-*.pdf файлы в плагинах, cache папке и т.д.
Allow /wp-admin/admin-ajax.php -
Disallow /product/ несуществующий каталог

googlebot

Rule Path Comment
Disallow /cgi-bin классика...
Disallow /? все параметры запроса на главной
Disallow *?etext=* все параметры запроса
Disallow /wp- все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow *?s= поиск
Disallow *%26s%3D поиск
Disallow /search поиск
Disallow /author/ архив автора
Disallow */embed все встраивания
Disallow */page/ все виды пагинации
Allow */uploads открываем uploads
Allow /*/*.js внутри /wp- (/*/ - для приоритета)
Allow /*/*.css внутри /wp- (/*/ - для приоритета)
Allow /wp-*.png картинки в плагинах, cache папке и т.д.
Allow /wp-*.jpg картинки в плагинах, cache папке и т.д.
Allow /wp-*.jpeg картинки в плагинах, cache папке и т.д.
Allow /wp-*.gif картинки в плагинах, cache папке и т.д.
Allow /wp-*.svg картинки в плагинах, cache папке и т.д.
Allow /wp-*.pdf файлы в плагинах, cache папке и т.д.
Allow /wp-admin/admin-ajax.php -
Disallow /product/ несуществующий каталог
Disallow *utm*%3D -
Disallow *openstat%3D -

bytespider

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 1

semrushbot

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 1

blexbot

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 1

amazonbot

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 1

ahrefsbot

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 1

billybobbot

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 1

zoominfobot

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 1

mj12bot

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 1

barkrowler

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 1

friendly_crawler

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 1

imagesiftbot

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 1

adsbot-google

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 1

dotbot

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 1

zyborg

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 1

mediapartners-google

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 1

Other Records

Field Value
sitemap https://mspak.ru/sitemap.xml

Comments

  • Версия кода: 1.1

Warnings

  • `clean-param` is not a known field.
  • `host` is not a known field.