Log In Sign Up

headphone-review.ru
robots.txt

Robots Exclusion Standard data for headphone-review.ru

Resource Scan

Scan Details

Site Domain headphone-review.ru
Base Domain headphone-review.ru
Scan Status Ok
Last Scan2025-03-10T01:05:56+00:00
Next Scan 2025-03-17T01:05:56+00:00

Last Scan

Scanned2025-03-10T01:05:56+00:00
URL https://headphone-review.ru/robots.txt
Domain IPs 37.230.113.110
Response IP 37.230.113.110
Found Yes
Hash 33cc25fa4a14e0ba6b7184957fd635a0fa65fa47ed22642254a1d3bf93c60b6e
SimHash 2668df42a0b8

Groups

mediapartners-google

Rule Path
Disallow

googlebot

Product Comment
googlebot правила для Google (комментарии не дублирую)
Rule Path Comment
Disallow /cgi-bin -
Disallow /wp- -
Disallow /wp/ -
Disallow *?s= -
Disallow *%26s%3D -
Disallow /search/ -
Disallow /author/ -
Disallow /users/ -
Disallow */trackback -
Disallow */feed -
Disallow */rss -
Disallow /xmlrpc.php -
Disallow *utm%3D -
Disallow *openstat%3D -
Disallow *?criteria= -
Allow */uploads -
Allow /*/*.js открываем js-скрипты внутри /wp- (/*/ - для приоритета)
Allow /*/*.css открываем css-файлы внутри /wp- (/*/ - для приоритета)
Allow /wp-*.png картинки в плагинах, cache папке и т.д.
Allow /wp-*.jpg картинки в плагинах, cache папке и т.д.
Allow /wp-*.jpeg картинки в плагинах, cache папке и т.д.
Allow /wp-*.gif картинки в плагинах, cache папке и т.д.
Allow /wp-admin/admin-ajax.php используется плагинами, чтобы не блокировать JS и CSS

yandex

Product Comment
yandex правила для Яндекса (комментарии не дублирую)
Rule Path
Disallow /cgi-bin
Disallow /wp-
Disallow /wp/
Disallow *?s=
Disallow *%26s%3D
Disallow /search/
Disallow /author/
Disallow /users/
Disallow */trackback
Disallow */feed
Disallow */rss
Disallow /xmlrpc.php
Disallow *?criteria=
Allow /feed/zen
Allow */uploads
Allow /*/*.js
Allow /*/*.css
Allow /wp-*.png
Allow /wp-*.jpg
Allow /wp-*.jpeg
Allow /wp-*.gif
Allow /wp-admin/admin-ajax.php

*

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 250
Back to top

Other Records

Field Value
sitemap https://headphone-review.ru/index.php?xml_sitemap=params=
Back to top

Comments

  • от индексирования, а удалять параметры меток,
  • Google такие правила не поддерживает
  • Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent
  • не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже.
  • Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
  • то пишем протокол, если нужно указать порт, указываем). Команду Host понимает
  • Яндекс и Mail.RU, Google не учитывает.
Back to top

Warnings

  • `clean-param` is not a known field.
  • `host` is not a known field.
Back to top