irena-handmade.ru
robots.txt

Robots Exclusion Standard data for irena-handmade.ru

Resource Scan

Scan Details

Site Domain irena-handmade.ru
Base Domain irena-handmade.ru
Scan Status Ok
Last Scan2024-05-09T06:08:32+00:00
Next Scan 2024-05-16T06:08:32+00:00

Last Scan

Scanned2024-05-09T06:08:32+00:00
URL https://irena-handmade.ru/robots.txt
Redirect https://www.irena-handmade.ru/robots.txt
Redirect Domain www.irena-handmade.ru
Redirect Base irena-handmade.ru
Domain IPs 104.21.43.83, 172.67.176.247, 2606:4700:3035::ac43:b0f7, 2606:4700:3036::6815:2b53
Redirect IPs 104.21.43.83, 172.67.176.247, 2606:4700:3035::ac43:b0f7, 2606:4700:3036::6815:2b53
Response IP 104.21.43.83
Found Yes
Hash 84490e8c81a0823c69cf87045ab1e12704565af4dd05263aa7dcab74a60c4b12
SimHash 342ad141a535

Groups

*

Product Comment
* общие правила для роботов, кроме Яндекса и Google,
Rule Path Comment
Disallow /cgi-bin папка на Ñ
Disallow /? все параметры запроса на главной
Disallow /wp- все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow *?s= поиск
Disallow *?* запрет индексации параметров
Disallow *%26s%3D поиск
Disallow /search/ поиск
Disallow /author/ арÑ
Disallow /users/ арÑ
Disallow */trackback трекбеки, уведомления в комментарияÑ
Disallow */rss rss фид
Disallow */feed все фиды
Disallow */embed все встраивания
Disallow /xmlrpc.php файл WordPress API
Disallow */?w3tc_note=flush_all -
Disallow *utm*%3D ссылки с utm-метками
Disallow *openstat%3D ссылки с метками openstat
Allow */uploads открываем папку с файлами uploads
Allow */feed/yatty-turbonizer* -

googlebot

Product Comment
googlebot правила для Google (комментарии не дублирую)
Rule Path Comment
Disallow /cgi-bin -
Disallow /? -
Disallow /wp- -
Disallow /wp/ -
Disallow *?s= -
Disallow *?* запрет индексации параметров
Disallow *%26s%3D -
Disallow /search/ -
Disallow /author/ -
Disallow /users/ -
Disallow */trackback -
Disallow */rss -
Disallow */wlwmanifest.xml -
Disallow /xmlrpc.php -
Disallow */?w3tc_note=flush_all -
Disallow *utm*%3D -
Disallow *openstat%3D -
Allow */uploads -
Allow /*/*.js открываем js-скрипты внутри /wp- (/*/ - для приоритета)
Allow /*/*.css открываем css-файлы внутри /wp- (/*/ - для приоритета)
Allow /wp-*.png картинки в плагинаÑ
Allow /wp-*.jpg картинки в плагинаÑ
Allow /wp-*.jpeg картинки в плагинаÑ
Allow /wp-*.gif картинки в плагинаÑ
Allow /wp-admin/admin-ajax.php используется плагинами, чтобы не блокировать JS и CSS
Disallow /category/*/page/ закрываем доступ к пагинации рубрик и меток
Disallow /category/*/*/page/ -
Disallow /tag/*/page/ -

yandex

Product Comment
yandex правила для Яндекса (комментарии не дублирую)
Rule Path Comment
Disallow */amp/ -
Disallow /cgi-bin -
Disallow /? -
Disallow /wp- -
Disallow /wp/ -
Disallow *?s= -
Disallow *?* запрет индексации параметров
Disallow *%26s%3D -
Disallow /search/ -
Disallow /page/ -
Disallow /author/ -
Disallow /users/ -
Disallow */trackback -
Disallow */rss -
Disallow */feed все фиды
Disallow */embed -
Disallow */wlwmanifest.xml -
Disallow /xmlrpc.php -
Disallow */?w3tc_note=flush_all -
Allow */feed/yatty-turbonizer* -
Allow */uploads -
Allow /*/*.js -
Allow /*/*.css -
Allow /wp-*.png -
Allow /wp-*.jpg -
Allow /wp-*.jpeg -
Allow /wp-*.gif -
Allow /wp-admin/admin-ajax.php -
Disallow /category/*/page/ закрываем доступ к пагинации рубрик и меток
Disallow /category/*/*/page/ -
Disallow /tag/*/page/ -
Disallow /tag/ закрываем доступ к рубрикам и меткам

Other Records

Field Value
sitemap https://www.irena-handmade.ru/sitemaps.xml

Comments

  • т.к. для ниÑ
  • ссылки на статью
  • Disallow: */feed # все фиды
  • Disallow: */embed
  • от индексирования, а удалять параметры меток,
  • Google такие правила не поддерживает
  • Disallow: /category/ # закрываем доступ к рубрикам и меткам
  • Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent
  • не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже.
  • Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
  • то пишем протокол, если нужно указать порт, указываем). Команду Host понимает
  • Яндекс и Mail.RU, Google не учитывает.

Warnings

  • 9 invalid lines.
  • `clean-param` is not a known field.
  • `host` is not a known field.