9dach.ru
robots.txt

Robots Exclusion Standard data for 9dach.ru

Resource Scan

Scan Details

Site Domain 9dach.ru
Base Domain 9dach.ru
Scan Status Ok
Last Scan2024-09-27T23:50:40+00:00
Next Scan 2024-10-04T23:50:40+00:00

Last Scan

Scanned2024-09-27T23:50:40+00:00
URL https://9dach.ru/robots.txt
Domain IPs 87.236.19.68
Response IP 87.236.19.68
Found Yes
Hash 53e7d24a950c0917166275b834fd7fd58d933526931f80daeb6216510f245c63
SimHash 1638f0418535

Groups

*

Product Comment
* общие правила для роботов, кроме Яндекса и Google,
Rule Path Comment
Disallow /cgi-bin папка на Ñ
Disallow /? все параметры запроса на главной
Disallow /wp- все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow /wp/ если есть подкаталог /wp/, где установлена CMS (если нет,
Disallow *?*=* всякие с вопросами дублирующиеся контент удалить
Disallow *?s= поиск
Disallow *%26s%3D поиск
Disallow /search/ поиск
Disallow /author/ арÑ
Disallow /users/ арÑ
Disallow */trackback трекбеки, уведомления в комментарияÑ
Disallow */embed все встраивания
Disallow */wlwmanifest.xml xml-файл манифеста Windows Live Writer (если не используете,
Disallow /xmlrpc.php файл WordPress API
Disallow *utm%3D ссылки с utm-метками
Disallow *openstat%3D ссылки с метками openstat
Allow */uploads открываем папку с файлами uploads
Disallow /?wp-subscription-manager* -
Disallow */comments -
Disallow */tag/* -
Disallow */attachment/* -
Disallow /category_product/* -
Disallow /docs -
Disallow /firms -
Disallow /goods -
Disallow /services -
Disallow /dict -
Disallow /noindex -
Disallow /poisk?searchid* -
Disallow *pagespeed* -
Allow */feed/zen -
Disallow */feed все фиды
Disallow */rss rss фид
Disallow /user_agreement -
Disallow */amp -

googlebot

Product Comment
googlebot правила для Google (комментарии не дублирую)
Rule Path Comment
Disallow /cgi-bin -
Disallow /? -
Disallow /wp- -
Disallow /wp/ -
Disallow *?s= -
Disallow *%26s%3D -
Disallow /search/ -
Disallow /author/ -
Disallow /users/ -
Disallow */trackback -
Disallow */feed -
Disallow */rss -
Disallow */embed -
Disallow */wlwmanifest.xml -
Disallow /xmlrpc.php -
Disallow *utm%3D -
Disallow *openstat%3D -
Allow */uploads -
Allow /*/*.js открываем js-скрипты внутри /wp- (/*/ - для приоритета)
Allow /*/*.css открываем css-файлы внутри /wp- (/*/ - для приоритета)
Allow /wp-*.png картинки в плагинаÑ
Allow /wp-*.jpg картинки в плагинаÑ
Allow /wp-*.jpeg картинки в плагинаÑ
Allow /wp-*.gif картинки в плагинаÑ
Allow /wp-admin/admin-ajax.php используется плагинами, чтобы не блокировать JS и CSS
Disallow /?wp-subscription-manager* -
Disallow */tag/* -
Disallow */attachment/* -
Disallow /category_product/* -
Disallow /docs -
Disallow /firms -
Disallow /goods -
Disallow /services -
Disallow /dict -
Disallow /noindex -
Disallow /poisk?searchid* -
Disallow *pagespeed* -
Disallow */feed/zen -
Disallow /user_agreement -
Allow */amp -

yandex

Product Comment
yandex правила для Яндекса (комментарии не дублирую)
Rule Path
Disallow /cgi-bin
Disallow /?
Disallow /wp-
Disallow /wp/
Disallow *?s=
Disallow *%26s%3D
Disallow /search/
Disallow /author/
Disallow /users/
Disallow */trackback
Disallow */feed
Disallow */rss
Disallow */embed
Disallow */wlwmanifest.xml
Disallow /xmlrpc.php
Allow */uploads
Allow /*/*.js
Allow /*/*.css
Allow /wp-*.png
Allow /wp-*.jpg
Allow /wp-*.jpeg
Allow /wp-*.gif
Allow /wp-admin/admin-ajax.php
Disallow /?wp-subscription-manager*
Disallow */tag/*
Disallow */attachment/*
Disallow /category_product/*
Disallow /docs
Disallow /firms
Disallow /goods
Disallow /services
Disallow /dict
Disallow /noindex
Disallow /poisk?searchid*
Disallow *pagespeed*
Allow */feed/zen
Disallow /user_agreement
Disallow */amp

Comments

  • т.к. для ниÑ
  • правило можно удалить)
  • ссылки на статью
  • правило можно удалить)
  • от индексирования, а удалять параметры меток,
  • Google такие правила не поддерживает
  • Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
  • то пишем протокол, если нужно указать порт, указываем). Команду Host понимает
  • Яндекс и Mail.RU, Google не учитывает.

Warnings

  • 9 invalid lines.
  • `clean-param` is not a known field.
  • `host` is not a known field.