Log In Sign Up

dogs-fan.club
robots.txt

Robots Exclusion Standard data for dogs-fan.club

Resource Scan

Scan Details

Site Domain dogs-fan.club
Base Domain dogs-fan.club
Scan Status Failed
Failure StageFetching resource.
Failure ReasonServer returned a server error.
Last Scan2024-09-25T03:17:34+00:00
Next Scan 2024-12-24T03:17:34+00:00

Last Successful Scan

Scanned2023-11-28T14:26:36+00:00
URL https://dogs-fan.club/robots.txt
Domain IPs 104.21.96.73, 172.67.174.69, 2606:4700:3035::ac43:ae45, 2606:4700:3036::6815:6049
Response IP 104.21.96.73
Found Yes
Hash 856d1a353a52b3e7ec531c7011913f0dbd6ce7c71bf98b0727170e5c55cbfb04
SimHash 9d20d139d411

Groups

*

Product Comment
* общие правила для роботов, кроме Яндекса и Google,
Rule Path Comment
Disallow /cgi-bin папка на Ñ
Disallow /wp- все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow /?wp- -
Disallow /wp/ если есть подкаталог /wp/, где установлена CMS (если нет, правило можно удалить)
Disallow /? -
Disallow *? -
Disallow /*? -
Disallow *?* -
Disallow /?s -
Disallow /?s= -
Disallow *?s= -
Disallow *%26s%3D -
Disallow /search -
Disallow /search/ -
Disallow *utm*%3D ссылки с utm-метками
Disallow *openstat%3D ссылки с метками openstat
Disallow *replytocom replytocom – это дубли страниц, которые появляются при включении древовидныÑ
Disallow /author/ арÑ
Disallow /users/ арÑ
Disallow */trackback трекбеки, уведомления в комментарияÑ
Disallow */trackback/ -
Disallow */feed все фиды
Disallow */feed/ -
Disallow /?feed= -
Disallow */rss rss фид
Disallow */embed все встраивания
Disallow */page/* страницы пагинации
Disallow */attachment/* все вложения (файлы к комментариям и т.п.)
Disallow *?attachment_id= -
Disallow /wp-login.php -
Disallow /wp-register.php -
Disallow /template.html -
Disallow */wlwmanifest.xml xml-файл манифеста Windows Live Writer (если не используете, правило можно удалить)
Disallow /xmlrpc.php файл WordPress API
Disallow /o-sayte о сайте
Disallow /kontakty контакты
Disallow /pravoobladatelyam правообладателям
Disallow /deklaratsiya-o-pravah декларация о праваÑ
Disallow /politika-obrabotki-personalnyih-dannyih политика обработки персональныÑ
Allow *.png -
Allow *.PNG -
Allow *.ico -
Allow *.jpg -
Allow *.tiff -
Allow *.bmp -
Allow *.jpeg -
Allow *.JPG -
Allow *.PNG -
Allow *.JPEG -
Allow *.gif -
Allow *.css -
Allow *.js -
Allow /*/*.js -
Allow /*/*.css -

twitterbot

Rule Path
Allow /wp-content/cache/images/
Allow /wp-content/uploads/
Allow *.jpg
Allow *.png
Allow *.gif
Allow *.tiff
Allow *.bmp
Allow *.jpeg
Allow *.JPG
Allow *.PNG
Allow *.JPEG

googlebot-image

Rule Path
Allow /wp-content/uploads/

yandeximages

Rule Path
Allow /wp-content/uploads/
Back to top

Other Records

Field Value
sitemap https://dogs-fan.club/sitemap.xml
sitemap https://dogs-fan.club/sitemap.xml.gz
Back to top

Comments

  • т.к. для ниÑ
  • все параметры запроса на главной
  • поиск
  • различные варианты дублей контента (исключаем дубли контента)
  • различные системные файлы
  • теÑ
  • ИСКЛЮЧЕНИЯ
  • --------------------------------------------------------------------------------------------------
  • исключения для индексации изображений (в основном логотип и другие мелкие изображения для сервисов)
  • исключения для индексации файлов дизайна и скриптов
  • +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
  • правила для Mail.Ru
  • (при необÑ
  • --------------------------------------------------------------------------------------------------
  • User-agent: Mail.Ru
  • Allow: */feed/
  • правила для Twitter
  • (открываем для Twitter закрытые изображения, чтобы он мог иÑ
  • --------------------------------------------------------------------------------------------------
  • Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
  • то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал
  • Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают.
Back to top

Warnings

  • 14 invalid lines.
  • `host` is not a known field.
Back to top