Log In Sign Up

driverstalk.ru
robots.txt

Robots Exclusion Standard data for driverstalk.ru

Resource Scan

Scan Details

Site Domain driverstalk.ru
Base Domain driverstalk.ru
Scan Status Failed
Failure StageFetching resource.
Failure ReasonServer returned a client error.
Last Scan2024-09-10T14:30:13+00:00
Next Scan 2024-12-09T14:30:13+00:00

Last Successful Scan

Scanned2024-02-14T13:52:21+00:00
URL https://driverstalk.ru/robots.txt
Domain IPs 104.21.51.223, 172.67.189.1, 2606:4700:3032::ac43:bd01, 2606:4700:3034::6815:33df
Response IP 104.21.51.223
Found Yes
Hash bf46fd309eacd3aa6a5ad678212627332d2a5d2696e73bd743ef12e0865ef3b2
SimHash 9400c0389455

Groups

*

Product Comment
* общие правила для роботов, кроме Яндекса и Google,
Rule Path Comment
Disallow /cgi-bin папка на Ñ
Disallow /wp- все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow /wp/ если есть подкаталог /wp/, где установлена CMS (если нет, правило можно удалить)
Disallow /? -
Disallow *? -
Disallow /*? -
Disallow *?* -
Disallow /?s -
Disallow /?s= -
Disallow *?s= -
Disallow *%26s%3D -
Disallow /search -
Disallow /search/ -
Disallow *utm*%3D ссылки с utm-метками
Disallow *openstat%3D ссылки с метками openstat
Disallow *replytocom replytocom – это дубли страниц, которые появляются при включении древовидныÑ
Disallow /author/ арÑ
Disallow /users/ арÑ
Disallow */trackback трекбеки, уведомления в комментарияÑ
Disallow */trackback/ -
Disallow */feed все фиды
Disallow */feed/ -
Disallow /?feed= -
Disallow */rss rss фид
Disallow */embed все встраивания
Disallow */page/* страницы пагинации
Disallow */attachment/* все вложения (файлы к комментариям и т.п.)
Disallow *?attachment_id= -
Disallow /wp-login.php -
Disallow /wp-register.php -
Disallow /template.html -
Disallow */wlwmanifest.xml xml-файл манифеста Windows Live Writer (если не используете, правило можно удалить)
Disallow /xmlrpc.php файл WordPress API
Disallow /rules правообладателям
Disallow /deklaratsiya-o-pravah декларация о праваÑ
Disallow /politics политика обработки персональныÑ
Disallow /o-sayte о сайте
Disallow /contacts контакты
Disallow *.jpg -
Disallow *.gif -
Disallow *.tiff -
Disallow *.bmp -
Disallow *.jpeg -
Disallow *.JPG -
Disallow *.JPEG -
Allow *.png -
Allow *.PNG -
Allow *.ico -
Allow *.css -
Allow *.js -
Allow /*/*.js -
Allow /*/*.css -

twitterbot

Rule Path
Allow /wp-content/cache/images/
Allow /wp-content/uploads/
Allow *.jpg
Allow *.png
Allow *.gif
Allow *.tiff
Allow *.bmp
Allow *.jpeg
Allow *.JPG
Allow *.PNG
Allow *.JPEG

mj12bot

Rule Path
Disallow /
Back to top

Other Records

Field Value
sitemap https://driverstalk.ru/sitemap.xml
sitemap https://driverstalk.ru/sitemap.xml.gz
Back to top

Comments

  • т.к. для ниÑ
  • все параметры запроса на главной
  • поиск
  • различные варианты дублей контента (исключаем дубли контента)
  • различные системные файлы
  • теÑ
  • запрет на индексацию всеÑ
  • ИСКЛЮЧЕНИЯ
  • --------------------------------------------------------------------------------------------------
  • исключения для индексации изображений (в основном логотип и другие мелкие изображения для сервисов)
  • исключения для индексации файлов дизайна и скриптов
  • +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
  • правила для Mail.Ru
  • (при необÑ
  • --------------------------------------------------------------------------------------------------
  • User-agent: Mail.Ru
  • Allow: */feed/
  • правила для Twitter
  • (открываем для Twitter закрытые изображения, чтобы он мог иÑ
  • --------------------------------------------------------------------------------------------------
  • правила для MJ12bot
  • (бот который слишком напрягает работу сайта) | закрываем от него сайт
  • --------------------------------------------------------------------------------------------------
  • Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent
  • не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже.
Back to top

Warnings

  • 14 invalid lines.
Back to top