Log In Sign Up

xlib.info
robots.txt

Robots Exclusion Standard data for xlib.info

Resource Scan

Scan Details

Site Domain xlib.info
Base Domain xlib.info
Scan Status Ok
Last Scan2025-03-20T22:02:23+00:00
Next Scan 2025-04-19T22:02:23+00:00

Last Scan

Scanned2025-03-20T22:02:23+00:00
URL https://xlib.info/robots.txt
Domain IPs 104.21.26.117, 172.67.168.68, 2606:4700:3034::6815:1a75, 2606:4700:3036::ac43:a844
Response IP 172.67.168.68
Found Yes
Hash 1fd0540c9446fc5c728fbef815a118f59017d9eb0aa6226d59b762434f0b3b1e
SimHash 4008df00c859

Groups

*

Product Comment
* общие правила для роботов, кроме Яндекса и Google, т.к. для них правила ниже
Rule Path Comment
Disallow /export* -
Disallow /*? -
Disallow /search* -
Disallow /api -
Disallow /*/*/print -
Disallow *utm*%3D ссылки с utm-метками
Disallow *openstat%3D ссылки с метками openstat
Disallow /o-sayte -
Disallow /kontakty -
Disallow /politika-konfidentsialnosti -
Disallow /dmca-avtorskie-prava -
Disallow /usloviya-ispolzovaniya -
Disallow /pravoobladatelyam -
Disallow /favourites -
Disallow /razdet-po-foto nudeAI
Disallow *.jpg -
Disallow *.gif -
Disallow *.tiff -
Disallow *.bmp -
Disallow *.jpeg -
Disallow *.JPG -
Disallow *.JPEG -
Disallow *.css -
Disallow *.js -
Allow *.png -
Allow *.PNG -
Allow *.ico -

twitterbot

Rule Path
Allow /
Allow *.jpg
Allow *.png
Allow *.gif
Allow *.tiff
Allow *.bmp
Allow *.jpeg
Allow *.JPG
Allow *.PNG
Allow *.JPEG

mj12bot

Rule Path
Disallow /
Back to top

Other Records

Field Value
sitemap https://xlib.info/sitemap.xml
Back to top

Comments

  • все параметры запросов
  • поиск
  • запрет на индексацию api системы
  • запрет на индексацию страниц печати
  • различные варианты дублей контента (исключаем дубли контента)
  • технические страницы они шаблонные и чтобы небыло пересечений их лучше не вгонять в индекс поисковиков
  • запрет на индексацию всех изображений
  • запрет на индексацию файлов дизайна и скриптов
  • ИСКЛЮЧЕНИЯ
  • --------------------------------------------------------------------------------------------------
  • исключения для индексации изображений (в основном логотип и другие мелкие изображения для сервисов)
  • +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
  • правила для Mail.Ru
  • (при необходимости открываем для Mail.Ru feed, чтобы можно было подключить ленту сайта в аналог дзена от Mail.Ru)
  • --------------------------------------------------------------------------------------------------
  • User-agent: Mail.Ru
  • Allow: */feed/
  • правила для Twitter
  • (открываем для Twitter закрытые изображения, чтобы он мог их добавлять к записям при репосте)
  • --------------------------------------------------------------------------------------------------
  • правила для MJ12bot
  • (бот который слишком напрягает работу сайта) | закрываем от него сайт
  • --------------------------------------------------------------------------------------------------
  • Укажите один файл Sitemap (дублировать для каждого User-agent не нужно).
  • Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
  • то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал
  • Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают.
Back to top

Warnings

  • `host` is not a known field.
Back to top