Log In Sign Up

sexteller.com
robots.txt

Robots Exclusion Standard data for sexteller.com

Resource Scan

Scan Details

Site Domain sexteller.com
Base Domain sexteller.com
Scan Status Ok
Last Scan3/29/2025, 7:36:19 AM
Next Scan 4/28/2025, 7:36:19 AM

Last Scan

Scanned3/29/2025, 7:36:19 AM
URL https://sexteller.com/robots.txt
Domain IPs 104.21.85.82, 172.67.203.219
Response IP 104.21.85.82
Found Yes
Hash 1c11ae67e432382289fc6f7a901d6182d48807c7e310e8b8a019a50febabbb5e
SimHash 404cdf00c859

Groups

*

Product Comment
* общие правила для роботов, кроме Яндекса и Google, т.к. для них правила ниже
Rule Path Comment
Disallow /export* -
Disallow /*? -
Disallow /search* -
Disallow /api -
Disallow /*/*/print -
Disallow *utm*%3D ссылки с utm-метками
Disallow *openstat%3D ссылки с метками openstat
Disallow /o-sayte -
Disallow /kontakty -
Disallow /politika-konfidentsialnosti -
Disallow /dmca-avtorskie-prava -
Disallow /usloviya-ispolzovaniya -
Disallow /pravoobladatelyam -
Disallow /favourites -
Disallow /razdet-po-foto nudeAI
Disallow *.jpg -
Disallow *.gif -
Disallow *.tiff -
Disallow *.bmp -
Disallow *.jpeg -
Disallow *.JPG -
Disallow *.JPEG -
Disallow *.css -
Disallow *.js -
Allow *.png -
Allow *.PNG -
Allow *.ico -

twitterbot

Rule Path
Allow /
Allow *.jpg
Allow *.png
Allow *.gif
Allow *.tiff
Allow *.bmp
Allow *.jpeg
Allow *.JPG
Allow *.PNG
Allow *.JPEG

mj12bot

Rule Path
Disallow /
Back to top

Other Records

Field Value
sitemap http://sexteller.com/sitemap.xml
Back to top

Comments

  • все параметры запросов
  • поиск
  • запрет на индексацию api системы
  • запрет на индексацию страниц печати
  • различные варианты дублей контента (исключаем дубли контента)
  • технические страницы они шаблонные и чтобы небыло пересечений их лучше не вгонять в индекс поисковиков
  • запрет на индексацию всех изображений
  • запрет на индексацию файлов дизайна и скриптов
  • ИСКЛЮЧЕНИЯ
  • --------------------------------------------------------------------------------------------------
  • исключения для индексации изображений (в основном логотип и другие мелкие изображения для сервисов)
  • +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
  • правила для Mail.Ru
  • (при необходимости открываем для Mail.Ru feed, чтобы можно было подключить ленту сайта в аналог дзена от Mail.Ru)
  • --------------------------------------------------------------------------------------------------
  • User-agent: Mail.Ru
  • Allow: */feed/
  • правила для Twitter
  • (открываем для Twitter закрытые изображения, чтобы он мог их добавлять к записям при репосте)
  • --------------------------------------------------------------------------------------------------
  • правила для MJ12bot
  • (бот который слишком напрягает работу сайта) | закрываем от него сайт
  • --------------------------------------------------------------------------------------------------
  • Укажите один файл Sitemap (дублировать для каждого User-agent не нужно).
  • Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
  • то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал
  • Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают.
Back to top

Warnings

  • `host` is not a known field.
Back to top