pdent.pro
robots.txt

Robots Exclusion Standard data for pdent.pro

Resource Scan

Scan Details

Site Domain pdent.pro
Base Domain pdent.pro
Scan Status Ok
Last Scan2026-01-28T00:06:04+00:00
Next Scan 2026-02-27T00:06:04+00:00

Last Scan

Scanned2026-01-28T00:06:04+00:00
URL https://pdent.pro/robots.txt
Domain IPs 92.53.96.101
Response IP 92.53.96.101
Found Yes
Hash 9c137574ab490cca3a56c11c0af1872898a8c789ec311344bf5c65ff43dabfda
SimHash 08bedc65e8a1

Groups

*

Rule Path
Disallow /tag/
Disallow /author/
Disallow /feed/
Disallow /wp-json/
Disallow /*/page/*/
Disallow /*/page/
Allow /*.css
Allow /*.js
Disallow /index.html
Disallow /index
Disallow /index.php
Disallow /*//*
Disallow /otradnoe/otzyvy/*
Disallow /proletarskaya/otzyvy-proletarskaya/*
Disallow /pechatniki/otzyvy-pechatniki/*
Disallow /novogireevo/otzyvy-novogireevo/*
Disallow /vladykino/otzyvy-vladykino/*
Disallow /*.pdf$
Disallow /kolomenskoe/
Disallow /nashi-doktora/vrachi-kolomenskoe/

yandex

Rule Path
Disallow /tag/
Disallow /author/
Disallow /wp-json/
Disallow /*/page/*/
Disallow /*/page/
Allow /*.css
Allow /*.js
Disallow /index.html
Disallow /index
Disallow /index.php
Disallow /otradnoe/otzyvy/*
Disallow /proletarskaya/otzyvy-proletarskaya/*
Disallow /pechatniki/otzyvy-pechatniki/*
Disallow /novogireevo/otzyvy-novogireevo/*
Disallow /vladykino/otzyvy-vladykino/*
Disallow /*//*
Disallow /*.pdf$
Disallow /kolomenskoe/
Disallow /nashi-doktora/vrachi-kolomenskoe/

ia_archiver

Rule Path
Disallow /

Other Records

Field Value
sitemap https://pdent.pro/sitemap.xml
sitemap https://pdent.pro/sitemap.xml

Comments

  • открываем файлы адаптива и функций
  • исключаем индексные страницы по умолчанию
  • исключаем несколько слешей и / на конце
  • исключаем карточки отдельных отзывов
  • исключаем индексирование pdf чтобы не вычищать из индекса старые прайс-листы
  • поисковой робот Яндекс
  • открываем файлы адаптива и функций
  • исключаем индексные страницы по умолчанию
  • исключаем карточки отдельных отзывов
  • исключаем несколько слешей и / на конце
  • исключаем индексирование pdf чтобы не вычищать из индекса старые прайс-листы
  • исключаем utm метки различных систем и сервисов
  • Google
  • подключаем карту сайта
  • запрещаем индексацию в ВебАрхив

Warnings

  • 2 invalid lines.
  • `clean-param` is not a known field.