Log In Sign Up

mem-hub.ru
robots.txt

Robots Exclusion Standard data for mem-hub.ru

Resource Scan

Scan Details

Site Domain mem-hub.ru
Base Domain mem-hub.ru
Scan Status Ok
Last Scan2026-02-07T17:50:55+00:00
Next Scan 2026-02-14T17:50:55+00:00

Last Scan

Scanned2026-02-07T17:50:55+00:00
URL https://mem-hub.ru/robots.txt
Domain IPs 2a0a:8d80:0:9123::3133, 91.236.136.83
Response IP 91.236.136.83
Found Yes
Hash f8fbb095f4041ff72a82826cc6fcb4cf77fb402531dec4553def5ab5acbfbd0c
SimHash 78fc54b389f7

Groups

yandex

Rule Path
Disallow /admin
Disallow /site
Disallow /user
Disallow /users
Disallow /profile
Disallow /files
Disallow /comments
Disallow /*.pdf
Disallow /*.xls
Disallow /*.doc
Disallow /*.ppt
Disallow /*.txt
Allow /css/*.css
Allow /js/*.js
Allow /loads/*.jpg
Allow /loads/*.jpeg
Allow /loads/*.png
Allow /loads/*.gif
Allow /loads/*.mp4
Allow /mem
Allow /user/signin
Allow /user/signup

googlebot

Rule Path
Disallow /admin
Disallow /site
Disallow /user
Disallow /users
Disallow /profile
Disallow /files
Disallow /comments
Disallow /*.pdf
Disallow /*.xls
Disallow /*.doc
Disallow /*.ppt
Disallow /*.txt
Allow /css/*.css
Allow /js/*.js
Allow /loads/*.jpg
Allow /loads/*.jpeg
Allow /loads/*.png
Allow /loads/*.gif
Allow /loads/*.mp4
Allow /mem
Disallow /user/signin
Disallow /user/signup

*

Rule Path
Disallow /admin
Disallow /site
Disallow /user
Disallow /users
Disallow /profile
Disallow /files
Disallow /comments
Disallow /*utm
Disallow /*clid%3D
Disallow /*openstat
Disallow /*from
Disallow /*.pdf
Disallow /*.xls
Disallow /*.doc
Disallow /*.ppt
Disallow /*.txt
Allow /css/*.css
Allow /js/*.js
Allow /loads/*.jpg
Allow /loads/*.jpeg
Allow /loads/*.png
Allow /loads/*.gif
Allow /loads/*.mp4
Allow /mem
Allow /user/signin
Allow /user/signup
Back to top

Other Records

Field Value
sitemap https://mem-hub.ru/sitemap.xml
Back to top

Comments

  • Административные и прочие страницы
  • Наиболее часто встречаемые расширения документов
  • Требуется для правильно обработки ПС
  • Картинки
  • Доступные страницы
  • Наиболее часто встречаемые метки для отслеживания рекламы
  • При наличии фильтров и параметров добавляем и их в Clean-param
  • Административные и прочие страницы
  • У google метки, фильтры и параметры закрываются в GSC-Сканирование-Параметры URL
  • Доступные страницы
  • Метки, фильтры и параметры для других ПС закрываем по классическому стандарту
  • Административные и прочие страницы
  • Доступные страницы
Back to top

Warnings

  • `clean-param` is not a known field.
Back to top