Log In Sign Up

кухня.рф
robots.txt

Robots Exclusion Standard data for кухня.рф

Resource Scan

Scan Details

Site Domain кухня.рф
Base Domain кухня.рф
Scan Status Ok
Last Scan2024-11-10T12:08:47+00:00
Next Scan 2024-11-17T12:08:47+00:00

Last Scan

Scanned2024-11-10T12:08:47+00:00
URL https://кухня.рф/robots.txt
Redirect https://xn--j1agri5c.xn--p1ai/robots.txt
Domain IPs 84.201.149.254
Response IP 84.201.149.254
Found Yes
Hash a227a6dad9eff83d3870c2a735744d307a02c8f7c8f56c1c2f25443a1cb34278
SimHash 6e8c9e33c3f7

Groups

yandex

Rule Path
Disallow /api.*
Disallow /login*
Disallow */reviews$
Disallow *?
Disallow */stories/*
Disallow */cooking/*
Disallow */highlights/*
Disallow /bookmarks/recipes
Disallow /search
Disallow /bookmarks/stories
Disallow */playlists/*
Disallow /*.pdf
Disallow /*.xls
Disallow /*.doc
Disallow /*.ppt
Disallow /*.txt
Allow /*.css
Allow /*.js
Allow /*.jpg
Allow /*.jpeg
Allow /*.png
Allow /*.gif

googlebot

Rule Path
Disallow /api.*
Disallow /login*
Disallow *?
Disallow */stories/*
Disallow /bookmarks/recipes
Disallow /search
Disallow /bookmarks/stories
Disallow */cooking/*
Disallow */highlights/*
Disallow */playlists/*
Disallow /*.pdf
Disallow /*.xls
Disallow /*.doc
Disallow /*.ppt
Disallow /*.txt
Allow /*.css
Allow /*.js
Allow /*.jpg
Allow /*.jpeg
Allow /*.png
Allow /*.gif

*

Rule Path
Disallow /api.*
Disallow /login*
Disallow *?
Disallow */stories/*
Disallow */cooking/*
Disallow */highlights/*
Disallow */playlists/*
Disallow /*utm
Disallow /*clid%3D
Disallow /*openstat
Disallow /*from
Disallow /*.pdf
Disallow /*.xls
Disallow /*.doc
Disallow /*.ppt
Disallow /*.txt
Allow /*.css
Allow /*.js
Allow /*.jpg
Allow /*.jpeg
Allow /*.png
Allow /*.gif
Back to top

Other Records

Field Value
sitemap https://xn--j1agri5c.xn--p1ai/sitemap.xml
sitemap https://xn--j1agri5c.xn--p1ai/sitemap.xml
sitemap https://xn--j1agri5c.xn--p1ai/sitemap.xml
Back to top

Comments

  • Убираем админку и лк
  • Убираем отзывы из индексации
  • убрать все технические страницы
  • убрать страницы stories
  • убрать страницы cooking
  • Убираем историю и поиск
  • убрать страницы playlists
  • Наиболее часто встречаемые расширения документов
  • Картинки
  • Наиболее часто встречаемые метки для отслеживания рекламы
  • При наличии фильтров и параметров добавляем и их в Clean-param
  • Убираем админку и лк
  • убрать все технические страницы
  • убрать страницы stories
  • Убираем историю и поиск
  • убрать страницы cooking
  • убрать страницы playlists
  • Убираем расширения документов
  • У google метки, фильтры и параметры закрываются в GSC-Сканирование-Параметры URL
  • Убираем админку и лк
  • убрать все технические страницы
  • убрать страницы stories
  • убрать страницы cooking
  • убрать страницы playlists
  • Метки, фильтры и параметры для других ПС закрываем по классическому стандарту
Back to top

Warnings

  • `clean-param` is not a known field.
  • `host` is not a known field.
Back to top