a-b63.ru
robots.txt

Groups

semrushbot

Rule	Path
Disallow	/

*

Product	Comment
*	общие правила для роботов, кроме Яндекса и Google,

Rule	Path	Comment
Disallow	/cgi-bin	папка на хостинге
Disallow	/?	все параметры запроса на главной
Disallow	/wp-	все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow	/wp/	если есть подкаталог /wp/, где установлена CMS (если нет,
Disallow	*?s=	поиск
Disallow	*%26s%3D	поиск
Disallow	/search/	поиск
Disallow	/author/	архив автора
Disallow	/users/	архив авторов
Disallow	*/trackback	трекбеки, уведомления в комментариях о появлении открытой
Disallow	*/feed	все фиды
Disallow	*/rss	rss фид
Disallow	*/embed	все встраивания
Disallow	*/wlwmanifest.xml	xml-файл манифеста Windows Live Writer (если не используете,
Disallow	/xmlrpc.php	файл WordPress API
Disallow	*utm*%3D	ссылки с utm-метками
Disallow	*openstat%3D	ссылки с метками openstat
Allow	*/uploads	открываем папку с файлами uploads
Disallow	/json/*	-
Disallow	/modal/*	-
Disallow	/ajax/*	-
Disallow	/online/*	-
Disallow	/wp-admin/*	-
Disallow	/brokers/$	-
Allow	/uslugi/*/$	-
Disallow	/uslugi/*/*/	-
Disallow	/uslugi/buyout/?*	-
Disallow	/uslugi/comission/?*	-
Disallow	/sale/	-
Allow	*/?type=*	-
Disallow	*/?	-

Other Records

Field	Value
crawl-delay	5

Back to top

Other Records

Field	Value
sitemap	https://ab-club.ru/sitemap_index.xml

Back to top

Comments

• т.к. для них правила ниже
• правило можно удалить)
• ссылки на статью
• правило можно удалить)

Back to top

Warnings

• `host` is not a known field.

Back to top