Log In Sign Up

fpvua.org
robots.txt

Robots Exclusion Standard data for fpvua.org

Resource Scan

Scan Details

Site Domain fpvua.org
Base Domain fpvua.org
Scan Status Ok
Last Scan2026-01-20T03:09:28+00:00
Next Scan 2026-01-27T03:09:28+00:00

Last Scan

Scanned2026-01-20T03:09:28+00:00
URL https://fpvua.org/robots.txt
Domain IPs 185.68.16.123, 2a00:7a60:0:107b::1
Response IP 185.68.16.123
Found Yes
Hash 5dba28e7f0f98cc71f35e7f644ba8eceee7e8006738682e27b2688963b64e350
SimHash 4622e3f0e041

Groups

ahrefsbot

Rule Path
Disallow /

semrushbot

Rule Path
Disallow /

mj12bot

Rule Path
Disallow /

dotbot

Rule Path
Disallow /

mauibot

Rule Path
Disallow /

aspiegelbot

Rule Path
Disallow /

petalbot

Rule Path
Disallow /

amazonbot

Rule Path
Disallow /threads/*/reply

bingbot

Rule Path
Disallow /search/
Disallow /find-new/
Disallow /goto/
Disallow /attachments/
Disallow /posts/
Disallow /account/
Disallow /login/
Disallow /admin.php
Allow /

Other Records

Field Value Comment
crawl-delay 10 не частіше ніж 1 запит на 10 секунд

adidxbot

Rule Path
Disallow /

bingpreview

Rule Path
Disallow /

gptbot

Rule Path
Disallow /

chatgpt-user

Rule Path
Disallow /

*

Rule Path
Disallow /find-new/
Disallow /account/
Disallow /attachments/
Disallow /goto/
Disallow /posts/
Disallow /login/
Disallow /admin.php
Disallow /search/
Allow /
Back to top

Other Records

Field Value
sitemap https://fpvua.org/sitemap.php
Back to top

Comments

  • =========================================
  • robots.txt для fpvua.org
  • Мета:
  • 1) зменшити навантаження на сервер
  • 2) не дати ботам жерти важкі розділи
  • 3) залишити індексацію корисного контенту
  • =========================================
  • -----------------------------------------
  • ВАЖКІ SEO-СКРАПЕРИ
  • Користі для сайту не дають, лише навантаження
  • -----------------------------------------
  • -----------------------------------------
  • Amazonbot
  • Дозволяємо, але не даємо відповідати у темаÑ
  • -----------------------------------------
  • -----------------------------------------
  • BING / MICROSOFT (ОСНОВНЕ ДЖЕРЕЛО НАВАНТАЖЕННЯ)
  • Обмежуємо частоту і закриваємо важкі розділи
  • -----------------------------------------
  • Забороняємо важкі та системні розділи
  • Дозволяємо основний контент
  • -----------------------------------------
  • ДОДАТКОВІ БОТИ MICROSOFT
  • Не критичні для SEO, але шумлять
  • -----------------------------------------
  • -----------------------------------------
  • AI-КРАУЛЕРИ (якщо не Ñ
  • використовували для навчання моделей)
  • -----------------------------------------
  • -----------------------------------------
  • УСІ ІНШІ БОТИ
  • Загальні обмеження для будь-кого
  • -----------------------------------------
  • Все інше дозволено
  • -----------------------------------------
  • Sitemap
  • Підказка пошуковикам, що індексувати
  • -----------------------------------------
Back to top

Warnings

  • 1 invalid line.
Back to top