Log In Sign Up

fidaf.tv
robots.txt

Robots Exclusion Standard data for fidaf.tv

Resource Scan

Scan Details

Site Domain fidaf.tv
Base Domain fidaf.tv
Scan Status Ok
Last Scan2024-06-27T08:55:39+00:00
Next Scan 2024-07-04T08:55:39+00:00

Last Scan

Scanned2024-06-27T08:55:39+00:00
URL https://fidaf.tv/robots.txt
Domain IPs 2.40.106.70
Response IP 2.40.106.70
Found Yes
Hash 6d9f8a9d3c445aa50f17b5d8c2b057103cccd7c1dcdd03d510af9dd662ab3de9
SimHash 142f53637594

Groups

grapeshot

Rule Path Comment
Allow /video/* permette la scansione di video

*

Product Comment
* applicazione a tutti i crawler\bots
Rule Path Comment
Allow /video/* permette la scansione di video
Back to top

Other Records

Field Value
sitemap https://or-videos.babyloncloud.com/video_0/sitemap.xml
Back to top

Comments

  • Istruzioni d'uso
  • I path devono necessariamente terminare con /
  • User-agent --> il nome del crawler soggett. * indica tutti tranne gli AdsBot che devono essere specificati
  • Disallow\Allow --> definiscono quali directories ed URL sono non disponibili\disponibili alla scansione dei crawler
  • Sitemap --> path dove si trova il file sitemap
  • La lettura viene fatta dall'alto a scendere, quindi verrà letto prima Allow, per poi passare al Disallow e quindi 'interrompere' la scansione
  • Tutti i crawler\user-agent possono scansionare solo la folder 'video'
  • Disallow: / #non permette la scansione di tutto il resto
  • Disallow: / #non permette la scansione di tutto il resto
Back to top