Log In Sign Up

sportitalialive.com
robots.txt

Robots Exclusion Standard data for sportitalialive.com

Resource Scan

Scan Details

Site Domain sportitalialive.com
Base Domain sportitalialive.com
Scan Status Ok
Last Scan2024-11-01T08:07:49+00:00
Next Scan 2024-11-08T08:07:49+00:00

Last Scan

Scanned2024-11-01T08:07:49+00:00
URL https://sportitalialive.com/robots.txt
Domain IPs 2.40.106.70
Response IP 2.40.106.70
Found Yes
Hash 81d3ccc2b79c6814fc9eed425611085e198ff4a8c3891f83f125451967b9e2a6
SimHash 142fd2637594

Groups

grapeshot

Rule Path Comment
Allow /video/* permette la scansione di video

*

Product Comment
* applicazione a tutti i crawler\bots
Rule Path Comment
Allow /video/* permette la scansione di video
Back to top

Other Records

Field Value
sitemap https://or-videos.babyloncloud.com/video_0/sitemap_main_index.xml
Back to top

Comments

  • Istruzioni d'uso
  • I path devono necessariamente terminare con /
  • User-agent --> il nome del crawler soggett. * indica tutti tranne gli AdsBot che devono essere specificati
  • Disallow\Allow --> definiscono quali directories ed URL sono non disponibili\disponibili alla scansione dei crawler
  • Sitemap --> path dove si trova il file sitemap
  • La lettura viene fatta dall'alto a scendere, quindi verrà letto prima Allow, per poi passare al Disallow e quindi 'interrompere' la scansione
  • Tutti i crawler\user-agent possono scansionare solo la folder 'video'
  • Disallow: / #non permette la scansione di tutto il resto
  • Disallow: / #non permette la scansione di tutto il resto
Back to top