avventurosamente.it
robots.txt

Robots Exclusion Standard data for avventurosamente.it

Resource Scan

Scanned	2024-10-01T15:15:20+00:00
URL	https://avventurosamente.it/robots.txt
Domain IPs	176.31.240.120
Response IP	176.31.240.120
Found	Yes
Hash	faa3f2b7337e1e9995ebc03699e781e9b370fe4b793e4bccdf9293d9bcc52774
SimHash	281fdab3f3bf

Rule	Path
Disallow	/

Rule

Path

Disallow

/

Rule

Path

Disallow

/vb_new/

Disallow

/vb_old/

Disallow

/xf2/

Disallow

/xftest/

Disallow

/xftest2/

Back to top

Disabilito l'accesso di Google, aggiunto il 16/12/2007
User-agent: Googlebot
Disallow: /
Limito il crawler di yahoo che rompe le balle succhiando tutta la banda disponibile, aggiunto il 23/06/2007
User-agent: Slurp
Disallow: /
Crawl-delay: 100
Consento l'indicizzazione dei contenuti da parte di eDintorni, aggiunti il 16/11/2006
User-agent: eDintorni crawler
User-agent: eDintorni
Consento di indicizzare il sito dagli Annunci di Google, aggiunto il 18/04/2005
User-agent: Mediapartners-Google*
Escludo lo spider di Google che indicizza le immagini, aggiunto il 10/11/2004
User-agent: Googlebot-Image
Disallow: /
Escludo i robot di Netmechanic, il sito che offre servizi di controllo di siti Web cui non sono interessato, aggiunto il 10/11/2004
User-agent: NetMechanic
Disallow: /
Escludo EmailCollector, un software che ricerca sulla rete indirizzi di e-mail per poi utilizzarli nello spam, aggiunto il 10/11/2004
Escludo Teleport, l'offline browser noto per le sue capacità di sovraccaricare i server, aggiunto il 10/11/2004
User-agent: Teleport
Disallow: /
Escludo tutti gli spider e robor nelle cartelle private, aggiunto il 10/11/2004

Back to top