Log In Sign Up

huurwoningen.nl
robots.txt

Robots Exclusion Standard data for huurwoningen.nl

Resource Scan

Scan Details

Site Domain huurwoningen.nl
Base Domain huurwoningen.nl
Scan Status Ok
Last Scan2024-06-11T01:19:39+00:00
Next Scan 2024-06-18T01:19:39+00:00

Last Scan

Scanned2024-06-11T01:19:39+00:00
URL https://huurwoningen.nl/robots.txt
Redirect https://www.huurwoningen.nl/robots.txt
Redirect Domain www.huurwoningen.nl
Redirect Base huurwoningen.nl
Domain IPs 104.26.0.124, 104.26.1.124, 172.67.71.100, 2606:4700:20::681a:17c, 2606:4700:20::681a:7c, 2606:4700:20::ac43:4764
Redirect IPs 104.26.0.124, 104.26.1.124, 172.67.71.100, 2606:4700:20::681a:17c, 2606:4700:20::681a:7c, 2606:4700:20::ac43:4764
Response IP 172.67.71.100
Found Yes
Hash a100c7c4b0f2ea4d41408263bbc41473fe2ab074cbab4aef7e43279cb3e36207
SimHash 13dc906d3fb7

Groups

*

Rule Path
Disallow /appartement/huren/*/?*page=*
Allow /appartement/huren/*/?*page=1$
Disallow /huis/huren/*/?*page=*
Allow /huis/huren/*/?*page=1$
Disallow /kamer/huren/*/?*page=*
Allow /kamer/huren/*/?*page=1$
Disallow /bedrijfsruimte/huren/*/?*page=*
Allow /bedrijfsruimte/huren/*/?*page=1$
Disallow /opslag/huren/*/?*page=*
Allow /opslag/huren/*/?*page=1$
Disallow /studio/huren/*/?*page=*
Allow /studio/huren/*/?*page=1$
Disallow /appartement/*/stadsdeel/*/?*page=*
Allow /appartement/*/stadsdeel/*/?*page=1$
Disallow /huis/*/stadsdeel/*/?*page=*
Allow /huis/*/stadsdeel/*/?*page=1$
Disallow /kamer/*/stadsdeel/*/?*page=*
Allow /kamer/*/stadsdeel/*/?*page=1$
Disallow /bedrijfsruimte/*/stadsdeel/*/?*page=*
Allow /bedrijfsruimte/*/stadsdeel/*/?*page=1$
Disallow /opslag/*/stadsdeel/*/?*page=*
Allow /opslag/*/stadsdeel/*/?*page=1$
Disallow /appartement/*/buurt/*/?*page=*
Allow /appartement/*/buurt/*/?*page=1$
Disallow /huis/rotterdam/*/buurt/*/?*page=*
Allow /huis/rotterdam/*/buurt/*/?*page=1$
Disallow /kamer/*/buurt/*/?*page=*
Allow /kamer/*/buurt/*/?*page=1$
Disallow /bedrijfsruimte/*/buurt/*/?*page=*
Allow /bedrijfsruimte/*/buurt/*/?*page=1$
Disallow /opslag/*/buurt/*/?*page=*
Allow /opslag/*/buurt/*/?*page=1$
Disallow /appartement/*/wijk/*/?*page=*
Allow /appartement/*/wijk/*/?*page=1$
Disallow /kamer/*/wijk/*/?*page=*
Allow /kamer/*/wijk/*/?*page=1$
Disallow /studio/*/wijk/*/?*page=*
Allow /studio/*/wijk/*/?*page=1$
Disallow /opslag/*/wijk/*/?*page=*
Allow /opslag/*/wijk/*/?*page=1$
Disallow /bedrijfsruimte/*/wijk/*/?*page=*
Allow /bedrijfsruimte/*/wijk/*/?*page=1$
Disallow /straat/appartement/*/*/?*page=*
Allow /straat/appartement/*/*/?*page=1$
Disallow /straat/kamer/*/*/?*page=*
Allow /straat/kamer/*/*/?*page=1$
Disallow /straat/studio/*/*/?*page=*
Allow /straat/studio/*/*/?*page=1$
Disallow /straat/opslag/*/*/?*page=*
Allow /straat/opslag/*/*/?*page=1$
Disallow /straat/bedrijfsruimte/*/*/?*page=*
Allow /straat/bedrijfsruimte/*/*/?*page=1$
Disallow /straat/appartement/*/*/*
Disallow /straat/kamer/*/*/*
Disallow /straat/studio/*/*/*
Disallow /straat/opslag/*/*/*
Disallow /straat/bedrijfsruimte/*/*/*
Disallow /straat/*/*/*number_of_rooms%3D*
Disallow /straat/*/*/*radius%3D*
Disallow /in/*/wijk/*/*number_of_rooms%3D*
Disallow /in/*/wijk/*/*radius%3D*
Disallow /in/*/stadsdeel/*/*number_of_rooms%3D*
Disallow /in/*/stadsdeel/*/*radius%3D*
Disallow /opslag/*/wijk/*/*
Disallow /bedrijfsruimte/*/wijk/*/*
Disallow /huis/*/wijk/*/*
Disallow /in/*/wijk/*/?page=*
Allow /in/*/wijk/*/?page=1$
Disallow /in/*/buurt/*/?page=*
Allow /in/*/buurt/*/?page=1$
Disallow /appartement/huren/*/?page=*
Allow /appartement/huren/*/?page=1$
Disallow /in/*/stadsdeel/*/?page=*
Allow /in/*/stadsdeel/*/?page=1$
Disallow /provincie/*/*?page=*
Allow /provincie/*/*?page=1$
Disallow /studio/*/stadsdeel/*/?page=*
Allow /studio/*/stadsdeel/*/?page=1$
Disallow /huis/*/stadsdeel/*/?page=*
Allow /huis/*/stadsdeel/*/?page=1$
Disallow /bedrijfsruimte/*/stadsdeel/*/?page=*
Allow /bedrijfsruimte/*/stadsdeel/*/?page=1$
Disallow /opslag/*/stadsdeel/*/?page=*
Allow /opslag/*/stadsdeel/*/?page=1$
Disallow /appartement/*/stadsdeel/*/?page=*
Allow /appartement/*/stadsdeel/*/?page=1$
Disallow /aanbod-huurwoningen/?page=*
Allow /aanbod-huurwoningen/?page=1$
Disallow /gemeubileerd/huren/*/*?page=*
Allow /gemeubileerd/huren/*/*?page=1$
Disallow /gemeubileerd-huren/*?page=*
Allow /gemeubileerd-huren/*?page=1$
Disallow /kaart/*
Disallow /bestaande-bouw-*
Disallow /bestaande-bouw/*
Disallow /contact/*/vraag/*
Disallow /mailalert/*
Disallow *interstitial*
Disallow *sort%3D*
Disallow *direction%3D*
Disallow /in/*min_price%3D800
Disallow /platform/in/*min_price%3D800
Disallow /kamer-huren/?page=
Disallow /huis-huren/?page=
Disallow /appartement-huren/?page=
Disallow /appartement-huren/*/*
Disallow /kamer-huren/*/*
Back to top

Comments

  • www.robotstxt.org/
  • www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449
  • Disallow: /*?*
  • Disallow: /*&*[c][d]
  • Except page parameter
  • Allow: */?*page=*[e][f]
  • stad + appartement + paginering
  • /appartement/huren/rotterdam/?*page=1$
  • stad + huis + paginering
  • /huis/huren/rotterdam/?*page=1$
  • stad + kamer + paginering
  • /kamer/huren/rotterdam/?*page=1$
  • stad + bedrijfsruimte + paginering
  • /bedrijfsruimte/huren/rotterdam/?*page=1$
  • stad + opslag + paginering
  • /opslag/huren/rotterdam/?*page=1$
  • stad + studio + paginering
  • /studio/huren/rotterdam/?*page=1$
  • stadsdeel + woningtype
  • stadsdeel + appartement
  • /kamer/amsterdam/stadsdeel/zuidoost/
  • stadsdeel + huis
  • /huis/amsterdam/stadsdeel/zuidoost/
  • stadsdeel + kamer
  • /kamer/amsterdam/stadsdeel/zuidoost/
  • stadsdeel + bedrijfsruimte
  • /bedrijfsruimte/amsterdam/stadsdeel/zuidoost/
  • stadsdeel + opslag
  • /opslag/amsterdam/stadsdeel/zuidoost/
  • buurt + woningtype
  • appartement + buurt
  • /appartement/rotterdam/buurt/molenlaankwartier/
  • buurt + huis
  • /huis/rotterdam/buurt/molenlaankwartier/
  • buurt + kamer
  • /kamer/rotterdam/buurt/molenlaankwartier/
  • buurt + bedrijfsruimte
  • /bedrijfsruimte/rotterdam/buurt/molenlaankwartier/
  • buurt + opslag
  • /opslag/rotterdam/buurt/molenlaankwartier/
  • wijk + appartement
  • /appartement/rotterdam/wijk/noord/
  • wijk + kamer
  • /kamer/rotterdam/wijk/noord/
  • wijk + studio
  • /studio/rotterdam/wijk/noord/
  • wijk + opslag
  • /opslag/rotterdam/wijk/noord/
  • wijk + bedrijfsruimte
  • /bedrijfsruimte/rotterdam/wijk/noord/
  • straat + woningtype
  • straat + appartement
  • /straat/appartement/rotterdam/eendrachtsweg/
  • straat + kamer
  • /straat/kamer/rotterdam/eendrachtsweg/
  • straat + studio
  • /straat/studio/rotterdam/eendrachtsweg/
  • straat + opslag
  • /straat/opslag/rotterdam/eendrachtsweg/
  • straat + bedrijfsruimte
  • /straat/bedrijfsruimte/rotterdam/eendrachtsweg/
  • plaats + straat + appartement
  • /straat/appartement/maastricht/aubeldomein/
  • plaats + straat + kamer
  • /straat/kamer/rotterdam/spruytstraat/
  • plaats + straat + studio
  • /straat/studio/rotterdam/spruytstraat/
  • plaats + straat + opslag
  • /straat/opslag/rotterdam/spruytstraat/
  • plaats + straat + bedrijfsruimte
  • /straat/bedrijfsruimte/rotterdam/spruytstraat/
  • plaats + straat + overige parameters
  • /straat/haarlem/eksterlaan/?number_of_rooms=15&radius=5
  • future use?
  • bedrooms=
  • rooms=
  • living_size=
  • interior=
  • shower=
  • balcony=
  • toilet=
  • plaats + wijk + overige parameters
  • /in/rotterdam/wijk/rotterdam-centrum/?number_of_rooms=15&radius=5
  • plaats + stadsdeel + overige parameters
  • /in/haarlem/stadsdeel/noord/?number_of_rooms=15&radius=5
  • plaats + wijk + opslag
  • /opslag/aalsmeer/wijk/aalsmeer/
  • plaats + wijk + bedrijfsruimte
  • /bedrijfsruimte/aalsmeer/wijk/aalsmeer/
  • plaats + wijk + huis
  • /huis/aalsmeer/wijk/aalsmeer/
  • plaats + wijk + alleen eerste pagina
  • /in/rotterdam/wijk/rotterdam-centrum/?page=2
  • plaats + buurt + alleen eerste pagina
  • /in/amstelveen/buurt/elsrijk-oost/?page=3
  • plaats + appartement + alleen eerste pagina
  • /appartement/huren/barendrecht/?page=18
  • plaats + stadsdeel + alleen eerste pagina
  • /in/groningen/stadsdeel/oude-wijken/?page=2
  • provincie + paginering
  • /provincie/friesland/?page=1
  • /provincie/noord-brabant/?page=10
  • stad + studio + stadsdeel + alleen eerste pagina
  • /studio/groningen/stadsdeel/oude-wijken/?page=3
  • stad + huis + stadsdeel + alleen eerste pagina
  • /huis/groningen/stadsdeel/oude-wijken/?page=3
  • stad + bedrijfsruimte + stadsdeel + alleen eerste pagina
  • /bedrijfsruimte/groningen/stadsdeel/oude-wijken/?page=3
  • stad + opslag + stadsdeel + alleen eerste pagina
  • /opslag/groningen/stadsdeel/oude-wijken/?page=3
  • stad + appartement + stadsdeel + alleen eerste pagina
  • /appartement/groningen/stadsdeel/oude-wijken/?page=3
  • huurwoningen aanbod algemeen + paginering
  • /aanbod-huurwoningen/?page=50
  • Gemeubileerd huren + plaats + paginering
  • /gemeubileerd/huren/amstelveen/?page=2
  • Gemeubileerd huren algemeen + paginering
  • /gemeubileerd-huren/?page=2
  • kaarten
  • Bestaande bouw huren
  • Stel vraag pagina
  • /contact/amsterdam/1289808/amstelbeststraat/vraag/
  • Mail alert
  • /mailalert/aanmelden-zoekopdracht/
  • Interstitial URLs
  • Sortering, direction
  • Min_price= bij steden
  • Paginering op hoog niveau
Back to top