suchen.mobile.de
robots.txt

Robots Exclusion Standard data for suchen.mobile.de

Resource Scan

Scan Details

Site Domain suchen.mobile.de
Base Domain mobile.de
Scan Status Ok
Last Scan2024-06-08T13:23:00+00:00
Next Scan 2024-06-22T13:23:00+00:00

Last Scan

Scanned2024-06-08T13:23:00+00:00
URL https://suchen.mobile.de/robots.txt
Domain IPs 23.50.146.178, 2a02:26f0:e2:783::1703, 2a02:26f0:e2:78b::1703
Response IP 23.42.163.220
Found Yes
Hash 15a0179f155af8815db7432f16cf7af3d1b9f51b606657736b5fbaf1feb06ac0
SimHash 3a2433d1d747

Groups

twitterbot

Rule Path
Allow /

mediapartners-google

Rule Path
Allow /

googlebot

Rule Path
Disallow /fahrzeuge/auto-inserat/
Disallow /fahrzeuge/leasingLandingpage.html
Disallow /fahrzeuge/topInCategory.html
Disallow /fahrzeuge/searchrefine.html
Disallow /fahrzeuge/searchresults.html
Disallow /fahrzeuge/recommendations.html
Disallow /fahrzeuge/printView.html
Disallow /fahrzeuge/popUps/
Disallow /fahrzeuge/inserat/
Disallow /wohnwagen-inserat/
Disallow /lkw-inserat/
Disallow /auto-inserat/
Disallow /motorrad-inserat/
Disallow /fahrzeuge/details.html
Disallow /fahrzeuge/preSearch
Disallow /*isSearchRequest%3Dtrue
Disallow /4288/
Disallow /fahrzeuge/anbieter
Disallow /fahrzeuge/financingLandingpage.html
Disallow /fahrzeuge/insuranceLandingpage.html
Disallow /fahrzeuge/svc/

*

Rule Path
Disallow /fahrzeuge/topInCategory.html
Disallow /fahrzeuge/searchrefine.html
Disallow /fahrzeuge/searchresults.html
Disallow /fahrzeuge/recommendations.html
Disallow /fahrzeuge/printView.html
Disallow /fahrzeuge/popUps/
Disallow /fahrzeuge/inserat/
Disallow /wohnwagen-inserat/
Disallow /lkw-inserat/
Disallow /auto-inserat/
Disallow /motorrad-inserat/
Disallow /fahrzeuge/details.html
Disallow /fahrzeuge/preSearch
Disallow /*isSearchRequest%3Dtrue
Disallow /4288/
Disallow /fahrzeuge/anbieter
Disallow /fahrzeuge/financingLandingpage.html
Disallow /fahrzeuge/insuranceLandingpage.html
Disallow /fahrzeuge/svc/

Other Records

Field Value
sitemap https://suchen.mobile.de/sitemap.xml

Comments

  • robots.txt suchen.mobile.de
  • We need the Twitterbot to be able to access everything for social sharing
  • robots.txt END