Log In Sign Up

probikesupport.com
robots.txt

Robots Exclusion Standard data for probikesupport.com

Resource Scan

Scan Details

Site Domain probikesupport.com
Base Domain probikesupport.com
Scan Status Ok
Last Scan2025-09-26T00:06:48+00:00
Next Scan 2025-10-03T00:06:48+00:00

Last Scan

Scanned2025-09-26T00:06:48+00:00
URL https://probikesupport.com/robots.txt
Domain IPs 104.21.33.144, 172.67.190.174, 2606:4700:3032::6815:2190, 2606:4700:3032::ac43:beae
Response IP 104.21.33.144
Found Yes
Hash f429609a854b194f5757a93bfeba1a6f154515826b8f9783ea4be4b9b3fd54a6
SimHash 402a5acb22fd

Groups

*

Rule Path
Disallow /secupress-d88eb0ef/

*

Rule Path
Disallow /*remerciements
Disallow /dev/*
Disallow /wp-login.php
Disallow /connexion-pbs
Disallow */trackback
Disallow /*/feed
Disallow /*/comments
Disallow /cgi-bin
Disallow /*.php$
Disallow /*.inc$
Disallow /*.gz$
Disallow /*.cgi$

googlebot-image

Rule Path
Disallow

mediapartners-google

Rule Path
Disallow
Allow /*css?*
Allow /*js?*
Allow /*?utm*
Disallow /wp-content/plugins
Disallow /wp-content/cache
Disallow /trackback
Disallow /feed
Disallow /comments
Disallow */feed
Disallow */comments
Disallow /*.pdf$
Allow /wp-content/uploads

wprocketbot

Rule Path
Allow /
Disallow /contact
Disallow /panier
Disallow /a-propos
Disallow /mentions-legales
Disallow /cgv
Disallow /livraisons
Disallow /faq
Disallow /?s=
Back to top

Comments

  • Issu de SEOMix, modifié le 22/04/2020 suite MAJ article Seomix https://www.seomix.fr/robots-txt-wordpress/
  • On désindexe tous les URL
  • Voir si débloque les ressources bloqué "dev" sur GWMT le 30/11/207
  • On désindexe la page de connexion (contenu inutile)
  • On bloque les URL de ping et de trackback
  • On bloque tous les flux RSS sauf celui principal (enlevez /* pour bloquer TOUS les flux)
  • On bloque toutes les URL de commentaire (flux RSS inclus)
  • On élimine ce répertoire sensible présent sur certains serveurs
  • On désindexe tous les fichiers qui n'ont pas lieu de l'être
  • Autoriser Google Image
  • Autoriser Google AdSense
  • Autorisé des css et js bloqués par robots.txt
  • Issu de Chaudron, modifié le 17/07/2017
  • On empêche l'indexation des dossiers sensibles
  • On autorise l'indexation des images
  • On autorise le prechargement du cache par WP Rocket
  • 14/12/17 Abondance
  • désindexe les pages institutionnelles
  • désindexe les résultats de recherche Abandance
  • OLD
  • On désindexe tous les URL ayant des paramètres (duplication de contenu)
  • Disallow: /*?
  • Sauf Analytics
  • Allow: /*?utm*
  • Sauf Ajax Woocommerce: ressources bloquées ?wc-ajax=get-refreshed_fragments: 191p
  • Allow: /*?wc-ajax*
  • Voir si débloque les ressources bloqué sur GWMT le 30/11/207
  • Disallow: /*?*
Back to top

Warnings

  • `noindex` is not a known field.
Back to top