Log In Sign Up

bbpulpeuse.com
robots.txt

Robots Exclusion Standard data for bbpulpeuse.com

Resource Scan

Scan Details

Site Domain bbpulpeuse.com
Base Domain bbpulpeuse.com
Scan Status Ok
Last Scan2025-08-25T21:06:16+00:00
Next Scan 2025-09-01T21:06:16+00:00

Last Scan

Scanned2025-08-25T21:06:16+00:00
URL https://bbpulpeuse.com/robots.txt
Domain IPs 164.132.235.17, 2001:41d0:301::23
Response IP 164.132.235.17
Found Yes
Hash 3ec0d87540bfd7f18a0825ba4fc438a3412f77388874a6d72add588ffb599d7f
SimHash 7b411ced2239

Groups

*

Rule Path
Disallow /wp-login.php
Disallow /wp-admin
Disallow /wp-includes
Disallow /wp-login.php
Disallow /wp-content/plugins/
Disallow /wp-content/themes/
Allow /wp-content/uploads/
Allow /wp-content/uploads
Disallow */trackback
Disallow /*/feed
Disallow /*/comments
Disallow /cgi-bin
Disallow /*.php$
Disallow /*.inc$
Disallow /*.gz$
Disallow /*.cgi$
Disallow /*.js$

googlebot-image

Rule Path
Disallow

mediapartners-google*

Rule Path
Disallow
Back to top

Other Records

Field Value
sitemap https://www.bbpulpeuse.com/sitemap_index.xml
Back to top

Comments

  • On désindexe tous les URL ayant des paramètres (duplication de contenu)
  • Disallow: /*?
  • On désindexe la page de connexion (contenu inutile)
  • On désindexe tous les fichiers du coeur de WordPress (contenus inutiles)
  • Disallow: /wp-content/cache/
  • On autorise la consultation des fichiers media
  • On autorise Google à indexer les fichiers mis en ligne dans vos articles et pages (images, vidéos, audio,...)
  • On bloque les URL de ping et de trackback
  • On bloque tous les flux RSS sauf celui principal (enlevez /* pour bloquer TOUS les flux)
  • On bloque toutes les URL de commentaire (flux RSS inclus)
  • On élimine ce répertoire sensible présent sur certains serveurs
  • On désindexe tous les fichiers qui n'ont pas lieu de l'être
  • Google Image
  • Google AdSense
  • On indique au spider le lien vers notre sitemap
Back to top