Log In Sign Up

afunnymoment.com
robots.txt

Robots Exclusion Standard data for afunnymoment.com

Resource Scan

Scan Details

Site Domain afunnymoment.com
Base Domain afunnymoment.com
Scan Status Ok
Last Scan2024-11-13T15:44:59+00:00
Next Scan 2024-11-20T15:44:59+00:00

Last Scan

Scanned2024-11-13T15:44:59+00:00
URL https://afunnymoment.com/robots.txt
Domain IPs 2001:41d0:1:1b00:213:186:33:24, 213.186.33.24
Response IP 213.186.33.24
Found Yes
Hash 1d3bd5742f2ec73bc8d8c45878b644073848ccd244fe630b7577ef3650819c7f
SimHash 5f537c85623c

Groups

*

Rule Path
Disallow /*?
Disallow /wp-login.php
Disallow /wp-admin
Disallow /wp-includes
Allow /wp-content/uploads
Allow /wp-content/gallery
Disallow */trackback
Disallow /*/feed
Disallow /cgi-bin
Disallow /*.php$
Disallow /*.inc$
Disallow /*.gz$
Disallow /*.cgi$

mediapartners-google

Rule Path
Disallow

googlebot

Rule Path
Disallow

googlebot-mobile

Rule Path
Disallow
Back to top

Comments

  • On désindexe tous les URL ayant des paramètres (duplication de contenu)
  • sauf pour google
  • On désindexe la page de connexion (contenu inutile)
  • On désindexe tous les fichiers du coeur de WordPress (contenus inutiles)
  • sauf pour google
  • On autorise Google à indexer les fichiers mis en ligne dans les articles et pages
  • (images, vidéos, audio,...)
  • ### flux inutiles
  • On bloque les URL de ping et de trackback
  • On bloque tous les flux RSS sauf celui principal (enlevez /* pour bloquer TOUS les flux)
  • On bloque toutes les URL de commentaire (flux RSS inclus)
  • Disallow: /*/comments
  • ### fichiers et reps sensible
  • On élimine ce répertoire sensible présent sur certains serveurs
  • On désindexe tous les fichiers qui n'ont pas lieu de l'être
  • Autoriser Google AdSense
  • Autoriser Google
  • Autoriser Google pour Mobile
Back to top