Log In Sign Up

extrapelis.com
robots.txt

Robots Exclusion Standard data for extrapelis.com

Resource Scan

Scan Details

Site Domain extrapelis.com
Base Domain extrapelis.com
Scan Status Failed
Failure StageFetching resource.
Failure ReasonServer returned a client error.
Last Scan4/9/2025, 5:00:55 AM
Next Scan 4/16/2025, 5:00:55 AM

Last Successful Scan

Scanned3/9/2025, 5:00:37 AM
URL https://extrapelis.com/robots.txt
Domain IPs 104.21.92.233, 172.67.199.175, 2606:4700:3030::ac43:c7af, 2606:4700:3037::6815:5ce9
Response IP 104.21.92.233
Found Yes
Hash c18841f8558fa053a93a2eef8df8d0c9f72bdbe19ba7d012149428c816ecf0d9
SimHash 887c43002432

Groups

*

Rule Path
Allow /wp-content/uploads/

*

Rule Path
Disallow /tag/
Disallow /paises/
Disallow /anho/
Disallow /directores/
Disallow /actores/
Disallow /servidores/
Disallow /audio/
Disallow /calidad/
Disallow /?
Disallow /?s=
Disallow /search
Allow /feed/$
Disallow /feed
Disallow /comments/feed
Disallow /*/feed/$
Disallow /*/feed/rss/$
Disallow /*/trackback/$
Disallow /*/*/feed/$
Disallow /*/*/feed/rss/$
Disallow /*/*/trackback/$
Disallow /*/*/*/feed/$
Disallow /*/*/*/feed/rss/$
Disallow /*/*/*/trackback/$

msiecrawler

Rule Path
Disallow /

webcopier

Rule Path
Disallow /

httrack

Rule Path
Disallow /

microsoft.url.control

Rule Path
Disallow /

libwww

Rule Path
Disallow /

googlebot-image

Rule Path
Allow /*
Back to top

Other Records

Field Value
sitemap https://extrapelis.com/sitemap.xml
Back to top

Comments

  • robots.txt para tu blog en WordPress.
  • Primero el contenido adjunto.
  • Desindexamos los Tag para evitar contenido duplicado.
  • Sitemap permitido, busquedas no.
  • Permitimos el feed general para Google Blogsearch.
  • Impedimos que permalink/feed/ sea indexado ya que el
  • feed con los comentarios suele posicionarse en lugar de
  • la entrada y desorienta a los usuarios.
  • Lo mismo con URLs terminadas en /trackback/ que solo
  • sirven como Trackback URI (y son contenido duplicado).
  • Lista de bots que suelen respetar el robots.txt pero rara
  • vez hacen un buen uso del sitio y abusan bastante.
  • Indicamos a Google que indexe todas las imagenes
Back to top