Log In Sign Up

senado.es
robots.txt

Robots Exclusion Standard data for senado.es

Resource Scan

Scan Details

Site Domain senado.es
Base Domain senado.es
Scan Status Ok
Last Scan2024-09-19T11:59:15+00:00
Next Scan 2024-10-19T11:59:15+00:00

Last Scan

Scanned2024-09-19T11:59:15+00:00
URL https://www.senado.es/robots.txt
Domain IPs 96.17.96.18, 96.17.96.25
Response IP 23.44.4.171
Found Yes
Hash 6b394effd10b77d231c48b4c0446776640436673fb86f1e5bf30520734fc3962
SimHash 7d101922cac2

Groups

*

Rule Path Comment
Disallow /cgi-bin/ -
Disallow */expedientappendixblobservlet/ -
Disallow */expedientdocblobservlet/ -
Disallow */resultadobuscador/ -
Disallow */*senstream* -
Disallow */buscador/ -
Disallow /legis9/publicaciones/html/textos/CG_B015.html -
Disallow /legis9/publicaciones/pdf/cortes/bocg/CG_B015.PDF -
Disallow /legis9/publicaciones/html/textos/CG_B100.html -
Disallow /legis9/publicaciones/pdf/cortes/bocg/CG_B100.PDF -
Disallow /legis9/publicaciones/pdf/cortes/bocg/CG_B103.PDF -
Disallow /legis9/publicaciones/pdf/cortes/bocg/CG_B129.PDF -
Disallow /legis8/publicaciones/pdf/senado/bocg/I0707.PDF -
Disallow /legis8/publicaciones/pdf/senado/bocg/I0182.PDF -
Disallow /legis8/publicaciones/pdf/senado/bocg/I0352.PDF -
Disallow /legis6/publicaciones/pdf/senado/bocg/I0713.PDF -
Disallow /legis6/publicaciones/pdf/senado/bocg/I0276.PDF -
Disallow /legis4/publicaciones/pdf/senado/bocg/I0019.PDF -
Disallow /legis4/publicaciones/pdf/congreso/bocg/E_017.PDF -
Disallow /legis4/publicaciones/pdf/cortes/bocg/CG_B019.PDF -
Disallow /legis4/publicaciones/pdf/cortes/bocg/CG_B024.PDF -
Disallow /legis3/publicaciones/pdf/congreso/bocg/E_210.PDF -
Disallow /legis3/publicaciones/pdf/senado/bocg/I0342.PDF -
Disallow /legis2/publicaciones/pdf/congreso/bocg/E_118.PDF -
Disallow /legis3/publicaciones/pdf/senado/bocg/I0347.PDF -
Disallow /legis2/publicaciones/pdf/senado/bocg/I0140.PDF -
Disallow /legis12/publicaciones/pdf/senado/bocg/BOCG_T_12_126.PDF -
Disallow /legis12/publicaciones/pdf/senado/bocg/BOCG_T_12_122.PDF -
Disallow /legis11/publicaciones/pdf/senado/bocg/BOCG_T_11_40.PDF -
Disallow /legis10/publicaciones/pdf/senado/bocg/BOCG_T_10_286.PDF -
Disallow /legis10/publicaciones/pdf/senado/bocg/BOCG_T_10_361.PDF -
Disallow /legis10/publicaciones/pdf/senado/bocg/BOCG_T_10_625.PDF -
Disallow /web/actividadparlamentaria/rwdsesionescomision/* This URL is no longer available
Disallow /web/actividadparlamentaria/oldsesionescomision/* This URL is no longer available
Disallow /web/actividadparlamentaria/sesionesplenarias/pleno/sesionesplenarias/* This URL is no longer available
Disallow /web/actividadparlamentaria/sesionescomision/presidentescomisione/* This URL is no longer available
Disallow /web/actividadparlamentaria/sesionesplenarias/pleno/rwdsesionespleno/detalle/votaciones/* -

Other Records

Field Value
crawl-delay 60

claudebot

Rule Path
Disallow /

anthropic-ai

Rule Path
Disallow /

claude-web

Rule Path
Disallow /

semrushbot

Rule Path
Disallow /

bytespider

Rule Path
Disallow /

facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)

Rule Path
Disallow /
Back to top

Warnings

  • `visit-time` is not a known field.
Back to top