Log In Sign Up

idigit.onl
robots.txt

Robots Exclusion Standard data for idigit.onl

Resource Scan

Scan Details

Site Domain idigit.onl
Base Domain idigit.onl
Scan Status Ok
Last Scan2025-11-12T10:54:59+00:00
Next Scan 2025-12-12T10:54:59+00:00

Last Scan

Scanned2025-11-12T10:54:59+00:00
URL https://idigit.onl/robots.txt
Domain IPs 23.88.90.7, 2a01:4f8:d0a:75e8::2
Response IP 23.88.90.7
Found Yes
Hash f76230bcc960ff8a944e984dfbe0d4ada31d7082bca617856a0625715f3d5acf
SimHash 4c489d909032

Groups

googlebot

Rule Path
Allow /

googlebot-image

Rule Path
Allow /

googlebot-mobile

Rule Path
Allow /

slurp

Rule Path
Allow /

yahoo-mmcrawler

Rule Path
Allow /

yahoo-blogs/v3.9

Rule Path
Allow /

msnbot

Rule Path
Allow /

psbot

Rule Path
Allow /

teoma

Rule Path
Allow /

baiduspider

Rule Path
Allow /
Disallow /cgi-bin/
Disallow /tcpdf/
Disallow /tcpdf_pdfs/
Disallow /faq-tag/
Disallow /faq-class/
Disallow /faq-category/
Disallow /infos-tag/
Disallow /infos-category/
Disallow /infos-class/

Other Records

Field Value
crawl-delay 10

*

Rule Path
Disallow /wp-content/uploads/wp-import-export-lite/

*

Rule Path
Disallow /*blackhole
Disallow /?blackhole
Back to top

Other Records

Field Value
sitemap https://idigit.onl/sitemap_index.xml
Back to top

Comments

  • Die Inhalte dieses Skripts wurden mit größter Sorgfalt erstellt. Für die Richtigkeit, Vollständigkeit und Aktualität
  • kann ich jedoch keine Gewähr übernehmen. Die Nutzung ist freiwillig und erfolgt anonym unter Einhaltung von
  • Datenschutz und -sicherheit. Ich empfehle vor dem Gebrauch eine Sicherheitskopie der bestehenden robots.txt
  • Datei anzulegen.
  • ENDE der generierten robots.txt Datei
  • Dieser Service wurde kostenlos bereitgestellt von idigIT e.U.
  • Besuchen Sie uns auf https://www.idigit.onl/ -Ende
  • WP Import Export Rule
Back to top