lokaltidningen.nu
robots.txt

Robots Exclusion Standard data for lokaltidningen.nu

Resource Scan

Scan Details

Site Domain lokaltidningen.nu
Base Domain lokaltidningen.nu
Scan Status Ok
Last Scan2024-11-12T04:24:42+00:00
Next Scan 2024-11-19T04:24:42+00:00

Last Scan

Scanned2024-11-12T04:24:42+00:00
URL https://lokaltidningen.nu/robots.txt
Redirect https://www.lokaltidningen.nu/robots.txt
Redirect Domain www.lokaltidningen.nu
Redirect Base lokaltidningen.nu
Domain IPs 104.21.80.11, 172.67.172.146, 2606:4700:3031::ac43:ac92, 2606:4700:3034::6815:500b
Redirect IPs 104.21.80.11, 172.67.172.146, 2606:4700:3031::ac43:ac92, 2606:4700:3034::6815:500b
Response IP 104.21.80.11
Found Yes
Hash 30a019b7d7b32dcc140184c0200edcfe18c4ad1e867838dffe53297a084079c8
SimHash 2f464a404037

Groups

*

Rule Path
Disallow /wp-*
Disallow /?s*
Disallow /soka
Disallow /sok
Allow *.css
Allow *.js

ccbot
gptbot
chatgpt-user
anthropic-ai
google-extended

Rule Path
Disallow /

Other Records

Field Value
sitemap https://www.lokaltidningen.nu/google-news-sitemap.xml
sitemap https://www.lokaltidningen.nu/sitemap/native.xml
sitemap https://www.lokaltidningen.nu/sitemap/2018.xml
sitemap https://www.lokaltidningen.nu/sitemap/2019.xml
sitemap https://www.lokaltidningen.nu/sitemap/2020.xml
sitemap https://www.lokaltidningen.nu/sitemap/2021.xml
sitemap https://www.lokaltidningen.nu/sitemap/2022.xml
sitemap https://www.lokaltidningen.nu/sitemap/2023.xml
sitemap https://www.lokaltidningen.nu/sitemap/2024.xml