Log In Sign Up

evolve-production.herokuapp.com
robots.txt

Robots Exclusion Standard data for evolve-production.herokuapp.com

Resource Scan

Scan Details

Site Domain evolve-production.herokuapp.com
Base Domain evolve-production.herokuapp.com
Scan Status Ok
Last Scan2024-11-14T06:16:19+00:00
Next Scan 2024-11-21T06:16:19+00:00

Last Scan

Scanned2024-11-14T06:16:19+00:00
URL https://evolve-production.herokuapp.com/robots.txt
Domain IPs 34.201.81.34, 54.208.186.182, 54.224.34.30, 54.243.129.215
Response IP 54.208.186.182
Found Yes
Hash a47ec268e22fe89a5ad8c00d2710e3b3725d3f50eecf53fe15cf49192f432f26
SimHash 0a8dcd4de550

Groups

*

Rule Path
Disallow /partials/

*

Rule Path
Disallow /login

*

Rule Path
Disallow */import_links/new
Disallow /topics/new
Disallow /free_spaces/new
Disallow /recommend_spaces/new
Disallow /want_to_recall/new

*

Rule Path
Disallow /*edit*

*

Rule Path
Disallow /*previews*

*

Rule Path
Disallow /*stores*

*

Rule Path
Disallow /*replies*
Back to top

Other Records

Field Value
sitemap https://manba.co.jp/sitemaps/?sitemap_name=boards.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=boards1.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=boards2.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=boards3.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=boards4.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=boards5.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=boards6.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=boards7.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=boards8.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=boards9.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=boards10.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=boards11.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=boards12.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=boards13.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=boards14.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=boards15.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=boards16.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=boards17.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=boards18.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=boards19.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=topics.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=topics1.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=topics2.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=topics3.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=topics4.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=authors.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=authors1.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=authors2.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=authors3.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=award_names.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=awards.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=book_volumes.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=categories.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=completed.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=events.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=free_spaces.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=free_spaces1.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=genba.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=keyword_tags.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=emotional_tags.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=kindle.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=kindle_unlimited.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=labels.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=magazines.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=manba_magazines.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=media_types.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=new_books.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=new_series.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=profiles.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=publishers.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=user_ages.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=release_years.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=sale_campaign.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=series_groups.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=free_campaign.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=tags.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=top.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=want_to_recalls.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=yomikiri.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=user_board_list.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=reviews.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=forums.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=questions.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=themes.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=themes1.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=series_groups.xml.gz
sitemap https://manba.co.jp/sitemaps/?sitemap_name=sitemap.xml.gz
Back to top

Comments

  • See http://www.robotstxt.org/robotstxt.html for documentation on how to use the robots.txt file
  • To ban all spiders from the entire site uncomment the next two lines:
  • User-agent: *
  • Disallow: /
Back to top