bunkerworld.com
robots.txt
Robots Exclusion Standard data for bunkerworld.com
Resource Scan
Scan Details
| Site Domain | bunkerworld.com |
| Base Domain | bunkerworld.com |
| Scan Status | Failed |
| Failure Stage | Fetching resource. |
| Failure Reason | Server returned a server error. |
| Last Scan | 2024-08-08T14:58:56+00:00 |
| Next Scan | 2024-11-06T14:58:56+00:00 |
Last Successful Scan
| Scanned | 2023-09-21T12:27:01+00:00 |
| URL | https://www.bunkerworld.com/robots.txt |
| Redirect | https://platform.platts.spglobal.com:443/robots.txt |
| Redirect Domain | platform.platts.spglobal.com |
| Redirect Base | spglobal.com |
| Domain IPs | 35.168.71.175, 52.200.102.237 |
| Redirect IPs | 18.138.50.78, 54.151.247.191 |
| Response IP | 54.151.247.191 |
| Found | Yes |
| Hash | 87b8220cfa475e2181dc5ef6d28a4c8ea1076813702708010f8d97b4461cf771 |
| SimHash | c01289294d95 |
Groups
*
| Rule | Path |
|---|---|
| Disallow | /InteractiveX/ |
| Disallow | /interactivex/ |
| Disallow | /Interactivex/ |
| Disallow | /SNLWebPlatform/ |
| Disallow | /snlwebplatform/ |
| Disallow | /irweblinkx/docs.aspx |
| Disallow | /IRWebLinkX/docs.aspx |
| Disallow | /irwebLinkx/docs.aspx |
| Disallow | /Irweblinkx/docs.aspx |
| Disallow | /IRWeblinkX/docs.aspx |
| Disallow | /irweblinkx/doc.aspx |
| Disallow | /IRWebLinkX/doc.aspx |
| Disallow | /irwebLinkx/doc.aspx |
| Disallow | /Irweblinkx/doc.aspx |
| Disallow | /IRweblinkx/doc.aspx |
| Disallow | /IRWeblinkX/doc.aspx |
| Disallow | /irweblinkx/file.aspx |
| Disallow | /IRWebLinkX/file.aspx |
| Disallow | /irwebLinkx/file.aspx |
| Disallow | /IRweblinkx/file.aspx |
| Disallow | /Irweblinkx/file.aspx |
| Disallow | /IRweblinkx/file.aspx |
| Disallow | /IRWeblinkX/file.aspx |
| Disallow | /irweblinkx/showfile.aspx |
| Disallow | /IRWebLinkX/showfile.aspx |
| Disallow | /irweblinkx/ShowFile.aspx |
| Disallow | /IRweblinkx/ShowFile.aspx |
| Disallow | /Irweblinkx/ShowFile.aspx |
| Disallow | /irwebLinkx/showfile.aspx |
| Disallow | /IRWeblinkX/ShowFile.aspx |
| Disallow | /IRWebLinkX/PDFPageView.aspx |
| Disallow | /irweblinkx/pdfpageview.aspx |
| Disallow | /irwebLinkx/pdfpageview.aspx |
| Disallow | /IRWebLinkX/pdfpageview.aspx |
| Disallow | /irweblinkx/PDFPageView.aspx |
| Disallow | /Irweblinkx/PDFPageView.aspx |
| Disallow | /IRWeblinkX/PDFPageView.aspx |
| Disallow | /IRWebLinkX/Booklet.aspx |
| Disallow | /IRWeblinkX/Booklet.aspx |
| Disallow | /irweblinkx/branchmap.aspx |
| Disallow | /irweblinkx/BranchLocatorMap.aspx |
| Disallow | /irweblinkx/branchlocatormap.aspx |
| Disallow | /IRWeblinkX/BranchLocatorMap.aspx |
| Disallow | /irweblinkx/BranchLocatorMapmini.aspx |
| Disallow | /irweblinkx/branchlocatormapmini.aspx |
| Disallow | /Irweblinkx/stockquote.asmx |
| Disallow | /irweblinkx/stockquote.asmx |
| Disallow | /irweblinkx/BranchDetails.aspx |
| Disallow | /irweblinkx/branchdetails.aspx |
| Disallow | /Help/ |
| Disallow | /help/ |
| Allow | /Interactivex/Article.aspx |
| Allow | /interactivex/article.aspx |
| Allow | /interactivex/doc.aspx |
| Allow | /Interactivex/Doc.aspx |
| Allow | /InteractiveX/Images/Platform09/Features/ |
| Allow | /InteractiveX/Images/Platform09/features/ |
| Allow | /InteractiveX/Images/Platform09/Departments/ |
| Disallow | /marketing/microsite/SNLLandingPage0510/IR_Banking_brochure.pdf |
googlebot
| Rule | Path |
|---|---|
| Disallow | /InteractiveX/ |
| Disallow | /interactivex/ |
| Disallow | /Interactivex/ |
| Disallow | /SNLWebPlatform/ |
| Disallow | /snlwebplatform/ |
| Disallow | /irweblinkx/docs.aspx |
| Disallow | /IRWebLinkX/docs.aspx |
| Disallow | /IRWeblinkX/docs.aspx |
| Disallow | /irwebLinkx/docs.aspx |
| Disallow | /Irweblinkx/docs.aspx |
| Disallow | /irweblinkx/doc.aspx |
| Disallow | /IRWebLinkX/doc.aspx |
| Disallow | /IRWeblinkX/doc.aspx |
| Disallow | /irwebLinkx/doc.aspx |
| Disallow | /Irweblinkx/doc.aspx |
| Disallow | /IRweblinkx/doc.aspx |
| Disallow | /irweblinkx/file.aspx |
| Disallow | /IRWebLinkX/file.aspx |
| Disallow | /IRWeblinkX/file.aspx |
| Disallow | /irwebLinkx/file.aspx |
| Disallow | /IRweblinkx/file.aspx |
| Disallow | /Irweblinkx/file.aspx |
| Disallow | /IRweblinkx/file.aspx |
| Disallow | /irweblinkx/showfile.aspx |
| Disallow | /IRWebLinkX/showfile.aspx |
| Disallow | /IRWeblinkX/showfile.aspx |
| Disallow | /irweblinkx/ShowFile.aspx |
| Disallow | /IRweblinkx/ShowFile.aspx |
| Disallow | /Irweblinkx/ShowFile.aspx |
| Disallow | /irwebLinkx/showfile.aspx |
| Disallow | /IRWebLinkX/PDFPageView.aspx |
| Disallow | /IRWeblinkX/PDFPageView.aspx |
| Disallow | /irweblinkx/pdfpageview.aspx |
| Disallow | /irwebLinkx/pdfpageview.aspx |
| Disallow | /IRWebLinkX/pdfpageview.aspx |
| Disallow | /irweblinkx/PDFPageView.aspx |
| Disallow | /Irweblinkx/PDFPageView.aspx |
| Disallow | /IRWebLinkX/Booklet.aspx |
| Disallow | /IRWeblinkX/Booklet.aspx |
| Disallow | /irweblinkx/branchmap.aspx |
| Disallow | /irweblinkx/BranchLocatorMap.aspx |
| Disallow | /irweblinkx/branchlocatormap.aspx |
| Disallow | /irweblinkx/BranchLocatorMapmini.aspx |
| Disallow | /irweblinkx/branchlocatormapmini.aspx |
| Disallow | /Irweblinkx/stockquote.asmx |
| Disallow | /irweblinkx/stockquote.asmx |
| Disallow | /irweblinkx/BranchDetails.aspx |
| Disallow | /irweblinkx/branchdetails.aspx |
| Disallow | /Help/ |
| Disallow | /help/ |
| Allow | /interactivex/generalsitemapgenerator.aspx |
| Allow | /InteractiveX/GeneralSiteMapGenerator.aspx |
| Allow | /InteractiveX/generalsitemapgenerator.aspx |
| Allow | /interactivex/newssitemapgenerator.aspx |
| Allow | /InteractiveX/newssitemapgenerator.aspx |
| Allow | /Interactivex/NewsSiteMapGenerator.aspx |
| Allow | /interactivex/articleabstract.aspx |
| Allow | /InteractiveX/ArticleAbstract.aspx |
| Allow | /InteractiveX/articleabstract.aspx |
| Allow | /Interactivex/Article.aspx |
| Allow | /interactivex/article.aspx |
| Allow | /interactivex/doc.aspx |
| Allow | /Interactivex/Doc.aspx |
| Disallow | /marketing/microsite/SNLLandingPage0510/IR_Banking_brochure.pdf |
noodlsbot
| Rule | Path |
|---|---|
| Disallow | /InteractiveX/ |
| Disallow | /interactivex/ |
| Disallow | /Interactivex/ |
| Disallow | /SNLWebPlatform/ |
| Disallow | /snlwebplatform/ |
| Disallow | /irweblinkx/docs.aspx |
| Disallow | /IRWebLinkX/docs.aspx |
| Disallow | /IRWeblinkX/docs.aspx |
| Disallow | /irwebLinkx/docs.aspx |
| Disallow | /Irweblinkx/docs.aspx |
| Disallow | /irweblinkx/doc.aspx |
| Disallow | /IRWebLinkX/doc.aspx |
| Disallow | /IRWeblinkX/doc.aspx |
| Disallow | /irwebLinkx/doc.aspx |
| Disallow | /Irweblinkx/doc.aspx |
| Disallow | /IRweblinkx/doc.aspx |
| Disallow | /irweblinkx/showfile.aspx |
| Disallow | /IRWebLinkX/showfile.aspx |
| Disallow | /IRWeblinkX/showfile.aspx |
| Disallow | /irweblinkx/ShowFile.aspx |
| Disallow | /IRweblinkx/ShowFile.aspx |
| Disallow | /Irweblinkx/ShowFile.aspx |
| Disallow | /irwebLinkx/showfile.aspx |
| Disallow | /IRWebLinkX/PDFPageView.aspx |
| Disallow | /IRWeblinkX/PDFPageView.aspx |
| Disallow | /irweblinkx/pdfpageview.aspx |
| Disallow | /irwebLinkx/pdfpageview.aspx |
| Disallow | /IRWebLinkX/pdfpageview.aspx |
| Disallow | /irweblinkx/PDFPageView.aspx |
| Disallow | /Irweblinkx/PDFPageView.aspx |
| Disallow | /IRWebLinkX/Booklet.aspx |
| Disallow | /IRWeblinkX/Booklet.aspx |
| Disallow | /irweblinkx/branchmap.aspx |
| Disallow | /irweblinkx/BranchLocatorMap.aspx |
| Disallow | /irweblinkx/branchlocatormap.aspx |
| Disallow | /irweblinkx/BranchLocatorMapmini.aspx |
| Disallow | /irweblinkx/branchlocatormapmini.aspx |
| Disallow | /Irweblinkx/stockquote.asmx |
| Disallow | /irweblinkx/stockquote.asmx |
| Disallow | /irweblinkx/BranchDetails.aspx |
| Disallow | /irweblinkx/branchdetails.aspx |
| Disallow | /Help/ |
| Disallow | /help/ |
| Disallow | /marketing/microsite/SNLLandingPage0510/IR_Banking_brochure.pdf |