Cacher is the code snippet organizer for pro developers

########################################################################################
# bewho's robots.txt file for RadarTek websites
########################################################################################

User-agent: *
Allow: /
Allow: /robots.txt
Allow: /*.png*
Allow: /*.jpg*
Allow: /*.jpeg*
Allow: /*.gif*
Allow: /*.bmp*
#Disallow: /

########################################################################################
# Do not crawl development files and folders
########################################################################################

Disallow: /*.git$
Disallow: /*.svn$
Disallow: /*.idea$
Disallow: /*.sql$
Disallow: /*.tgz$
Disallow: /*.tar.gz$
Disallow: /*.zip$
 
########################################################################################
# Sitemap
########################################################################################

#Sitemap: https://www.radartek.com/sitemap.xml

########################################################################################
# Pages
########################################################################################

#Disallow: /privacy-policy-cookie-restriction-mode/
#Disallow: /terms/

########################################################################################
# Do not crawl Magento admin pages
########################################################################################

Disallow: /admin/
Disallow: /management/
Disallow: /backend/
 
########################################################################################
# Do not crawl common Magento's system folders
########################################################################################

Disallow: /app/
Disallow: /cgi-bin/
Disallow: /downloader/
Disallow: /errors/
Disallow: /includes/
Disallow: /lib/
Disallow: /report/
Disallow: /shell/
Disallow: /stats/
Disallow: /var/
 
########################################################################################
# Do not crawl Magento's files
########################################################################################

Disallow: /api.php
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /error_log
Disallow: /get.php
Disallow: /install.php
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /README.txt
Disallow: /RELEASE_NOTES.txt
Disallow: /STATUS.txt

########################################################################################
# Do not crawl specific sections of the website
########################################################################################

Disallow: /go/

########################################################################################
# Query String Blocker
# Uncomment if your site is a brand new un-cached site.
########################################################################################

#Disallow: /*?*

########################################################################################
# WordPress Core Query Strings
########################################################################################

Disallow: /?s=*
Disallow: /*/feed
Disallow: /trackback/

########################################################################################
# Custom Query Strings
########################################################################################

Disallow: /function.*
Disallow: /*/comment-page*

########################################################################################
# WORDPRESS DIRECTORIES & FILES
########################################################################################

Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Disallow: /wp-content/upgrade/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /refer/
Disallow: /archives/
Disallow: /comments/feed/

########################################################################################
# Allowed Paths
########################################################################################

Allow: /media/

########################################################################################
# Screaming Frog
########################################################################################

User-agent: Screaming Frog SEO Spider
Allow: /
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.bmp$
Disallow: /*.xml$
Disallow: /*.css$
Disallow: /*.js$

########################################################################################
# SE
########################################################################################

User-agent: Baiduspider
Allow: /

User-agent: Baiduspider-image
Allow: /

User-agent: Baiduspider-video
Allow: /

User-agent: Baiduspider-news
Allow: /

User-agent: Googlebot
Disallow: /*/*/feed/
Disallow: /*/*/trackback/
Disallow: /index.php?image=*
Disallow: /go/
Disallow: /?r=*
Disallow: /page/*/?*
Disallow: /?s=*

User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: MSNBot
Allow: /

User-agent: YoudaoBot
Allow: /

User-agent: Sogou web spider
Allow: /

User-agent: Sogou inst spider
Allow: /

User-agent: Sogou spider2
Allow: /

User-agent: Sogou blog
Allow: /

User-agent: Sogou News Spider
Allow: /

User-agent: Sogou Orion spider
Allow: /

User-agent: JikeSpider
Allow: /

User-agent: Sosospider
Allow: /

User-Agent: Yahoo! Slurp
Disallow: /*/*/feed/
Disallow: /*/*/trackback/
Disallow: /index.php?image=*
Disallow: /go/
Disallow: /seoblog/?r=*
Disallow: /go/
Disallow: /?r=*
Disallow: /page/*/?*

User-Agent: MJ12bot
Disallow: