Hallo,
ich wollte mal nachfragen ob sich hier jemand mit Robot.txt auskennt und mir evtl. etwas unter die Arme greifen könnte um diese zu Optimieren!
Sprich es sollen alle Seiten der Seite von Crawlern besucht werden bis auf Sensible Seiten.
Vielen Dank schon einmal!
# robots.txt generated at http://www.mcanerin.com
User-agent: Googlebot
Disallow:
User-agent: googlebot-image
Disallow:
User-agent: googlebot-mobile
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Slurp
Disallow:
User-agent: Teoma
Disallow:
User-agent: twiceler
Disallow:
User-agent: Gigabot
Disallow:
User-agent: Scrubby
Disallow:
User-agent: Robozilla
Disallow:
User-agent: Nutch
Disallow:
User-agent: ia_archiver
Disallow:
User-agent: baiduspider
Disallow:
User-agent: naverbot
Disallow:
User-agent: yeti
Disallow:
User-agent: yahoo-mmcrawler
Disallow:
User-agent: psbot
Disallow:
User-agent: asterias
Disallow:
User-agent: yahoo-blogs/v3.9
Disallow:
User-agent: *
Disallow:
Disallow: /cgi-bin/
Sitemap: http://www.yoursite.com/sitemap.gz
Bei den "Disallow" trägst du Links ein, die von Crawlern nicht einbezogen werden sollen.
Grüße
Meikel Bloch