Robot.txt optimieren +- Sponsor-Board.de (https://www.sponsor-board.de) +-- Forum: Community (/forumdisplay.php?fid=56) +--- Forum: Hilfe (/forumdisplay.php?fid=102) +---- Forum: Linux-Server (/forumdisplay.php?fid=105) +---- Thema: Robot.txt optimieren (/showthread.php?tid=48880) |
Robot.txt optimieren - Finn - 17.06.2014 18:52 Hallo, ich wollte mal nachfragen ob sich hier jemand mit Robot.txt auskennt und mir evtl. etwas unter die Arme greifen könnte um diese zu Optimieren! Sprich es sollen alle Seiten der Seite von Crawlern besucht werden bis auf Sensible Seiten. Vielen Dank schon einmal! RE: Robot.txt optimieren - tunehosting - 17.06.2014 18:53 [Link: Registrierung erforderlich] RE: Robot.txt optimieren - Reeben - 17.06.2014 18:55 Code: # robots.txt generated at http://www.mcanerin.com
|