Robot.txt optimieren

Verfasser Nachricht

Finn

Beiträge: 582
Bewertung: 5
Registriert seit: Oct 2011
Status: offline

Beitrag: #1

Robot.txt optimieren

Hallo,

ich wollte mal nachfragen ob sich hier jemand mit Robot.txt auskennt und mir evtl. etwas unter die Arme greifen könnte um diese zu Optimieren!
Sprich es sollen alle Seiten der Seite von Crawlern besucht werden bis auf Sensible Seiten.

Vielen Dank schon einmal!

Wolltest DU schon immer einen Imperialer Sternzerstörer designen, bauen oder reparieren?
Zeige den Battle Droiden deine Macht und lass sie für dich Arbeiten.
Strebst Du eine Ausbildung als "Jedi oder als Sith Loard" an, you're welcome!

Homepage: [Link: Registrierung erforderlich]

17.06.2014 18:52

Diese Nachricht in einer Antwort zitieren

tunehosting

Beiträge: 153
Bewertung: 3
Registriert seit: Aug 2011
Status: offline

Beitrag: #2

RE: Robot.txt optimieren

[Link: Registrierung erforderlich]

http://i61.tinypic.com/33ayra0.png(!https)
[Link: Registrierung erforderlich] - [Link: Registrierung erforderlich] - [Link: Registrierung erforderlich] - [Link: Registrierung erforderlich] - [Link: Registrierung erforderlich]
Kontakt: Email: [email protected] - ICQ:539680 - Skype:tunehosting

17.06.2014 18:53

~~Reeben~~

Beiträge: 119
Registriert seit: Jun 2013
Status: offline

Beitrag: #3

RE: Robot.txt optimieren

Code:

# robots.txt generated at http://www.mcanerin.com

User-agent: Googlebot

Disallow: 

User-agent: googlebot-image

Disallow: 

User-agent: googlebot-mobile

Disallow: 

User-agent: MSNBot

Disallow: 

User-agent: Slurp

Disallow: 

User-agent: Teoma

Disallow: 

User-agent: twiceler

Disallow: 

User-agent: Gigabot

Disallow: 

User-agent: Scrubby

Disallow: 

User-agent: Robozilla

Disallow: 

User-agent: Nutch

Disallow: 

User-agent: ia_archiver

Disallow: 

User-agent: baiduspider

Disallow: 

User-agent: naverbot

Disallow: 

User-agent: yeti

Disallow: 

User-agent: yahoo-mmcrawler

Disallow: 

User-agent: psbot

Disallow: 

User-agent: asterias

Disallow: 

User-agent: yahoo-blogs/v3.9

Disallow: 

User-agent: *

Disallow: 

Disallow: /cgi-bin/

Sitemap: http://www.yoursite.com/sitemap.gz

Bei den "Disallow" trägst du Links ein, die von Crawlern nicht einbezogen werden sollen.

Grüße
Meikel Bloch

17.06.2014 18:55

Baumstrukturmodus | Brettstrukturmodus

« Ein Thema zurück | Ein Thema vor »

Möglicherweise verwandte Themen...
Thema:		Verfasser	Antworten:	Ansichten:	Letzter Beitrag
	Debian Kernel für Gameserver optimieren	crazy89112	2	1.795	11.03.2019 21:01 Letzter Beitrag: crazy89112

Druckversion anzeigen
Thema einem Freund senden
Thema abonnieren
Thema zu den Favoriten hinzufügen