Sponsor-Board.de
Antwort schreiben  Thema schreiben 

Robot.txt optimieren

Verfasser Nachricht

Beiträge: 582
Bewertung: 5
Registriert seit: Oct 2011
Status: offline


Beitrag: #1
Robot.txt optimieren

Hallo,

ich wollte mal nachfragen ob sich hier jemand mit Robot.txt auskennt und mir evtl. etwas unter die Arme greifen könnte um diese zu Optimieren!
Sprich es sollen alle Seiten der Seite von Crawlern besucht werden bis auf Sensible Seiten.

Vielen Dank schon einmal!


Wolltest DU schon immer einen Imperialer Sternzerstörer designen, bauen oder reparieren?
Zeige den Battle Droiden deine Macht und lass sie für dich Arbeiten.
Strebst Du eine Ausbildung als "Jedi oder als Sith Loard" an, you're welcome!

Homepage: [Link: Registrierung erforderlich]

17.06.2014 18:52
 
Webseite des Benutzers besuchen Alle Beiträge dieses Benutzers finden Diese Nachricht in einer Antwort zitieren

Beiträge: 153
Bewertung: 3
Registriert seit: Aug 2011
Status: offline


Beitrag: #2
RE: Robot.txt optimieren

http://i61.tinypic.com/33ayra0.png(!https)
[Link: Registrierung erforderlich] - [Link: Registrierung erforderlich] - [Link: Registrierung erforderlich] - [Link: Registrierung erforderlich] - [Link: Registrierung erforderlich]
Kontakt: Email: [email protected] - ICQ:539680 - Skype:tunehosting

17.06.2014 18:53
 
Alle Beiträge dieses Benutzers finden Diese Nachricht in einer Antwort zitieren

Beiträge: 119
Registriert seit: Jun 2013
Status: offline


Beitrag: #3
RE: Robot.txt optimieren

Code:
# robots.txt generated at http://www.mcanerin.com
User-agent: Googlebot
Disallow:
User-agent: googlebot-image
Disallow:
User-agent: googlebot-mobile
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Slurp
Disallow:
User-agent: Teoma
Disallow:
User-agent: twiceler
Disallow:
User-agent: Gigabot
Disallow:
User-agent: Scrubby
Disallow:
User-agent: Robozilla
Disallow:
User-agent: Nutch
Disallow:
User-agent: ia_archiver
Disallow:
User-agent: baiduspider
Disallow:
User-agent: naverbot
Disallow:
User-agent: yeti
Disallow:
User-agent: yahoo-mmcrawler
Disallow:
User-agent: psbot
Disallow:
User-agent: asterias
Disallow:
User-agent: yahoo-blogs/v3.9
Disallow:
User-agent: *
Disallow:
Disallow: /cgi-bin/
Sitemap: http://www.yoursite.com/sitemap.gz


Bei den "Disallow" trägst du Links ein, die von Crawlern nicht einbezogen werden sollen.

Grüße
Meikel Bloch

17.06.2014 18:55
 
Alle Beiträge dieses Benutzers finden Diese Nachricht in einer Antwort zitieren
Antwort schreiben  Thema schreiben 

Möglicherweise verwandte Themen...
Thema: Verfasser Antworten: Ansichten: Letzter Beitrag
  Debian Kernel für Gameserver optimieren crazy89112 2 1.934 11.03.2019 21:01
Letzter Beitrag: crazy89112

 Druckversion anzeigen
 Thema einem Freund senden
 Thema abonnieren
 Thema zu den Favoriten hinzufügen

Sponsor-Board.de

Community
Über uns
Partner
Powered by Mybb: Copyright 2002-2024 by MyBB Group - Deutsche-Übersetzung von Mybb.de
 
© 2007-2024 Sponsor-Board.de - Hosted by OVH

Willkommen auf SB!   Sie benötigen ein Sponsoring?   1. Anmelden   2. Sponsoring-Anfrage erstellen   3. Nachrichten von Sponsoren erhalten   Kostenlos!   Jetzt registrieren