Robots.txt noindex und nofollow Meta Tags im alten Blog

Bei meinem alten WordPress Test- Blog habe ich mich entschieden in meiner robots.txt noindex und nofollow Meta Tags für Google und Bots zu setzen.

Warum darf die Seite nicht indiziert werden

Ich habe mich vorerst entschieden, dass meine Seite nicht indiziert werden darf. Meine Erfahrungen mit SEO, SEF, Google, Joomla und CMS waren die, dass eine Homepage mit nur wenig Vorkehrungen (Backlinks) rasend schnell indiziert wird. Es ist aber sehr aufwendig Seiten aus einer Suchmaschine herauszubekommen.

Meine Beiträge sind quasi „Live“. So lange mein Blog sich aber noch im Teststadium mit Themes und Plugins befindet, wird er nicht auf meine Hauptdomain umgezogen. Und so lange er nicht umgezogen ist, wird nicht erlaubt, dass indiziert wird.

Nur Adsense Bots dürfen crawlen

Meine robots.txt sieht entsprechend so aus:

User-agent: *
Disallow: /
User-agent: Googlebot
Disallow: /
User-agent: Mediapartners-Google
Disallow:

Das erlaubt, dass Adsense-Werbung passend angezeigt wird, aber im Suchmaschinen-Index keine Seiten vorerst enthalten sind.

Nun – im GoLive

Nach dem offiziellen Start von Blogfeuer lasse ich alles komplett indizieren.

Ausnahme:

  • Feeds – Kommentare oder Beiträge.
  • Kategorie-Seite bekommen ein Noindex aber follow.