@Frostschutz
Zitat:Es bewirkt mehr als das. Die Robots dürfen auf die ausgeschlossenen URLs gar nicht erst zugreifen. D.h. sie werden nicht nur nicht in den Index aufgenommen sondern auch dort enthaltene Links werden gar nicht erst betrachtet oder gefunden.
Theoretisch ja. Ich habe mehrere Präsenzen, die trotz sorfältig gepflegter robots.txt, damit ein Problem haben; Google hat die URLs (PrintBersionen, SendToFriend z.B.) indiziert und zeigt sie sogar bei "die Suche unter Einbeziehung der übersprungenen Ergebnisse wiederholen." an...Leider ist dies Fakt...
Dagegen hilft nur - meiner Erfahrung nach - die Meta-Angabe im Header des jeweiligen Dokumentes <meta name="robots" content="noindex, nofollow"> UND (!), das Setzen der Links zu diesen Dokumenten auf NoFollow.
Noch eine Kleinigkeit zu diesem Thema: Der Pagerank eines einzelnen Dokumentes (z.B. Thread) verteilt sich auf die darin befindlichen Links, sofern diese NICHT mit einem NoFollow versehen sind - also auch auf Links, die in einer Suchmaschine oftmals nichts zu suchen haben wie z.B. Printversionen (Duplikat zum eingentlichen Thread, etc.). Das ist aus Webmastersicht - falls man Wert drauf legt - nicht unbedingt wünschenswert...
Ich habe jetzt die Mitglieder-Profilseiten und die Druckversionen mit einem Meta wie oben versehen und werde die Verlinkungen auf diese Seiten noch auf NoFollow setzen - wenn ich mich natürlich durch die Vielzahl an Dateien im ACP durchgekämpft habe.
Zusätzlich werden sie natürlich auch in der robots.txt ausgeschlossen.
Vielen Dank noch einmal an Frostschutz für den SEO-Plugin, dieser ist gerade in Sachen Auffindbarkeit und Vermeidung von Duplikaten (Stichwort rel="canonical") von unschätzbarem Wert.