MyBB.de Forum

ICh habe SpiceFuse SEO laufen, also unter anderem Umwandlung der URL. Nun mal eine Frage, ich weiß gar nicht mehr in welchen Zusammenhang ich das mal geändert habe, aber meine robots.txt sieht so aus:

User-agent: msnbot
User-agent: googlebot
#Disallow: /showthread.php*$
Disallow: /member.php*$
Disallow: /search.php*$
Disallow: /memberlist.php*$
Disallow: /calendar.php*$
Disallow: /newreply.php*$
Disallow: /private.php*$
Disallow: /newthread.php
Disallow: /online.php

User-agent: *
#Disallow: /showthread.php
Disallow: /member.php
Disallow: /search.php
Disallow: /memberlist.php
Disallow: /calendar.php
Disallow: /newreply.php
Disallow: /private.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /archive

MAcht das überhaupt Sinn, google von den ganzen Sachen auszusperren? Ich kann mich nur noch dunkel dran errinern das man das im Zusammenhang mit dem SEO tool einstellen sollte...glaube ich??

Prinzipiell machts schon Sinn, die Bots von Seiten, die eh keinen sinnvollen Inhalt haben, auszuschliessen. Die Zeit, die der Bot dann NICHT damit verbringt, deinen Kalender von 2008-2012 von vorne nach hinten und von oben nach unten durchzugrasen, verwendet der Bot dann nämlich stattdessen, um Seiten zu laden, die tatsächlich brauchbare Inhalte haben...

Wie so eine robots.txt nun genau aussehen sollte, darüber kann man sich streiten. Das muss jeder für sich selbst entscheiden und ausprobieren. Was du bei anderen findest solltest du höchstens als Beispiel nehmen und nicht unbedingt 1:1 übernehmen.

Eine robots.txt von der du nicht genau weisst was sie tut, kann auch gefährlich sein... und etwa wertvollen Content sperren. Darum solltest du immer im Auge behalten, was die Bots so machen, bzw. ob sie noch auf die Threads usw. zugreifen dürfen und die Seite ordentlich crawlen können. Sperrst du zuviel geht das nämlich nimmer.

In den Google Webmaster Tools kann man das entsprechend verfolgen und testen (URL reinkopieren und du bekommst gesagt ob das Teil laut robots.txt aufgerufen werden darf, oder nicht).