+- MyBB.de Forum (https://www.mybb.de/forum)
+-- Forum: Archiv (https://www.mybb.de/forum/forum-57.html)
+--- Forum: MyBB 1.6.x (https://www.mybb.de/forum/forum-58.html)
+---- Forum: Allgemeiner Support (https://www.mybb.de/forum/forum-59.html)
+---- Thema: Google-Bot ausgesperrt (/thread-26188.html)
Google-Bot ausgesperrt - thomas01 - 01.08.2012
Hallo Leute,
ich habe vor einigen Tagen ein MyBB-forum aufgesetzt.
www.grillerforum.de
Das Forum habe ich auch in den Webmastertools bei Google eingetragen und somit das Forum angemeldet.
Nun sehe ich fast jeden Tag den Google-Bot im Forum, aber die indizierten Seiten bei Google selbst werden nicht mehr.
Ich habe nun in dem Crawling-Protokoll bei Google gesehen, das der Bot nicht reingelassen wird.
Folgende Meldung macht er mehr als 30 mal bei verschiedenen Links
newthread.php?fid=31 Antwortcode 403
newreply.php?tid=1 Antwortcode 403
Zitat:Der Googlebot konnte Ihre URL nicht crawlen, da Ihr Server entweder eine Anmeldung für den Zugriff auf die Seite erfordert oder dem Googlebot den Zugriff auf Ihre Website verwehrt.
Folge ich dem Google-Bot-Link dann erscheint ein Loginfenster mit der folgenden Meldung:
Zitat:Du bist entweder nicht eingeloggt oder dir fehlt die Berechtigung, diese Seite zu sehen. Grund dafür könnte einer der folgenden sein:
Du bist nicht eingeloggt oder registriert. Bitte benutze das Formular unten auf dieser Seite, um dich einzuloggen.
Dir fehlt die Berechtigung, diese Seite zu betreten. Versuchst du auf eine Administratoren-Seite zu kommen? Lies in den Forenregeln, ob du diese Aktion durchführen darfst.
Dein Account könnte durch den Administrator deaktiviert worden sein oder wartet auf Aktivierung.
Du rufst diese Seite direkt auf, anstatt das entsprechende Formular oder den entsprechenden Link zu benutzen.
Er steht quasi vor verschlossener Tür und kommt nicht rein.
Hätte vielleicht jemand von Euch eine Idee, was ich falsch gemacht habe?
Gruß, Tom
RE: Google-Bot ausgesperrt - StefanT - 01.08.2012
Warum sollte Googlebot denn auch die Seiten um neue Themen bzw. Antworten zu erstellen sehen dürfen? Er soll ja auch die Themen im Forum indizieren (das dauert!) und nichts anderes.
RE: Google-Bot ausgesperrt - Kenny - 01.08.2012
Der Google Bot hat lediglich die Rechte die auch andere Besucher/Gäste deines Forums haben. Wenn Gäste also ein bestimmtes Forum nicht sehen können oder dort keine Beiträge schreiben dürfen, dann darf es der Google Bot natürlich auch nicht.
Man könnte zwar dem Google Bot andere rechte einräumen (ACP-->Spider/Bots), aber das ist nicht anzuraten. Setzt man die Berechtigungen da falsch können unter Umständen sensible/interne Daten schnell bei Google auftauchen.
RE: Google-Bot ausgesperrt - thomas01 - 01.08.2012
Vielen Dank für diese Tipps!!
Klar, das der Bot da nicht hin darf. Das hätt ich auch selber erkennen müssen.
Wäre es sinnvol daher eine robots.txt zu erstellen, die folgenden Inhalt hat?
Diese Datei hab ich hier im Forum gefunden
User-agent: googlebot
#Disallow: /showthread.php*$
Disallow: /member.php*$
Disallow: /search.php*$
Disallow: /memberlist.php*$
Disallow: /calendar.php*$
Disallow: /newreply.php*$
Disallow: /private.php*$
Disallow: /newthread.php
Disallow: /online.php
User-agent: *
#Disallow: /showthread.php
Disallow: /member.php
Disallow: /search.php
Disallow: /memberlist.php
Disallow: /calendar.php
Disallow: /newreply.php
Disallow: /private.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /archive
RE: Google-Bot ausgesperrt - StefanT - 01.08.2012
Als robots.txt kannst du z.B. diese nehmen: https://github.com/frostschutz/Google-SEO/blob/master/robots.example.txt (Sitemap-Eintrag raus und ggf. Pfade anpassen)
RE: Google-Bot ausgesperrt - thomas01 - 01.08.2012
Vielen Dank für die super Hilfe!!
Gruß, Tom