+- MyBB.de Forum (https://www.mybb.de/forum)
+-- Forum: Archiv (https://www.mybb.de/forum/forum-57.html)
+--- Forum: MyBB 1.6.x (https://www.mybb.de/forum/forum-58.html)
+---- Forum: Allgemeiner Support (https://www.mybb.de/forum/forum-59.html)
+---- Thema: Massiver Anstieg von Fehlern (/thread-26598.html)
Massiver Anstieg von Fehlern - sportwettentalk - 09.10.2012
Hi,
ich habe gerade gesehen dass in den Google Webmaster Tools immer mehr fehlerhafte URL`s auf meiner Domain
http://www.sportwettentalk.com angezeigt werden.
Die Fehler steigen seit dem Juni 2012 stetig an und sind mittlerweile bei über 50 000.
Der Googlebot versucht auf Seiten zuzugreifen von denen er dann einen 403 Code gemeldet bekommt.
Wie kommt es dazu??
Im Anhang ein Screenshot der Fehler.
RE: Massiver Anstieg von Fehlern - MrBrechreiz - 09.10.2012
Ist die Suchmaschine als Gruppe eingerichtet uns wenn ja, hat sie irgendwelche Rechte ?
RE: Massiver Anstieg von Fehlern - Falkenauge Mihawk - 09.10.2012
Der Bot versucht auf Rechte zuzugreifen, die er nicht hat, deswegen der 403.
RE: Massiver Anstieg von Fehlern - sportwettentalk - 10.10.2012
Also ich habe für Suchmaschinen Bots eine Gruppe angelegt damit die geschlossene Foren durchsuchen können und diese indizieren können.
Aber diese Gruppe hat keine Rechte. Was müsste ich denn jetzt genau machen, damit diese Fehler nicht mehr ansteigen?
RE: Massiver Anstieg von Fehlern - GreenDragon - 10.10.2012
Du hast anscheinend keine robots.txt Datei angelegt. Schau Dir mal die von MyBBoard.de an:
https://www.mybb.de/forum/robots.txt
Auf diese Art werden den Bots die Zugriffe auf diese PHP´s oder auch ganze Ordner untersagt. Man "verbietet" sozusagen das crawlen dieser Inhalte. Da Dein Bot keine Rechte für Themenerstellung oder Thread-Bewertung oder ähnliches hat, kommt dann der Zugriffsfehler in Deinem Log. Du kannst ja genau sehen was Er versucht hat aber nicht durfte.
- ratethread.php
- newreply.php
- u.s.w.
Ich denke mit einer guten robots.txt wirste das in den Griff bekommen,
denn was die Bots nicht crawlen dürfen, kann dann auch nicht als Zugriffsverweigerung geloggt werden.
RE: Massiver Anstieg von Fehlern - StefanT - 10.10.2012
Aber bitte nicht die Datei von hier einfach übernehmen, die Regeln wurden auf die Rechte hier im Forum zugeschnitten.
RE: Massiver Anstieg von Fehlern - sportwettentalk - 10.10.2012
Alles klar, danke, schaue ich mir gleich einmal an.
RE: Massiver Anstieg von Fehlern - Falkenauge Mihawk - 10.10.2012
(10.10.2012, 04:41)GreenDragon schrieb: Ich denke mit einer guten robots.txt wirste das in den Griff bekommen,"Nicht crawlen dürfen" - nunja, die Bots müssen sich nicht an die robots.txt halten - jedoch halten sich die meisten Crawler daran.
denn was die Bots nicht crawlen dürfen, kann dann auch nicht als Zugriffsverweigerung geloggt werden.
RE: Massiver Anstieg von Fehlern - StefanT - 10.10.2012
Hier geht es ja um Google.
