[GlobalPlayer]

Hallo zusammen,
seit Monaten haben wir ein riesiges Problem - durch zahlreiche Fehler beim Crawling zeigt uns Google nicht mehr in den Suchergebnissen an

vor allem die 404s machen mir zu schaffen - einfach den Link öffnen den Google mir gibt und dann löschen geht natürlich nicht denn es ist ein 404 also nix da oder es erscheint ein error im forum

Wir sind mehrfach umgezogen (Unterverzeichnis zu hauptverzeichnis) usw.
und haben mehrfach germergt - aber alles läuft recht stabil jetzt nur eben Google findet immer noch reichlich Links zu Beiträgen und Themen die es gar nicht mehr gibt

Gibts da etwas was man als SQL ausführen kann oder ein PlugIn ?
Oder muss ich jetzt echt jeden einzelnen Link von den über 3000 mit einem eintrag in der htaccess sperren ?

Ganz oft ist auch das archiv mit betroffen, das ding ist eben das von eigenen Threads im Forum verwiesen wird oder von irgendwelchen Stellen und diese eben auf ein 404 zeigen

In der Robots.txt heisst es aber schon disallow /archive

Verzweifelte Grüße

[StefanT]

Bei 404er-Seiten kannst du mit PHP oder MySQL nichts machen. Kannst du einen Beispiel-Link posten? Mir ist nicht ganz klar, wo das Problem ist.

[frostschutz]

An richtigen 404 Fehlern sollte sich Google eigentlich nicht stören, die wirft es irgendwann aus seinem Index raus und gut. Problematischer sind eher die Fehlermeldungen von MyBB (invalid thread / forum / etc), die ganz normal per 200 OK an den Browser geschickt werden. Google kann hier nicht erkennen daß es sich um eine Fehlerseite handelt. Daher ist eines der Dinge die mein Google SEO Plugin macht, den Fehlercode für Fehlerseiten von MyBB auch auf 404 zu setzen, damit Google nicht auf die Idee kommt, solche Fehlerseiten zu indizieren.

Wenn du einfach nur umziehst aber die alte Adresse trotzdem noch dir gehört, könntest du einen 301 Redirect zur neuen Adresse in der .htaccess auf der alten Location einrichten. Solange die URLs sich nicht durch Umzug, sondern durch Einstellungen ändern (z.B. showthread.php?tid=x zu thread-x.html), übernimmt mein Plugin auch die Redirects dafür.

Der Haken daran: Das Plugin ist noch in der Entwicklungsphase und damit noch nicht für richtige Foren empfohlen.

Wenn deine User selbst in ihren Threads Links zu anderen Threads eingebaut haben, die nun nach dem Umzug nicht mehr funktionieren, müsstest du dir ein Script schreiben das alle Postings in der Datenbank durchgeht und die URLs zum alten Forum anpasst auf die neue Adresse. Eventuell könnte man hier auch mit einem MyCode mogeln, ich weiss nicht wie mächtig diese Textersetzung von MyBB ist.

[GlobalPlayer]

Also es ist so :

Alter Server 1 : Forum in Hauptverzeichnis

UMZUG auf neuen Server

Neuer Server 2 : Zuerst auf einer anderesn Domain auf dem neuen Server testinstalliert im Unterverzeichnis Forum
nach einigen Wochen komplett umzug mit der alten Domain auf den neuen Server aber wieder im rootverzeichnis


Google gibt folgende Fehler aus die jetzt verhindern das wir in den Suchergebnisseiten angezeigt werden :

http://www.dsds-city.de/archive/index.ph...m-319.html
404 (Nicht gefunden) Hilfe Hilfe
2 Seiten 23.01.2009

bedeutet das er eben dieses forum nicht gefunden hat 404 aber 2 Seiten darauf verweisen

ob es am seo tool von spicefuse liegt (frotschutz deines habe ich versucht zu installieren ist aber fehlgeschlagen) oder weil das Forum wirklich nicht mehr da ist weiss ich nicht einzuschätzen da ich keine IDs mehr sehen kann solange Seo an ist (Google ist ständig online deswegen will ich Seo auch net ausmachen)

Bei diesem Beispiel gestalten sich die beiden Seiten wie folgt auf denen der Linkverweis ist :

http://www.dsds-city.de/archive/index.php
http://www.dsds-info.de/forumdisplay.php...&order=asc

Dazu muss ich sagen das ich leider aus Blödheit im Sommer 5 Domains auf das gleiche Forum zeigen liess, daher rühren wohl auch noch die Linkverweise von dsds-info.de die aber längst nicht mehr dort sind weil dsds-info.de jetzt ein eigenes Blog hat

Das bedeutet natürlich auch das ich diese abngeblichen Links gar nicht ändern kann weil sie gar nicht mehr da sind

[frostschutz]

Auf der Seite

http://www.dsds-city.de/archive/index.ph...m-319.html

sind zwei Links die auf 404 führen, nämlich in den Breadcrumbs der 'Archive' Link.

Der zeigt auf http://www.dsds-city.de/archive/index.php/forum-11.html und das existiert scheinbar nicht.

Die Frage ist jetzt, wo kommt das Forum 11 mit dem Namen "Archiv" her und wenn es nicht existiert, wieso ist es dann als Parent von DSDS 4 (Forum 42) eingetragen? Kannst du das Forum mal in deinem Admin CP editieren und schauen welche Parent Category da wirklich eingetragen ist für das Teil?

Bzw. diese Foren tauchen in deiner Hauptstruktur eigentlich gar nicht auf existieren aber trotzdem noch. Was ist da genau los?

[GlobalPlayer]

wenn das alles sein sollte - ich habe von den anderen Staffeln die ganzen Beiträge die heute uninteressant sind in ein Forum Archiv gepackt, und weil es mir zu unübersichtlich wurde habe ich dann irgendwann das ganze Forum Archiv geschlossen - also "nicht axistent" gemacht im ACP

[frostschutz]

Dann kanns evtl. sein, daß du die Foren darunter auch schliessen musst? Bzw. dass das Archiv zu blöd ist zu erkennen, daß es diese Foren eigentlich gar nicht anzeigen sollte, da das Forum drüber zu ist? In der Hauptübersicht tauchen diese Foren ja nicht auf...

[GlobalPlayer]

Nein es gab keine Änderung

Ich denke das sind einfach Foren und Beiträge die halt nicht mehr da sind auf die aber HAUPTSÄCHLICH von der archive.php draufgezeigt wird, wie kann man das jetzt lösen das die Archive.php wirklich nur die Seiten verlinkt die auch da sind ? Ich denke mal das die Einträge evtl. noch irgendwo in der DB sitzen, ich muss jetzt wirlich langsam sehen das ich da raus komme, habe angst das wir GANZ rausfliegen - Google meldet sich auch nicht, 1800 Links kann ich auch nicht einzeln einreichen zur entfernung ausserdem würde das die Links in der archive.php ja trotzdem drin lassen

wenn ich die archive.php aufrufe dann sehe ich ja auch nicht die links in der form wie sie mir Google ausgibt sondern nur ale Kategorein und Forentitel

Ok habe jetzt mal testweise 2 Fids die Google von der /archive/index.php bemängelt im der datenbank gesucht , beie liefern ein leeres Ergebnis zurück

Code:

MySQL lieferte ein leeres Resultat zurück (d. h. null Zeilen). (die Abfrage dauerte 0.0002 sek.)
SQL-Befehl:
SELECT `fid`
FROM `mybb_forums`
WHERE `fid` =933
LIMIT 0 , 30

Also sind diese Foren defintiv nicht mehr da und damit sollte auch die /archive/index.php keinen Verweis mehr darauf haben, also nehme ich mal an das Google noch anhand einer alten abgespeicherten /archive/index.php sucht

Ich habe jetzt mal versucht die /archive/ und die /archive/index.php aus dem Index entfernen zu lassen und hoffe das hilft- jetzt ist diese datei eh durch robots.txt gesperrt und das wird mir auch angezeigt - kann evtl. auch daran liegen das die neue eben nicht gecrawlt wurde

eine cachelöschung der archive versuche ich auch noch

wie lange dauert es normal bis dann so ein link entfernt wird ?
das problem es wird ja jetzt kein 404 code ausgegeben sondern der Zugriff ist ja nur für den robot beschränkt