Muss robots.txt von Google gelesen werden können? - Druckversion +- MyBB.de Forum (https://www.mybb.de/forum) +-- Forum: Archiv (https://www.mybb.de/forum/forum-57.html) +--- Forum: MyBB 1.6.x (https://www.mybb.de/forum/forum-58.html) +---- Forum: Allgemeiner Support (https://www.mybb.de/forum/forum-59.html) +---- Thema: Muss robots.txt von Google gelesen werden können? (/thread-28100.html) |
Muss robots.txt von Google gelesen werden können? - Koelner - 13.06.2013 Moin, moin, habe soeben eine Email bekommen, die ich erst mal ins Deutsche übersetzen (lassen) musste. Den Link zur Übersetzung habe ich gerade entfernt, Originaltext steht unten. Verstanden habe ich zwar nur Bruchstücke, doch nach dem Aufruf der robots.txt ersscheint 404. 1. Muss Google diese .txt überhaupt lesen können? 2. Was muss ich dafür umstellen? Gruß Ralf RE: Muss robots.txt von Google gelesen werden können? - StefanT - 13.06.2013 Dein Link funktioniert nicht. Zudem wäre das Original vermutlich deutlich besser verständlich. RE: Muss robots.txt von Google gelesen werden können? - Koelner - 13.06.2013 Wenn das so ist, setze ich den Text, den Google mir geschickt hat, hier rein: Zitat:Over the last 24 hours, Googlebot encountered 245 errors while attempting RE: Muss robots.txt von Google gelesen werden können? - StefanT - 13.06.2013 Eine robots.txt ist eigentlich optional, wir haben auch nicht überall eine. Google hat sich auch noch nie beschwert... RE: Muss robots.txt von Google gelesen werden können? - Koelner - 13.06.2013 Ich hab` den englischen Text von Google leider nicht verstanden. Nur irgendwas mit "245 Fehlermeldungen"? Das klingt auf jeden Fall viel... Hat das für mich irgendwelche Konsequenzen? RE: Muss robots.txt von Google gelesen werden können? - Koelner - 07.07.2013 Leider ist mein Anliegen bis heute nicht beendet, obwohl ich mich seit einiger Zeit nicht mehr dazu gemeldet habe. Der Grund dafür ist der, dass Google mir ständig unterschiedliche Fehlermeldungen zur robots.txt per Email schickt, obwohl ich eine von Google vorgegebene robots.txt verwende und obwohl Google trotz aller Fehlermeldungen täglich in meinem Portal crawlt. Gerade zum Beispiel habe ich 2 Screenshots von den Fehlermeldungen aus den Webmaster-Tools gemacht, um sie hier zu posten. Um sicher zu gehen, habe ich in den Google-Webmastertools gerade nochmal die robots.txt testen lassen und der Abruf war erfilgreich. Ich blicke da nicht mehr durch. Mit der Sitemap hat Google auch Probleme, denn die Sitemap des Google-SEO-Plugins sitemap-index.xml ist Google nicht ausführlich genug und die andere sitemap.xml, die ich mit einem von Google empfohlenen Generator erstellt habe, hat Google hauch Probleme, weil von 1.158 eingereichten URLs nur 100 URLs abgerufen werden können. Wobei der von Google empfohlene Sitemap-Generator die Umlaute (ä, ö, ü) nicht übernimmt, sondern nur kaufmännische Und-Zeichen und Hyroglyphen einbindet. Ich poste euch einfach mal die ganzen Screenshots. RE: Muss robots.txt von Google gelesen werden können? - Line.Dev - 07.07.2013 Hi, ganz blöde Frage: Wo liegt deine robots.txt? Und wie sehen ihre Berechtigungen aus? Beste Grüsse Line.Dev RE: Muss robots.txt von Google gelesen werden können? - Koelner - 08.07.2013 Hi Line.Dev, habe dein Anliegen und die 3 seiten dazu mitgelesen. Meine robotsts.txt liegt im Hauptverzeichnis, das erkennt man schon beim Aufrufen: Klick RE: Muss robots.txt von Google gelesen werden können? - Line.Dev - 08.07.2013 Hm, deine robots.txt hilft dir ja eigentlich garnicht weiter. Erstmal verbietet sie dem Bot ja garnichts und 2tens ist die Sitemap nicht richtig ausgefüllt. Seh dir z.B. einfach mal meine robots.txt an: www.megadroid.de/robots.txt RE: Muss robots.txt von Google gelesen werden können? - Koelner - 08.07.2013 Wie gesagt, die robots.txt hat Google in den Webmastertools so vorgegeben und die sitemap-index.php ist die, die das Plugin Google-SEO geschrieben hat. Steht aber alles schon da, was man wissen muss. Ich wiederhole mich ungerne, das sorgt nur für Verwirrungen. |