[Koelner]

Moin, moin,

habe soeben eine Email bekommen, die ich erst mal ins Deutsche übersetzen (lassen) musste. Den Link zur Übersetzung habe ich gerade entfernt, Originaltext steht unten.

Verstanden habe ich zwar nur Bruchstücke, doch nach dem Aufruf der robots.txt ersscheint 404.

1. Muss Google diese .txt überhaupt lesen können?
2. Was muss ich dafür umstellen?


Gruß
Ralf

[StefanT]

Dein Link funktioniert nicht. Zudem wäre das Original vermutlich deutlich besser verständlich.

[Koelner]

Wenn das so ist, setze ich den Text, den Google mir geschickt hat, hier rein:

Over the last 24 hours, Googlebot encountered 245 errors while attempting
to access your robots.txt. To ensure that we didn't crawl any pages listed
in that file, we postponed our crawl. Your site's overall robots.txt error
rate is 65.9%.

You can see more details about these errors in Webmaster Tools.


Recommended action
If the site error rate is 100%:

Using a web browser, attempt to access http://www.kondomfrei.eu/robots.txt.
If you are able to access it from your browser, then your site may be
configured to deny access to googlebot. Check the configuration of your
firewall and site to ensure that you are not denying access to googlebot.
If your robots.txt is a static page, verify that your web service has
proper permissions to access the file.
If your robots.txt is dynamically generated, verify that the scripts that
generate the robots.txt are properly configured and have permission to run.
Check the logs for your website to see if your scripts are failing, and if
so attempt to diagnose the cause of the failure.
If the site error rate is less than 100%:

Using Webmaster Tools, find a day with a high error rate and examine the
logs for your web server for that day. Look for errors accessing robots.txt
in the logs for that day and fix the causes of those errors.
The most likely explanation is that your site is overloaded. Contact your
hosting provider and discuss reconfiguring your web server or adding more
resources to your website.
If your site redirects to another hostname, another possible explanation is
that a URL on your site is redirecting to a hostname whose serving of its
robots.txt file is exhibiting one or more of these issues.

After you think you've fixed the problem, use Fetch as Google to fetch
http://www.kondomfrei.eu/robots.txt to verify that Googlebot can properly
access your site.

Learn more in our Help Center.

[StefanT]

Eine robots.txt ist eigentlich optional, wir haben auch nicht überall eine. Google hat sich auch noch nie beschwert...

[Koelner]

Ich hab` den englischen Text von Google leider nicht verstanden. Nur irgendwas mit "245 Fehlermeldungen"? Das klingt auf jeden Fall viel... Hat das für mich irgendwelche Konsequenzen?

[Koelner]

Leider ist mein Anliegen bis heute nicht beendet, obwohl ich mich seit einiger Zeit nicht mehr dazu gemeldet habe. Der Grund dafür ist der, dass Google mir ständig unterschiedliche Fehlermeldungen zur robots.txt per Email schickt, obwohl ich eine von Google vorgegebene robots.txt verwende und obwohl Google trotz aller Fehlermeldungen täglich in meinem Portal crawlt.

Gerade zum Beispiel habe ich 2 Screenshots von den Fehlermeldungen aus den Webmaster-Tools gemacht, um sie hier zu posten. Um sicher zu gehen, habe ich in den Google-Webmastertools gerade nochmal die robots.txt testen lassen und der Abruf war erfilgreich.

Ich blicke da nicht mehr durch.

Mit der Sitemap hat Google auch Probleme, denn die Sitemap des Google-SEO-Plugins sitemap-index.xml ist Google nicht ausführlich genug und die andere sitemap.xml, die ich mit einem von Google empfohlenen Generator erstellt habe, hat Google hauch Probleme, weil von 1.158 eingereichten URLs nur 100 URLs abgerufen werden können. Wobei der von Google empfohlene Sitemap-Generator die Umlaute (ä, ö, ü) nicht übernimmt, sondern nur kaufmännische Und-Zeichen und Hyroglyphen einbindet.

Ich poste euch einfach mal die ganzen Screenshots.

[Line.Dev]

Hi,
ganz blöde Frage: Wo liegt deine robots.txt?
Und wie sehen ihre Berechtigungen aus?

Beste Grüsse
Line.Dev

[Koelner]

Hi Line.Dev,

habe dein Anliegen und die 3 seiten dazu mitgelesen.

Meine robotsts.txt liegt im Hauptverzeichnis, das erkennt man schon beim Aufrufen: Klick

[Line.Dev]

Hm,

deine robots.txt hilft dir ja eigentlich garnicht weiter.
Erstmal verbietet sie dem Bot ja garnichts und 2tens ist die Sitemap nicht richtig ausgefüllt.
Seh dir z.B. einfach mal meine robots.txt an: www.megadroid.de/robots.txt

[Koelner]

Wie gesagt, die robots.txt hat Google in den Webmastertools so vorgegeben und die sitemap-index.php ist die, die das Plugin Google-SEO geschrieben hat.

Steht aber alles schon da, was man wissen muss. Ich wiederhole mich ungerne, das sorgt nur für Verwirrungen.