+- MyBB.de Forum (https://www.mybb.de/forum)
+-- Forum: Archiv (https://www.mybb.de/forum/forum-57.html)
+--- Forum: MyBB 1.6.x (https://www.mybb.de/forum/forum-58.html)
+---- Forum: Allgemeiner Support (https://www.mybb.de/forum/forum-59.html)
+---- Thema: robots.txt und google (/thread-29996.html)
robots.txt und google - schauan - 02.07.2014
Hallo zusammen,
ich habe in meiner robots.txt u.a. folgenden Eintrage:
Disallow: /search.php
Im google Webmaster Tool sieht es jedoch so aus, als ob google das nutzen will und ein Problem dabei hat. Mir werden die entsprechenden Links als Crawlingfehler angezeigt. Logisch, eventuell geht die Suche in einen Bereich für registrierte Mitglieder ... Aber wie gesagt, eigentlich soll google ja nicht "search"en.
URL:
http://www.clever-excel-forum.de/search.php?action=finduser&uid=47
Fehler 403
Der Googlebot konnte Ihre URL nicht crawlen, da Ihr Server entweder eine Authentifizierung für den Zugriff auf die Seite erfordert oder dem Googlebot den Zugriff auf Ihre Website verwehrt.
Wenn ich den Link anklicke, bekomme ich das Suchergebnis für alle Beiträge des users.
Wenn ich auf "Abruf wie durch google" klicke, kommt "von robots.txt abgelehnt"
Hier ist noch die komplette robots.txt:
Sitemap: http://www.clever-excel-forum.de/sitemap-index.xml
User-agent: *
Disallow: /attachment.php
Disallow: /captcha.php
Disallow: /css.php
Disallow: /editpost.php
Disallow: /global.php
Disallow: /managegroup.php
Disallow: /master_favourite_post.php
Disallow: /member.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /polls.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /rss.php
Disallow: /search.php
Disallow: /sendthread.php
Disallow: /showteam.php
Disallow: /stats.php
Disallow: /syndication.php
Disallow: /task.php
Disallow: /thankyoulike.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /warnings.php
Disallow: /xmlhttp.php
Disallow: /*action=emailuser*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*year=*
Disallow: /*action=weekview*
Disallow: /User-*
Disallow: /mobiquo/
Disallow: /highslide/
Disallow: /admin/
Disallow: /install/
RE: robots.txt und google - StefanT - 02.07.2014
Ich würde den Sitemaps ganz ans Ende schreiben (und durch eine Leerzeile von den anderen Regeln trennen. Ansonsten sieht das alles für mich richtig aus.
Crawling-Fehler sind normalerweise ja auch nichts schlimmes, wie ich kürzlich hier beschrieben habe: https://www.mybb.de/forum/thread-28100-post-200742.html#pid200742
RE: robots.txt und google - schauan - 02.07.2014
Hallo Stefan,
danke für die Antwort, das beruhigt mich ;-) Ich hab immer die eine oder andere Befürchtung, wenn ich "schlechte" Nachrichten sehe. Google hatte dazu eine wichtige Nachricht: http://www.clever-excel-forum.de/: Increase in authorization permission errors
RE: robots.txt und google - StefanT - 02.07.2014
Das sollte eigentlich nicht passieren, wenn die Datei in der robots.txt steht. Aber das ist eher als Hinweis zu sehen, dass etwas nicht stimmen könnte; was hier nicht der Fall ist.
