+- MyBB.de Forum (https://www.mybb.de/forum)
+-- Forum: MyBB 1.8.x (https://www.mybb.de/forum/forum-87.html)
+--- Forum: Allgemeiner Support (https://www.mybb.de/forum/forum-88.html)
+--- Thema: Spider / Bots ignorieren robots.txt (/thread-33272.html)
Spider / Bots ignorieren robots.txt - Miracle Boy - 16.03.2016
Ich habe bei mir ein problem(chen) mit den Suchmaschienenbots
Habe ein robots.txt file mit folgendem inhalt in den public_html ordner hochgeladen
Code:
User-Agent: *
Disallow: /Theoretisch müssten ja Google und co ja unverrichteter Dinge wieder verschwinden.
Folgende Bots tauchen trotzdem immer wieder auf:
Yandex
Internet Archive
Baidu
Die folgenden scheinen sich aber daran zu halten:
Alexa Internet
Altavista
Blekko
Ask.com
Bing
MSN
Hat irgend Jemand eine Idee woran das liegen bzw. wie man das lösen könnte?!
RE: Spider / Bots ignorieren robots.txt - StefanT - 16.03.2016
Das liegt vermutlich daran, dass es "User-agent" und nicht "User-Agent" lauten müsste. Das kann gut sein, dass manche Crawler da pingelig sind. Auf keinen Fall darf eine Leerzeile zwischen User-agent und den Regeln sein.
Beachte auch, dass einige Stunden dauern kann, bis ein Crawler die robots.txt erkennt.
RE: Spider / Bots ignorieren robots.txt - Miracle Boy - 16.03.2016
die leerzeile ist da auch garnicht drin. ist hier irgendwie beim Code übernommen worden.
Hab das User-agent jetz mal umbenannt. mal sehen obs hilft
Sieht jetz so aus:
User-agent: *
Disallow: /
RE: Spider / Bots ignorieren robots.txt - Miracle Boy - 19.03.2016
so. ich glaub es hat wirklich daran gelegen das ich agent groß geschrieben hatte.
Scheint nun zu funktionieren.
nur Yandex scheint das grundsätzlich zu ignorieren. hat der Bot schon immer gemacht.
aber gibt schlimmeres