Hallo, Gast! (Registrieren)

Letzte Ankündigung: MyBB 1.8.38 veröffentlicht (30.04.24)


Benutzer, die gerade dieses Thema anschauen: 1 Gast/Gäste
Spider / Bots ignorieren robots.txt
#1
Question 
Ich habe bei mir ein problem(chen) mit den Suchmaschienenbots

Habe ein robots.txt file mit folgendem inhalt in den public_html ordner hochgeladen

Code:
User-Agent: *

Disallow: /

Theoretisch müssten ja Google und co ja unverrichteter Dinge wieder verschwinden.

Folgende Bots tauchen trotzdem immer wieder auf:
Google
Yandex
Facebook
Internet Archive
Baidu

Die folgenden scheinen sich aber daran zu halten:
Alexa Internet
Altavista
Twitter
Blekko
Ask.com
Bing
MSN

Hat irgend Jemand eine Idee woran das liegen bzw. wie man das lösen könnte?!
"Gib jedem Tag die Chance, der schönste deines Lebens zu werden." - Mark Twain
Zitieren
#2
Das liegt vermutlich daran, dass es "User-agent" und nicht "User-Agent" lauten müsste. Das kann gut sein, dass manche Crawler da pingelig sind. Auf keinen Fall darf eine Leerzeile zwischen User-agent und den Regeln sein.
Beachte auch, dass einige Stunden dauern kann, bis ein Crawler die robots.txt erkennt.
[Bild: banner.png]

Bitte die Foren-Regeln beachten und im Profil die verwendete MyBB-Version angeben.
Zitieren
#3
die leerzeile ist da auch garnicht drin. ist hier irgendwie beim Code übernommen worden.

Hab das User-agent jetz mal umbenannt. mal sehen obs hilft Smile

Sieht jetz so aus:

User-agent: *
Disallow: /
"Gib jedem Tag die Chance, der schönste deines Lebens zu werden." - Mark Twain
Zitieren
#4
so. ich glaub es hat wirklich daran gelegen das ich agent groß geschrieben hatte.
Scheint nun zu funktionieren.
nur Yandex scheint das grundsätzlich zu ignorieren. hat der Bot schon immer gemacht.
aber gibt schlimmeres Smile
"Gib jedem Tag die Chance, der schönste deines Lebens zu werden." - Mark Twain
Zitieren


Möglicherweise verwandte Themen…
Thema Verfasser Antworten Ansichten Letzter Beitrag
  PNs Exportieren > HTML u. TXT werden nur angezeigt? Gerti 18 4.687 11.07.2020, 12:14
Letzter Beitrag: itsmeJAY
  Spider/Bots OTF 8 2.572 15.07.2019, 18:36
Letzter Beitrag: OTF