+- MyBB.de Forum (https://www.mybb.de/forum)
+-- Forum: Archiv (https://www.mybb.de/forum/forum-57.html)
+--- Forum: MyBB 1.4.x (https://www.mybb.de/forum/forum-51.html)
+---- Forum: Sonstiges (https://www.mybb.de/forum/forum-55.html)
+---- Thema: Spider- und Bot-Liste (/thread-16042.html)
Seiten: Seiten:
1
2
Spider- und Bot-Liste - ZaunköniG - 08.04.2010
Hallo
Ich habe seit einiger Zeit verdächtig hohe Zugriffszahlen. Und mein Verdacht, daß dort ein Bot unterwegs ist, hat sich auch bestätigt.
Wie kann ich es nun einrichten, daß mein Forum den Bot automatisch erkennt?
Unter "Konfiguration > Spider/Bots gibt es ja eine Liste, die man ggf. ergänzen kann, doch wie finde ich heraus wie der zugehörige Benutzeragent heißt?
Gibt es irgendwo eine Tabelle?
Konkret geht es um die chinesische suchmaschine Baidu mit dem IP-Bereich
123.112.0.0 - 123.127.255.255
Ich habe keine Probleme mit Spam oder so, es geht mir nur um eine saubere Besucherstatistik.
LG ZaunköniG
RE: Spider- und Bot-Liste - Michael Malin - 08.04.2010
"Baiduspider" ist der Useragent.
IP-Adressen:
61.135.168.18
61.135.168.39
RE: Spider- und Bot-Liste - StefanT - 08.04.2010
Du kannst Baidu einfach dort eintragen: Benutzeragent=baiduspider
RE: Spider- und Bot-Liste - ZaunköniG - 08.04.2010
Danke für die schnelle Antwort.
Ich habe es sofort ausprobiert - und es klappt!
Etwas verwirrt bin ich angesichts der abweichenden IP-Adressen.
Heißt das, daß ich von der Ehrlichkeit der Bot-Betreiber abhängig bin?
Oder wie funktioniert die Erkennung?
RE: Spider- und Bot-Liste - StefanT - 08.04.2010
Jeder könnte sich als Bot ausgeben... Die Erkennung ist also nicht sehr sicher, aber was soll man dagegen machen?
RE: Spider- und Bot-Liste - ZaunköniG - 08.04.2010
Warum sollte das jemand tun?
Ich dachte eher an den umgekehrten Fall, daß sich ein Bot als normaler User ausgibt.
Man konnte ihn an seiner hohen Zugriffsrate erkennen und die IP-Bereiche registrieren....
Naja, die Phantasie eines Laien.
RE: Spider- und Bot-Liste - StefanT - 08.04.2010
Du kannst Bot mehr Rechte geben (was einige Foren machen). Somit siehst du mehr, wenn du dich als Bot ausgibst. Dass sich ein Bot nicht entsprechend identifiziert, ist eher unwahrscheinlich.
RE: Spider- und Bot-Liste - ZaunköniG - 08.04.2010
Na gut,
Zurück zu meiner Eingangsfrage:
Gibt es eine Liste der Benutzeragenten, oder sind die alle nach einem bestimmten Schema aufgebaut, ala "[suchmaschine]spider"?
RE: Spider- und Bot-Liste - Michael Malin - 08.04.2010
Um sich zu tarnen, wieso auch immer. Ich kenne Foren, bei denen die Google-Beschreibung z.B. sehr einladend aussieht, wenn man drauf klickt oder den Cache anschauen will, muss man sich anmelden. Um einen Useragent zu fälschen benötigt man so gut wie nichts. Ebenso fäschen die ganzen (il)legalen Bots den Useragent, die dadurch (meistens) nicht enttarnt werden. Natürlich gibt es auch andere Methoden, sowas zu enttarnen und zu prüfen, ob da wirklich ein Bot dran ist.
Nachtrag: Auf diversen amerikanischen Seiten habe ich gelesen, dass diese IP's sich u.a. als Bots ausgeben. Zu dem wird Spamming betrieben, auch E-Mail Spamming. Oft wird geraten, die IP's zu sperren.
http://wq.apnic.net/apnic-bin/whois.pl?searchtext=123.112.0.0
http://www.cs.utah.edu/~ccutler/china.html
http://www.joewein.net/blog/2010/04/03/spam-from-hacked-hotmail-accounts-sent-from-china/
http://www.wizcrafts.net/chinese-blocklist.html
http://www.yutrade.net/blacklist.php
Edit: nwlab.net/know-how/user-agent/ (Bitte kopieren und einfügen, Verlinkung geht nicht)
RE: Spider- und Bot-Liste - StefanT - 08.04.2010
Das MyBB erkennt die wichtigsten, daneben gibt es sehr viele kleine Bots für diverse Aufgaben... Die Benutzeragenten kannst du da aber nicht erraten.
Siehe: http://www.ayom.com/faq/liste-aller-bots-a-379.html