Hallo
Ich habe seit einiger Zeit verdächtig hohe Zugriffszahlen. Und mein Verdacht, daß dort ein Bot unterwegs ist, hat sich auch bestätigt.
Wie kann ich es nun einrichten, daß mein Forum den Bot automatisch erkennt?
Unter "Konfiguration > Spider/Bots gibt es ja eine Liste, die man ggf. ergänzen kann, doch wie finde ich heraus wie der zugehörige Benutzeragent heißt?
Gibt es irgendwo eine Tabelle?
Konkret geht es um die chinesische suchmaschine Baidu mit dem IP-Bereich
123.112.0.0 - 123.127.255.255
Ich habe keine Probleme mit Spam oder so, es geht mir nur um eine saubere Besucherstatistik.
LG ZaunköniG
"Baiduspider" ist der Useragent.
IP-Adressen:
61.135.168.18
61.135.168.39
Du kannst Baidu einfach dort eintragen: Benutzeragent=baiduspider
Danke für die schnelle Antwort.
Ich habe es sofort ausprobiert - und es klappt!
Etwas verwirrt bin ich angesichts der abweichenden IP-Adressen.
Heißt das, daß ich von der Ehrlichkeit der Bot-Betreiber abhängig bin?
Oder wie funktioniert die Erkennung?
Jeder könnte sich als Bot ausgeben... Die Erkennung ist also nicht sehr sicher, aber was soll man dagegen machen?
Warum sollte das jemand tun?
Ich dachte eher an den umgekehrten Fall, daß sich ein Bot als normaler User ausgibt.
Man konnte ihn an seiner hohen Zugriffsrate erkennen und die IP-Bereiche registrieren....
Naja, die Phantasie eines Laien.
Du kannst Bot mehr Rechte geben (was einige Foren machen). Somit siehst du mehr, wenn du dich als Bot ausgibst. Dass sich ein Bot nicht entsprechend identifiziert, ist eher unwahrscheinlich.
Na gut,
Zurück zu meiner Eingangsfrage:
Gibt es eine Liste der Benutzeragenten, oder sind die alle nach einem bestimmten Schema aufgebaut, ala "[suchmaschine]spider"?
Um sich zu tarnen, wieso auch immer. Ich kenne Foren, bei denen die Google-Beschreibung z.B. sehr einladend aussieht, wenn man drauf klickt oder den Cache anschauen will, muss man sich anmelden. Um einen Useragent zu fälschen benötigt man so gut wie nichts. Ebenso fäschen die ganzen (il)legalen Bots den Useragent, die dadurch (meistens) nicht enttarnt werden. Natürlich gibt es auch andere Methoden, sowas zu enttarnen und zu prüfen, ob da wirklich ein Bot dran ist.
Nachtrag: Auf diversen amerikanischen Seiten habe ich gelesen, dass diese IP's sich u.a. als Bots ausgeben. Zu dem wird Spamming betrieben, auch E-Mail Spamming. Oft wird geraten, die IP's zu sperren.
http://wq.apnic.net/apnic-bin/whois.pl?s...23.112.0.0
http://www.cs.utah.edu/~ccutler/china.html
http://www.joewein.net/blog/2010/04/03/s...rom-china/
http://www.wizcrafts.net/chinese-blocklist.html
http://www.yutrade.net/blacklist.php
Edit: nwlab.net/know-how/user-agent/ (Bitte kopieren und einfügen, Verlinkung geht nicht)