16.03.2016, 16:51
Ich habe bei mir ein problem(chen) mit den Suchmaschienenbots
Habe ein robots.txt file mit folgendem inhalt in den public_html ordner hochgeladen
Theoretisch müssten ja Google und co ja unverrichteter Dinge wieder verschwinden.
Folgende Bots tauchen trotzdem immer wieder auf:
Google
Yandex
Facebook
Internet Archive
Baidu
Die folgenden scheinen sich aber daran zu halten:
Alexa Internet
Altavista
Twitter
Blekko
Ask.com
Bing
MSN
Hat irgend Jemand eine Idee woran das liegen bzw. wie man das lösen könnte?!
Habe ein robots.txt file mit folgendem inhalt in den public_html ordner hochgeladen
Code:
User-Agent: *
Disallow: /
Theoretisch müssten ja Google und co ja unverrichteter Dinge wieder verschwinden.
Folgende Bots tauchen trotzdem immer wieder auf:
Yandex
Internet Archive
Baidu
Die folgenden scheinen sich aber daran zu halten:
Alexa Internet
Altavista
Blekko
Ask.com
Bing
MSN
Hat irgend Jemand eine Idee woran das liegen bzw. wie man das lösen könnte?!
"Gib jedem Tag die Chance, der schönste deines Lebens zu werden." - Mark Twain