04.07.2013, 18:30
Hallo liebe Community!
Ich weiss, es gibt schon viele Treads zum Thema robots.txt, aber keinen der meinem 'Problem' gleich kam.
Also, es gibt im Grunde genommen um meinen geliebten Google Bot. Der Gute scheint ganz verliebt in meinen Kalender zu sein, nebenbei scheint er auch auf Seiten ohne Berechtigungen zu stehen.
Nun habe ich schon viel rumprobiert mit der robots.txt. Das Problem ist aber dass das Verzeichnis meiner Seite im Webspace unter /megadroid liegt aber trotzdem unter www.megadroid.de erreichbar ist. Das Forum um das geht demnach unter /megadroid/forum. Da ich weiss das die robots.txt im ersten Verzeichnis des Webspace liegen muss habe ich also auch die Verweise zu den verbotenen Seiten unter /megadroid/forum angegeben, scheint aber nicht zu helfen. Der Google Bot fühlt sich weiter zum Kalender hingezogen und ignoriert meinen schönen inhaltsreichen Threads
Ausserdem würde ich dem Guten gerne den Zugang zur Off-Topic sperren.
Nun ist meine Frage, was mache ich falsch? Wieso reagieren die Bots nicht auf die robots.txt? Zur Hilfe poste ich die robotts.txt glleich mal mit.
Freue mich über jede Hilfe und Unterstützung.
Beste Grüsse
Benni
Ich weiss, es gibt schon viele Treads zum Thema robots.txt, aber keinen der meinem 'Problem' gleich kam.
Also, es gibt im Grunde genommen um meinen geliebten Google Bot. Der Gute scheint ganz verliebt in meinen Kalender zu sein, nebenbei scheint er auch auf Seiten ohne Berechtigungen zu stehen.
Nun habe ich schon viel rumprobiert mit der robots.txt. Das Problem ist aber dass das Verzeichnis meiner Seite im Webspace unter /megadroid liegt aber trotzdem unter www.megadroid.de erreichbar ist. Das Forum um das geht demnach unter /megadroid/forum. Da ich weiss das die robots.txt im ersten Verzeichnis des Webspace liegen muss habe ich also auch die Verweise zu den verbotenen Seiten unter /megadroid/forum angegeben, scheint aber nicht zu helfen. Der Google Bot fühlt sich weiter zum Kalender hingezogen und ignoriert meinen schönen inhaltsreichen Threads
Ausserdem würde ich dem Guten gerne den Zugang zur Off-Topic sperren.
Nun ist meine Frage, was mache ich falsch? Wieso reagieren die Bots nicht auf die robots.txt? Zur Hilfe poste ich die robotts.txt glleich mal mit.
Code:
User-Agent: *
Disallow: /megadroid/forum/captcha.php
Disallow: /megadroid/forum/editpost.php
Disallow: /megadroid/forum/misc.php
Disallow: /megadroid/forum/modcp.php
Disallow: /megadroid/forum/moderation.php
Disallow: /megadroid/forum/newreply.php
Disallow: /megadroid/forum/newthread.php
Disallow: /megadroid/forum/online.php
Disallow: /megadroid/forum/printthread.php
Disallow: /megadroid/forum/private.php
Disallow: /megadroid/forum/ratethread.php
Disallow: /megadroid/forum/report.php
Disallow: /megadroid/forum/reputation.php
Disallow: /megadroid/forum/search.php
Disallow: /megadroid/forum/sendthread.php
Disallow: /megadroid/forum/task.php
Disallow: /megadroid/forum/usercp.php
Disallow: /megadroid/forum/usercp2.php
Disallow: /megadroid/forum/calendar.php
Disallow: /megadroid/forum/*action=emailuser*
Disallow: /megadroid/forum/*action=nextnewest*
Disallow: /megadroid/forum/*action=nextoldest*
Disallow: /megadroid/forum/*year=*
Disallow: /megadroid/forum/*action=weekview*
Disallow: /megadroid/forum/*action=nextnewest*
Disallow: /megadroid/forum/*action=nextoldest*
Disallow: /megadroid/forum/*sort=*
Disallow: /megadroid/forum/*order=*
Disallow: /megadroid/forum/*mode=*
Disallow: /megadroid/forum/*datecut=*
Disallow: /megadroid/forum/tylsearch.php
Disallow: /megadroid/forum/forum-21.html
Allow: /Freue mich über jede Hilfe und Unterstützung.
Beste Grüsse
Benni
