[Line.Dev]

So, habe mal eine bescheidene Summe gespendet.

Nochmal zurück zum Thema, meine robots.txt liegt jetzt in /megadroid und sieht so aus:

Code:

User-Agent: *

Disallow: /forum/captcha.php

Disallow: /forum/editpost.php
Disallow: /forum/misc.php

Disallow: /forum/modcp.php

Disallow: /forum/moderation.php

Disallow: /forum/newreply.php

Disallow: /forum/newthread.php

Disallow: /forum/online.php

Disallow: /forum/printthread.php

Disallow: /forum/private.php

Disallow: /forum/ratethread.php

Disallow: /forum/report.php

Disallow: /forum/reputation.php

Disallow: /forum/search.php

Disallow: /forum/sendthread.php

Disallow: /forum/task.php

Disallow: /forum/usercp.php

Disallow: /forum/usercp2.php

Disallow: /forum/calendar.php

Disallow: /forum/*action=emailuser*

Disallow: /forum/*action=nextnewest*

Disallow: /forum/*action=nextoldest*

Disallow: /forum/*year=*

Disallow: /forum/*action=weekview*
Disallow: /forum/*action=nextnewest*

Disallow: /forum/*action=nextoldest*

Disallow: /forum/*sort=*

Disallow: /forum/*order=*

Disallow: /forum/*mode=*

Disallow: /forum/*datecut=*

Disallow: /forum/tylsearch.php

Allow: /

Trotzdem ist der blöde Bot noch im Kalendar, wieso? Was habe ich falsch gemacht?

[StefanT]

1) Leerzeilen sind nur vor User-Agent-Zeilen erlaubt.
2) Mit "Allow: /" am Ende könnte wieder alles erlaubt sein.
3) Das dauert, Google ruft die Datei ja nicht ständig ab.

PS: Danke für die kleine Spende.

[Line.Dev]

Also muss es sein Disallow:/forum/captcha.php ?

Dann muss ich das Allow: / wegenhemen ?

Und dann sollte es laufen?

P.s. Immer wieder gerne, bin so erstaunt von der Hilfe hier.

[StefanT]

Ach und es muss am Anfang User-agent heißen.

Hier ein Tool zum Validieren: http://tool.motoricerca.info/robots-checker.phtml

[Line.Dev]

Super, das hat sehr geholfen, jetzt meckert er nur noch wegen den * bei z.B. Disallow:/forum/*action=nextoldest* rum, weiss aber nicht wie ich das behben soll bzw. gegen was ich das Sternchen austauschen kann.

[frostschutz]

Sternchen ist schon okay, verstehen halt nicht alle.

Wenn es dir um Google geht, verwendest du zum Testen am besten die Google Webmaster Tools. Da kann man schauen ob bestimmte URLs erlaubt sind, oder nicht.

[Line.Dev]

Das ist ja toll, wusste gernicht dass es das gbt. Die sagen dort aber meine robots.txt wurde noch nie heruntergeladen, wie bringe ich die nun dazu die mal runterzuladen?

[Line.Dev]

Muss mich nochmal melden

Bei den Google Webmaster Tools werden die Links nun als blockiert angezeigt und auch das die robots.txt heruntergeladen wurde, soweit so gut.

Trotzdem scheint mein Google Bot immer noch nicht über den Kalender hinweg gekommen zu sein. Was ist da los? :S

[Line.Dev]

Bitte nochmals um Hilfe, der Google Bot reagiert nicht und bleibt im Kalender... hier meine robots.txt www.megadroid.de/robots.txt

[StefanT]

Das liegt wohl daran, dass keine Regel es ihm verbietet. Füge doch mal "Disallow: /calendar*" ein.