+- MyBB.de Forum (https://www.mybb.de/forum)
+-- Forum: Sonstiges (https://www.mybb.de/forum/forum-1.html)
+--- Forum: Programmierung (https://www.mybb.de/forum/forum-32.html)
+--- Thema: robots.txt (etwas kompliziert) (/thread-28180.html)
RE: robots.txt (etwas kompliziert) - Line.Dev - 04.07.2013
So, habe mal eine bescheidene Summe gespendet.
Nochmal zurück zum Thema, meine robots.txt liegt jetzt in /megadroid und sieht so aus:
Code:
User-Agent: *
Disallow: /forum/captcha.php
Disallow: /forum/editpost.php
Disallow: /forum/misc.php
Disallow: /forum/modcp.php
Disallow: /forum/moderation.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/ratethread.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendthread.php
Disallow: /forum/task.php
Disallow: /forum/usercp.php
Disallow: /forum/usercp2.php
Disallow: /forum/calendar.php
Disallow: /forum/*action=emailuser*
Disallow: /forum/*action=nextnewest*
Disallow: /forum/*action=nextoldest*
Disallow: /forum/*year=*
Disallow: /forum/*action=weekview*
Disallow: /forum/*action=nextnewest*
Disallow: /forum/*action=nextoldest*
Disallow: /forum/*sort=*
Disallow: /forum/*order=*
Disallow: /forum/*mode=*
Disallow: /forum/*datecut=*
Disallow: /forum/tylsearch.php
Allow: /Trotzdem ist der blöde Bot noch im Kalendar, wieso? Was habe ich falsch gemacht?
RE: robots.txt (etwas kompliziert) - StefanT - 04.07.2013
1) Leerzeilen sind nur vor User-Agent-Zeilen erlaubt.
2) Mit "Allow: /" am Ende könnte wieder alles erlaubt sein.
3) Das dauert, Google ruft die Datei ja nicht ständig ab.
PS: Danke für die kleine Spende.
RE: robots.txt (etwas kompliziert) - Line.Dev - 04.07.2013
Also muss es sein Disallow:/forum/captcha.php ?
Dann muss ich das Allow: / wegenhemen ?
Und dann sollte es laufen?
P.s. Immer wieder gerne, bin so erstaunt von der Hilfe hier.
RE: robots.txt (etwas kompliziert) - StefanT - 04.07.2013
Ach und es muss am Anfang User-agent heißen.
Hier ein Tool zum Validieren: http://tool.motoricerca.info/robots-checker.phtml
RE: robots.txt (etwas kompliziert) - Line.Dev - 04.07.2013
Super, das hat sehr geholfen, jetzt meckert er nur noch wegen den * bei z.B. Disallow:/forum/*action=nextoldest* rum, weiss aber nicht wie ich das behben soll bzw. gegen was ich das Sternchen austauschen kann.
RE: robots.txt (etwas kompliziert) - frostschutz - 04.07.2013
Sternchen ist schon okay, verstehen halt nicht alle.
Wenn es dir um Google geht, verwendest du zum Testen am besten die Google Webmaster Tools. Da kann man schauen ob bestimmte URLs erlaubt sind, oder nicht.
RE: robots.txt (etwas kompliziert) - Line.Dev - 04.07.2013
Das ist ja toll, wusste gernicht dass es das gbt. Die sagen dort aber meine robots.txt wurde noch nie heruntergeladen, wie bringe ich die nun dazu die mal runterzuladen?
RE: robots.txt (etwas kompliziert) - Line.Dev - 05.07.2013
Muss mich nochmal melden
Bei den Google Webmaster Tools werden die Links nun als blockiert angezeigt und auch das die robots.txt heruntergeladen wurde, soweit so gut.
Trotzdem scheint mein Google Bot immer noch nicht über den Kalender hinweg gekommen zu sein. Was ist da los? :S
RE: robots.txt (etwas kompliziert) - Line.Dev - 06.07.2013
Bitte nochmals um Hilfe, der Google Bot reagiert nicht und bleibt im Kalender... hier meine robots.txt www.megadroid.de/robots.txt
RE: robots.txt (etwas kompliziert) - StefanT - 06.07.2013
Das liegt wohl daran, dass keine Regel es ihm verbietet. Füge doch mal "Disallow: /calendar*" ein.