MyBB.de Forum
robots.txt (etwas kompliziert) - Druckversion

+- MyBB.de Forum (https://www.mybb.de/forum)
+-- Forum: Sonstiges (https://www.mybb.de/forum/forum-1.html)
+--- Forum: Programmierung (https://www.mybb.de/forum/forum-32.html)
+--- Thema: robots.txt (etwas kompliziert) (/thread-28180.html)

Seiten: Seiten: 1 2 3

robots.txt (etwas kompliziert) - Line.Dev - 04.07.2013

Hallo liebe Community!

Ich weiss, es gibt schon viele Treads zum Thema robots.txt, aber keinen der meinem 'Problem' gleich kam.

Also, es gibt im Grunde genommen um meinen geliebten Google Bot. Der Gute scheint ganz verliebt in meinen Kalender zu sein, nebenbei scheint er auch auf Seiten ohne Berechtigungen zu stehen.

Nun habe ich schon viel rumprobiert mit der robots.txt. Das Problem ist aber dass das Verzeichnis meiner Seite im Webspace unter /megadroid liegt aber trotzdem unter www.megadroid.de erreichbar ist. Das Forum um das geht demnach unter /megadroid/forum. Da ich weiss das die robots.txt im ersten Verzeichnis des Webspace liegen muss habe ich also auch die Verweise zu den verbotenen Seiten unter /megadroid/forum angegeben, scheint aber nicht zu helfen. Der Google Bot fühlt sich weiter zum Kalender hingezogen und ignoriert meinen schönen inhaltsreichen Threads Toungue
Ausserdem würde ich dem Guten gerne den Zugang zur Off-Topic sperren.

Nun ist meine Frage, was mache ich falsch? Wieso reagieren die Bots nicht auf die robots.txt? Zur Hilfe poste ich die robotts.txt glleich mal mit.

Code:
User-Agent: *

Disallow: /megadroid/forum/captcha.php

Disallow: /megadroid/forum/editpost.php
Disallow: /megadroid/forum/misc.php

Disallow: /megadroid/forum/modcp.php

Disallow: /megadroid/forum/moderation.php

Disallow: /megadroid/forum/newreply.php

Disallow: /megadroid/forum/newthread.php

Disallow: /megadroid/forum/online.php

Disallow: /megadroid/forum/printthread.php

Disallow: /megadroid/forum/private.php

Disallow: /megadroid/forum/ratethread.php

Disallow: /megadroid/forum/report.php

Disallow: /megadroid/forum/reputation.php

Disallow: /megadroid/forum/search.php

Disallow: /megadroid/forum/sendthread.php

Disallow: /megadroid/forum/task.php

Disallow: /megadroid/forum/usercp.php

Disallow: /megadroid/forum/usercp2.php

Disallow: /megadroid/forum/calendar.php

Disallow: /megadroid/forum/*action=emailuser*

Disallow: /megadroid/forum/*action=nextnewest*

Disallow: /megadroid/forum/*action=nextoldest*

Disallow: /megadroid/forum/*year=*

Disallow: /megadroid/forum/*action=weekview*
Disallow: /megadroid/forum/*action=nextnewest*

Disallow: /megadroid/forum/*action=nextoldest*

Disallow: /megadroid/forum/*sort=*

Disallow: /megadroid/forum/*order=*

Disallow: /megadroid/forum/*mode=*

Disallow: /megadroid/forum/*datecut=*

Disallow: /megadroid/forum/tylsearch.php

Disallow: /megadroid/forum/forum-21.html

Allow: /

Freue mich über jede Hilfe und Unterstützung.
Beste Grüsse
Benni

RE: robots.txt (etwas kompliziert) - StefanT - 04.07.2013

Wie kommst du auf das megadroid im Pfad? Das ist doch dein Forum oder?

RE: robots.txt (etwas kompliziert) - Line.Dev - 04.07.2013

Richtig, auf meinem Webspace liegt aber noch eine andere Website, das ganze MegaDroid Projekt liegt unter /megadroid

Ich denke das damit die Probleme zusammenhängen werden...

RE: robots.txt (etwas kompliziert) - StefanT - 04.07.2013

(04.07.2013, 18:33)Line.Dev schrieb: Richtig, auf meinem Webspace liegt aber noch eine andere Website, das ganze MegaDroid Projekt liegt unter /megadroid
Aber das weiß doch außer dir niemand? Im Pfad ist es nicht enthalten.

RE: robots.txt (etwas kompliziert) - Line.Dev - 04.07.2013

Huh? Jetzt bin ich etwas verwirrt...
Die Bots realisieren doch dass das gane MegaDroid Ding unter /megadroid liegt oder?

Wenn nicht, wo muss die robots.txt dann hin? Habe es natürlich auch schon hier /megadroid probiert und hier /megadroid/forum, beides hatte keine Wirkung. Natürlich habe dich die robots.txt dem entsprechend auch angepasst. Momentan liegt sie im Hauptverzeichnis des Webspaces.

RE: robots.txt (etwas kompliziert) - frostschutz - 04.07.2013

Relevant ist das was der Webserver ausliefert.

Die robots.txt muss http://deine domain/robots.txt sein.

Wenn du nicht willst dass eine Suchmaschien auf http://deine domain/dein sonstwo/fischpastete geht dann muss in der robots.txt Disallow: /dein sonstwo/fischpastete rein.

Wo das Zeug dann in deinem Dateisystem liegt, ist nebensächlich. Kann man von außen auch gar nicht feststellen, wäre ja noch schöner.

RE: robots.txt (etwas kompliziert) - Line.Dev - 04.07.2013

Das heisst meine robots.txt kommt nach /megadroid ja? Smile

RE: robots.txt (etwas kompliziert) - StefanT - 04.07.2013

Ja. Wink

RE: robots.txt (etwas kompliziert) - Line.Dev - 04.07.2013

Super, dann müsste sich der Google Bot ja endlich mal von seinem Kalender trennen. Toungue

Sagt mal ganz nebenbei, habt ihr mal über die Möglichkeit nachgedacht evtl. einen PayPal Spendebutton einzubauen? Habe hier (auch unter einem anderen Account) schon oft Hilfe erhalten und immer hat alles geklappt. Ich würde gerne etwas spenden Smile

RE: robots.txt (etwas kompliziert) - StefanT - 04.07.2013

Haben wir: https://www.mybb.de/impressum/unterstuetzung/ Wink