+- MyBB.de Forum (https://www.mybb.de/forum)
+-- Forum: Sonstiges (https://www.mybb.de/forum/forum-1.html)
+--- Forum: Programmierung (https://www.mybb.de/forum/forum-32.html)
+--- Thema: robots.txt (etwas kompliziert) (/thread-28180.html)
RE: robots.txt (etwas kompliziert) - Line.Dev - 06.07.2013
Dort steht doch: Disallow:/forum/calendar.php
Ist das etwa falsch?
Ausßerdem macht er auch andere Sachen die ihm eingentlich verboten sind, wie z.B. in das forum-21.html gehen.
RE: robots.txt (etwas kompliziert) - frostschutz - 06.07.2013
Nach Disallow: ist normalerweise ein Leerzeichen. Ich weiß nicht, ob es ohne Leerzeichen erkannt wird.
Dann hast du calendar.php verboten aber die Kalender-URLs sind ja calendar-1.html, calendar-1-year-2013-month-7-day-15.html, usw.
Wie gesagt - relevant ist das was der Webserver ausliefert. Daß die calendar-*.html auch von calendar.php kommen, das sieht man von außen nicht.
RE: robots.txt (etwas kompliziert) - Line.Dev - 06.07.2013
Das Tool zum validieren von Stefan hat mir gesagt ich solle die Leerzeichen entfernen...
Wie jetzt? Ich kann doch nicht jeden einzelne Kalender URL verbieten, das sind ja tausende :o
RE: robots.txt (etwas kompliziert) - StefanT - 06.07.2013
Ich habe den passenden Code mit Sternchen ja schon gepostet.
PS: Der Validator stört sich an Leerzeichen eigentlich nicht.
RE: robots.txt (etwas kompliziert) - Line.Dev - 06.07.2013
www.megadroid.de/robots.txt
Hoffe die letzte Zeile ist richtig, also leerzeichen wieder dazu?
RE: robots.txt (etwas kompliziert) - frostschutz - 07.07.2013
Da du scheinbar Google SEO benutzt kannst du auch noch eine Zeile für die sitemap-index.xml in forum hinzufügen.
RE: robots.txt (etwas kompliziert) - Line.Dev - 07.07.2013
Ich habe doch scon eine Sitemap für die Hauptseite...kann man denn 2 Sitemaps haben?
Sorry für die vielen Fragen bin ein SEO Anfänger
