[Naturstrolch]

Ich habe das Board nach diesem Thema durchsucht.
Habe einen Beitrag aus dem Jahre 2006 gelesen. In diesem hieß es, dass ein Spider nicht den Bereich erfassen kann, der nur mit Registrierung lesbar ist.
Also ein Spider "verhält" sich wie ein Gast.

Nun habe ich in der Konfiguration gesehen, dass man Spiders zum Beispiel die Gastrolle zuweisen kann (Standart)

Wie ist das in der Praxis?
Verhält sich der Spider auch zu 100% so?

Oder soll man zur Sicherheit, weil man die Inhalte nicht im Internet verbreitet wissen will, den Zugriff komplett verweigern?

Komplette Zugriffsvereigerung funktioniert dann durch löschen?

[Michael]

Naja, wenn du dein Forum in Suchmaschinen gelistet haben willst, musst du die Bots in dein Forum lassen. Diese bekommen genau das zu sehen, was auch ein Benutzer in der gleichen Benutzergruppe sehen würde.

Wenn du Bots aus dem Forum ausschließen willst, kannst du das per robots.txt tun. Siehe dazu: http://bjoernsworld.de/suchmaschinen/robots-txt.html

[Naturstrolch]

Wenn die Spider, Bots etc (ist das eigentlich alles das gleiche?) sich so verhalten wie man es angibt, und man sich darauf verlassen kann, dass das auch so in die entsprechenden Dateien geschrieben wird wie man vorgibt, dann wäre es ok.

Danke für den Seitentip, bin gerade am schmökern.

[borsti67]

Wenn die Spider, Bots etc (ist das eigentlich alles das gleiche?) sich so verhalten wie man es angib

Welches "Verhalten" willst Du den Dingern denn "unterstellen"?
Ein Spider beginnt mit einer URL und klickt sich dann durch alle Links, füllt aber keine Formulare aus etc.
Von daher KANN ein Bot sich nicht registrieren o.ä., um an Seiteninhalte zu kommen, die nicht für Gäste frei sind.
Wenn irgendwer eine Maschine entwickelt, die das unerlaubterweise doch tut, dann wird er die gewiss nicht in die Liste der bekannten (und somit ausschließbaren) Bots eintragen.

[ankaflojo]

Hallo,

ich hoffe es ist in Ordnung wenn ich mich hier mit anhänge.

Wie kann es sein, das bei mir der googleBot, obwohl er Gastrechte hat, dennoch in den Themen des Forums für registrierte Mitglieder lesen kann?


Ist das ein kurzfristiges Problem der Software gewesen oder ist das irgendwie anders erklärbar?

Ich war nämlich schon sehr erstaunt darüber das der Bot in Foren gelesen hat, die eigentlich nur von registrierten Mitgliedern einsehbar sind.

Und das hat mir ehrlich gesagt auch ein wenig Angst gemacht, da wir zeitgleich nette Fotochens im Gästeforum gepostet bekommen haben....

Einen lieben Gruß
Iris

[Mak]

Woher weißt du, was sich der Bot angeguckt hat?

[ankaflojo]

Woher weißt du, was sich der Bot angeguckt hat?

wenn ich bei mir:
Foren-Statistiken
Wer ist online? [Vollständige Liste]

Dort auf "vollständige Liste" klicke kann ich das sehen.

LG
Iris

[StefanT]

Das heißt nur, dass es er es versucht hat. Er sollte aber eine Meldung erhalten.

[ankaflojo]

Das heißt nur, dass es er es versucht hat. Er sollte aber eine Meldung erhalten.

Nein, es geht um ein Forum, welches ein Gast gar nicht sehen kann, da er dafür keine Rechte hat.

dieses Forum können nur registrierte Mitglieder sehen.

[frostschutz]

Wie kommt Google auf Links die Google eigentlich gar nicht sehen kann?

Es gibt keine geheimen Links, da jeder User die Links die er selber sehen kann, ja auch weitergeben kann. Wenn dann z.B. ein User von woanders auf den eigentlich privaten Thread verlinkt, dann ist der Link öffentlich, und wird von Google auch verfolgt. Darum ist es auch herzlich sinnlos, Links mit rel=nofollow zu versehen, bzw. das bewirkt eben nicht, dass die Seite nicht doch irgendwo in der Suchmaschine landet. Denn alles was es dazu braucht ist ein User der denselben Link irgendwo anders postet, ohne rel=nofollow.

Du musst also davon ausgehen, dass jeder Link öffentlich ist. Das einzige was du tun kannst ist beim Zugriff auf den Link, einfach keine Ausgabe zu machen und MyBB sollte das auch so handhaben bei privaten Foren etc., du kannst es ja leicht ausprobieren indem du Links aufschreibst / bookmarkest und dann nach dem Logout ansteuerst. In der Who is online-Übersicht wird halt trotzdem drinstehen daß Google gerade auf diesem und jenen Thread ist auch wenn Google nur "You have no permission to view this page" angezeigt bekommen hat.

Du kannst natürlich auch mit robots.txt verhindern, daß nette Spider nicht diese Seiten ansteuern, aber selbst robots.txt ist kein Zugriffsschutz per se, denn robots.txt wird von Google & Co nur netterweise auf freiwilliger Basis befolgt, andere Spider (Spambots, User) sind da nicht so zimperlich.