Hallo, Gast! ( — Registrieren)

Letzte Ankündigung: MyBB 1.8.38 veröffentlicht (30.04.24)


Benutzer, die gerade dieses Thema anschauen: 1 Gast/Gäste
Baumstrukturmodus
robots.txt
kai1083 Offline
Benutzer
***
Beiträge: 51
Themen: 16
Registriert seit: 06.03.2006
#1
26.03.2006, 02:00
hi,

hat evtl. schon jemand von euch eine robots.txt geschrieben für das forum?
ich hab gerade gesehen das doch einige dinge gespidert werden die unnütz sind.

wenn es noch keine gibt können wir ja eine zusammen basteln ;-)

ich fange mal an :-)


User-agent: *
Disallow: /search.php
Disallow: /misc.php?action=syndication
Disallow: /printthread.php *
Disallow: /sendthread.php *
Disallow: /stats.php
Disallow: /misc.php?action=help
Disallow: /member.php?action=profile&uid=1 *
Disallow: /member.php?action=emailuser&uid=1 *
Disallow: /showteam.php
Disallow: /newthread.php
Disallow: /newreply.php?tid=3&pid=3 * (zitieren, wie auch antworten)
Disallow: /member.php?action=register
Disallow: /member.php?action=login

bei denen mit * hinter eiß ich leider nicht wie man die für alle variablen sperrt.
wäre supi wenn jemand die liste vervollständigen kann und bei den variablen helfen könnte.
könnte man member.php auch komplett sperren? oder gibts da eine funktion die für google und co intressant sein könnte?

gruß kai
Homepage Suchen
Zitieren
Michael Offline
Administrator
*******
Administratoren
Beiträge: 18.383
Themen: 257
Registriert seit: 09.02.2005
#2
26.03.2006, 18:33
Die member.php sollte für Google uninteressant sein. Über die Datei werden Registrierung, Login usw. bearbeitet.

Gruß,
Michael
[Bild: banner.png]
Support erfolgt NUR im Forum!
Bitte gelöste Themen als "erledigt" markieren.
Beiträge mit mangelhafter Rechtschreibung/Grammatik werden kommentarlos gelöscht.
Homepage Suchen
Zitieren
StefanT Offline
Administrator
*******
Administratoren
Beiträge: 25.762
Themen: 269
Registriert seit: 20.09.2005
#3
26.03.2006, 18:37 (Dieser Beitrag wurde zuletzt bearbeitet: 26.03.2006, 18:37 von StefanT.)
Michael schrieb:Die member.php sollte für Google uninteressant sein. Über die Datei werden Registrierung, Login usw. bearbeitet.
und die Profile angezeigt! (wie im Beispiel oben)
[Bild: banner.png]

Bitte die Foren-Regeln beachten und im Profil die verwendete MyBB-Version angeben.
Homepage Suchen
Zitieren
kai1083 Offline
Benutzer
***
Beiträge: 51
Themen: 16
Registriert seit: 06.03.2006
#4
26.03.2006, 21:59 (Dieser Beitrag wurde zuletzt bearbeitet: 30.03.2006, 11:39 von kai1083.)
so ich hab nun folgende robots.txt, wenn jemand was auffällt das was fehlt bitte bescheid sagen.

Code:
User-agent: *
Disallow: /admin/
Disallow: /search.php
Disallow: /misc.php?action=syndication
Disallow: /printthread.php
Disallow: /sendthread.php
Disallow: /stats.php
Disallow: /misc.php?action=help
Disallow: /showteam.php
Disallow: /newthread.php
Disallow: /member.php
Disallow: /newreply.php
Disallow: /impressum.php
Disallow: /rules.php
Disallow: /usercp2.php

#Ihr müsst leider draussen bleiben

User-agent: grub-client
Disallow: /

User-agent: grub
Disallow: /

User-agent: looksmart
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: larbin
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: NetMechanic
Disallow: /

User-agent: URL_Spider_Pro
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: ExtractorPro
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: Crescent
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: ProWebWalker
Disallow: /

User-agent: CheeseBot
Disallow: /

User-agent: LNSpiderguy
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: ia_archiver/1.6
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: MIIxpc
Disallow: /

User-agent: Telesoft
Disallow: /

User-agent: Website Quester
Disallow: /

User-agent: moget/2.1
Disallow: /

User-agent: WebZip/4.0
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebSauger
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: NetAnts
Disallow: /

User-agent: Mister PiX
Disallow: /

User-agent: WebAuto
Disallow: /

User-agent: TheNomad
Disallow: /

User-agent: WWW-Collector-E
Disallow: /

User-agent: RMA
Disallow: /

User-agent: libWeb/clsHTTP
Disallow: /

User-agent: asterias
Disallow: /

User-agent: httplib
Disallow: /

User-agent: turingos
Disallow: /

User-agent: spanner
Disallow: /

User-agent: InfoNaviRobot
Disallow: /

User-agent: Harvest/1.5
Disallow: /

User-agent: Bullseye/1.0
Disallow: /

User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /

User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /

User-agent: CherryPickerSE/1.0
Disallow: /

User-agent: CherryPickerElite/1.0
Disallow: /

User-agent: WebBandit/3.50
Disallow: /

User-agent: NICErsPRO
Disallow: /

User-agent: Microsoft URL Control - 5.01.4511
Disallow: /

User-agent: DittoSpyder
Disallow: /

User-agent: Foobot
Disallow: /

User-agent: WebmasterWorldForumBot
Disallow: /

User-agent: SpankBot
Disallow: /

User-agent: BotALot
Disallow: /

User-agent: lwp-trivial/1.34
Disallow: /

User-agent: lwp-trivial
Disallow: /

User-agent: BunnySlippers
Disallow: /

User-agent: Microsoft URL Control - 6.00.8169
Disallow: /

User-agent: URLy Warning
Disallow: /

User-agent: Wget/1.6
Disallow: /

User-agent: Wget/1.5.3
Disallow: /

User-agent: Wget
Disallow: /

User-agent: LinkWalker
Disallow: /

User-agent: cosmos
Disallow: /

User-agent: moget
Disallow: /

User-agent: hloader
Disallow: /

User-agent: humanlinks
Disallow: /

User-agent: LinkextractorPro
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Mata Hari
Disallow: /

User-agent: LexiBot
Disallow: /

User-agent: Web Image Collector
Disallow: /

User-agent: The Intraformant
Disallow: /

User-agent: True_Robot/1.0
Disallow: /

User-agent: True_Robot
Disallow: /

User-agent: BlowFish/1.0
Disallow: /

User-agent: JennyBot
Disallow: /

User-agent: MIIxpc/4.2
Disallow: /

User-agent: BuiltBotTough
Disallow: /

User-agent: ProPowerBot/2.14
Disallow: /

User-agent: BackDoorBot/1.0
Disallow: /

User-agent: toCrawl/UrlDispatcher
Disallow: /

User-agent: WebEnhancer
Disallow: /

User-agent: suzuran
Disallow: /

User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /

User-agent: VCI
Disallow: /

User-agent: Szukacz/1.4
Disallow: /

User-agent: QueryN Metasearch
Disallow: /

User-agent: Openfind data gathere
Disallow: /

User-agent: Openfind
Disallow: /

User-agent: Xenu's Link Sleuth 1.1c
Disallow: /

User-agent: Xenu's
Disallow: /

User-agent: Zeus
Disallow: /

User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /

User-agent: RepoMonkey
Disallow: /

User-agent: Microsoft URL Control
Disallow: /

User-agent: Openbot
Disallow: /

User-agent: URL Control
Disallow: /

User-agent: Zeus Link Scout
Disallow: /

User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /

User-agent: Webster Pro
Disallow: /

User-agent: EroCrawler
Disallow: /

User-agent: LinkScan/8.1a Unix
Disallow: /

User-agent: Keyword Density/0.9
Disallow: /

User-agent: Kenjin Spider
Disallow: /

User-agent: Iron33/1.0.2
Disallow: /

User-agent: Bookmark search tool
Disallow: /

User-agent: GetRight/4.2
Disallow: /

User-agent: FairAd Client
Disallow: /

User-agent: Gaisbot
Disallow: /

User-agent: Aqua_Products
Disallow: /

User-agent: Radiation Retriever 1.1
Disallow: /

User-agent: Flaming AttackBot
Disallow: /

User-agent: Oracle Ultra Search
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: PerMan
Disallow: /

User-agent: searchpreview
Disallow: /

User-agent: HTTrack
Disallow: /
Homepage Suchen
Zitieren
kai1083 Offline
Benutzer
***
Beiträge: 51
Themen: 16
Registriert seit: 06.03.2006
#5
30.03.2006, 11:40
um Disallow: /usercp2.php erweitert, gibts denn auch nen usercp.php die irgendwo verlinkt wird? oder sieht das kein gast?

gruß kai
Homepage Suchen
Zitieren
Michael Offline
Administrator
*******
Administratoren
Beiträge: 18.383
Themen: 257
Registriert seit: 09.02.2005
#6
26.04.2006, 20:49
Ergänzung: Eine einfache robots.txt von Chris Boulton:
Code:
User-Agent: *
Disallow: /moderation.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /sendthread.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /postings.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /editpost.php
Disallow: /private.php
Disallow: /search.php

Gruß,
Michael
[Bild: banner.png]
Support erfolgt NUR im Forum!
Bitte gelöste Themen als "erledigt" markieren.
Beiträge mit mangelhafter Rechtschreibung/Grammatik werden kommentarlos gelöscht.
Homepage Suchen
Zitieren
Torie Offline
|-D
****
Beiträge: 265
Themen: 17
Registriert seit: 01.09.2012
MyBB-Version: 1.6.9
#7
01.09.2012, 20:23
Hallo,

wo muss man diese Datei denn dann hochladen, dort wo das Forum liegt?

LG Torie
Suchen
Zitieren
King Louis
Gast
 
#8
01.09.2012, 20:27
In deinem root Verzeichnis (siehe: http://de.wikipedia.org/wiki/Robots.txt)
Zitieren
Torie Offline
|-D
****
Beiträge: 265
Themen: 17
Registriert seit: 01.09.2012
MyBB-Version: 1.6.9
#9
01.09.2012, 20:51
Hab vielen Dank, werde mir das mal durchlesen und die Robots weiter ergänzen.

LG Torie
Suchen
Zitieren


Möglicherweise verwandte Themen…
Thema Verfasser Antworten Ansichten Letzter Beitrag
  mybb txt auslesen FearEx 11 3.501 04.08.2012, 17:15
Letzter Beitrag: FearEx



Foren-Team | Kontakt | MyBB.de | Nach oben | Archiv-Modus | Alle Foren als gelesen markieren | RSS-Synchronisation | Zur mobilen Ansicht