Hallo, Gast! ( — Registrieren)

Letzte Ankündigung: MyBB 1.8.38 veröffentlicht (30.04.24)


Benutzer, die gerade dieses Thema anschauen: 1 Gast/Gäste
Baumstrukturmodus
robot.txt
susi Offline
Neuer Benutzer
**
Beiträge: 33
Themen: 8
Registriert seit: 15.02.2014
#1
Wink  19.03.2014, 19:01 (Dieser Beitrag wurde zuletzt bearbeitet: 19.03.2014, 19:01 von susi.)
Ich versuche mich gerade an der robot.txt
aber ein Problem habe ich dennoch
da das forum nicht direkt über die Hauptseite zu erreiche ist sondern in einem untergeordneten Ordner Namentlich benannt mit [ Forum )
wen ich einen bereich sperren will mus es dan heisen
User-agent: *

Disallow: /forum/admin/


oder sperre ich damit das gesamte forum oder einfach nur

User-agent: *

Disallow: /admin/


reinschreiben
Homepage Suchen
StefanT Offline
Administrator
*******
Administratoren
Beiträge: 25.766
Themen: 269
Registriert seit: 20.09.2005
#2
19.03.2014, 19:34
Bitte achte auf Rechtschreibung und Grammatik, dann könnte man deine Beiträge besser lesen. Danke!

Code:
Disallow: /forum/admin/
wäre vermutlich richtig, wenn du die robots.txt meinst.
[Bild: banner.png]

Bitte die Foren-Regeln beachten und im Profil die verwendete MyBB-Version angeben.
Homepage Suchen
susi Offline
Neuer Benutzer
**
Beiträge: 33
Themen: 8
Registriert seit: 15.02.2014
#3
19.03.2014, 19:42
ja genau die habe ich gemeint

ich habe nun dieses ellenlange Teil zusammengebaut mit Hilfe der Suchfunktion Rolleyes
ich hoffe ich habe nicht zuviel Unsinn darin nicht das ich mehr schaden mache wie Gewinn

Zitat:User-agent: *

Disallow: /forum/admin/
Disallow: /forum/archive/
Disallow: /forum/benutzercp/
Disallow: /forum/statistik/
Disallow: /forum/memberlist/
Disallow: /forum/memberlist.php
Disallow: /forum/printthread
Disallow: /forum/modcp/
Disallow: /forum/moderation.php
Disallow: /forum/ratethread.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/sendthread.php
Disallow: /forum/usercp.php
Disallow: /forum/usercp2.php
Disallow: /forum/postings.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/editpost.php
Disallow: /forum/private.php
Disallow: /forum/search.php

User-agent: grub-client
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: grub
Disallow: /

User-agent: looksmart
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: larbin
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: NetMechanic
Disallow: /

User-agent: URL_Spider_Pro
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: ExtractorPro
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: Crescent
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: ProWebWalker
Disallow: /

User-agent: CheeseBot
Disallow: /

User-agent: LNSpiderguy
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: ia_archiver/1.6
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: MIIxpc
Disallow: /

User-agent: Telesoft
Disallow: /

User-agent: Website Quester
Disallow: /

User-agent: moget/2.1
Disallow: /

User-agent: WebZip/4.0
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebSauger
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: NetAnts
Disallow: /

User-agent: Mister PiX
Disallow: /

User-agent: WebAuto
Disallow: /

User-agent: TheNomad
Disallow: /

User-agent: WWW-Collector-E
Disallow: /

User-agent: RMA
Disallow: /

User-agent: libWeb/clsHTTP
Disallow: /

User-agent: asterias
Disallow: /

User-agent: httplib
Disallow: /

User-agent: turingos
Disallow: /

User-agent: spanner
Disallow: /

User-agent: InfoNaviRobot
Disallow: /

User-agent: Harvest/1.5
Disallow: /

User-agent: Bullseye/1.0
Disallow: /

User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /

User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /

User-agent: CherryPickerSE/1.0
Disallow: /

User-agent: CherryPickerElite/1.0
Disallow: /

User-agent: WebBandit/3.50
Disallow: /

User-agent: NICErsPRO
Disallow: /

User-agent: Microsoft URL Control - 5.01.4511
Disallow: /

User-agent: DittoSpyder
Disallow: /

User-agent: Foobot
Disallow: /

User-agent: WebmasterWorldForumBot
Disallow: /

User-agent: SpankBot
Disallow: /

User-agent: BotALot
Disallow: /

User-agent: lwp-trivial/1.34
Disallow: /

User-agent: lwp-trivial
Disallow: /

User-agent: BunnySlippers
Disallow: /

User-agent: Microsoft URL Control - 6.00.8169
Disallow: /

User-agent: URLy Warning
Disallow: /

User-agent: Wget/1.6
Disallow: /

User-agent: Wget/1.5.3
Disallow: /

User-agent: Wget
Disallow: /

User-agent: LinkWalker
Disallow: /

User-agent: cosmos
Disallow: /

User-agent: moget
Disallow: /

User-agent: hloader
Disallow: /

User-agent: humanlinks
Disallow: /

User-agent: LinkextractorPro
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Mata Hari
Disallow: /

User-agent: LexiBot
Disallow: /

User-agent: Web Image Collector
Disallow: /

User-agent: The Intraformant
Disallow: /

User-agent: True_Robot/1.0
Disallow: /

User-agent: True_Robot
Disallow: /

User-agent: BlowFish/1.0
Disallow: /

User-agent: JennyBot
Disallow: /

User-agent: MIIxpc/4.2
Disallow: /

User-agent: BuiltBotTough
Disallow: /

User-agent: ProPowerBot/2.14
Disallow: /

User-agent: BackDoorBot/1.0
Disallow: /

User-agent: toCrawl/UrlDispatcher
Disallow: /

User-agent: WebEnhancer
Disallow: /

User-agent: suzuran
Disallow: /

User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /

User-agent: VCI
Disallow: /

User-agent: Szukacz/1.4
Disallow: /

User-agent: QueryN Metasearch
Disallow: /

User-agent: Openfind data gathere
Disallow: /

User-agent: Openfind
Disallow: /

User-agent: Xenu's Link Sleuth 1.1c
Disallow: /

User-agent: Xenu's
Disallow: /

User-agent: Zeus
Disallow: /

User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /

User-agent: RepoMonkey
Disallow: /

User-agent: Microsoft URL Control
Disallow: /

User-agent: Openbot
Disallow: /

User-agent: URL Control
Disallow: /

User-agent: Zeus Link Scout
Disallow: /

User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /

User-agent: Webster Pro
Disallow: /

User-agent: EroCrawler
Disallow: /

User-agent: LinkScan/8.1a Unix
Disallow: /

User-agent: Keyword Density/0.9
Disallow: /

User-agent: Kenjin Spider
Disallow: /

User-agent: Iron33/1.0.2
Disallow: /

User-agent: Bookmark search tool
Disallow: /

User-agent: GetRight/4.2
Disallow: /

User-agent: FairAd Client
Disallow: /

User-agent: Gaisbot
Disallow: /

User-agent: Aqua_Products
Disallow: /

User-agent: Radiation Retriever 1.1
Disallow: /

User-agent: Flaming AttackBot
Disallow: /

User-agent: Oracle Ultra Search
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: PerMan
Disallow: /

User-agent: searchpreview
Disallow: /

User-agent: ScoutJet
Disallow: /
Homepage Suchen
StefanT Offline
Administrator
*******
Administratoren
Beiträge: 25.766
Themen: 269
Registriert seit: 20.09.2005
#4
19.03.2014, 19:50
/forum/benutzercp/ gibt es doch z.B. gar nicht?

Und ob du die ganzen Bots (von denen ich teilweise noch nie etwas gehört habe), wirklich sperren willst?

Außerdem solltest du mit Leerzeilen aufpassen, die in der 2. Zeile sorgt dafür, dass die restlichen Regeln gar nicht beachtet werden.
[Bild: banner.png]

Bitte die Foren-Regeln beachten und im Profil die verwendete MyBB-Version angeben.
Homepage Suchen
susi Offline
Neuer Benutzer
**
Beiträge: 33
Themen: 8
Registriert seit: 15.02.2014
#5
19.03.2014, 19:58
Danke mit dem Hinweis auf das Leerfeld das hätte ich jetzt voll vermasselt ,
das mit den Boots aussperren habe ich aus dem Abakus und ich denke soooo verkehrt kann das ja auch nicht sein
und ich hoffe ja es wird keinen schaden machen
Homepage Suchen


Möglicherweise verwandte Themen…
Thema Verfasser Antworten Ansichten Letzter Beitrag
  robots.txt und google schauan 3 2.302 02.07.2014, 17:16
Letzter Beitrag: StefanT
  Muss robots.txt von Google gelesen werden können? Koelner 30 9.483 22.06.2014, 18:39
Letzter Beitrag: Koelner
  htaccess.txt in .htaccess umbenennen Jockl 9 5.678 19.02.2013, 20:07
Letzter Beitrag: Muckelchen
  Seiten mithilfe einer "robots.txt"-Datei blockieren oder entfernen Trust 2 1.624 14.12.2012, 13:08
Letzter Beitrag: frostschutz



Foren-Team | Kontakt | MyBB.de | Nach oben | Archiv-Modus | Alle Foren als gelesen markieren | RSS-Synchronisation | Zur mobilen Ansicht