# Relatief vriendelijke crawlers die robots.txt gehoorzamen maar  die verder
# geen meerwaarde bieden tenzij het 'feeding search engines' zijn
User-agent: UbiCrawler
Disallow: /

User-agent: DOC
Disallow: /

User-agent: Zao
Disallow: /

# Lijst met bots die in het verleden problemen veroorzaakte, 
# Een aantal onder hen kopieren vaak hele websites zonder publieke meerwaarde
User-agent: sitecheck.internetseer.com
Disallow: /

User-agent: Zealbot
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: Fetch
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: WebZIP
Disallow: /

User-agent: linko
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: Xenu
Disallow: /

User-agent: larbin
Disallow: /

User-agent: libwww
Disallow: /

User-agent: ZyBORG
Disallow: /

User-agent: Download Ninja
Disallow: /

# wget zorgt voor problemen in zijn recursieve modus
User-agent: wget
Disallow: /

# client die in het verleden vrij agressief was
User-agent: grub-client
Disallow: /

# Deze spider negeert robots.txt maar toch...
User-agent: k2spider
Disallow: /

# Belastende bot, genereert meerdere hits per seconde
User-agent: NPBot
Disallow: /

# Een capture bot, downloadt miljoenen webpagina's zonder publieke meerwaarde
User-agent: WebReaper
Disallow: /

# Japanse crawler: goo.ne.jp
User-agent: ichiro/2.0
Disallow: /

# Internet archief / wayback-machine
User-agent: ia_archiver
Disallow: /

# Crawl-delay: 1


# Mediapartners van Google
# User-agent: Mediapartners-Google*
# Disallow: /

# Wikipedia work bots:
# User-agent: IsraBot
# Disallow:

# User-agent: Orthogaffe
# Disallow: