# robots.txt im root- Verzeichnis des jeweiligen Serves # user-agent: * --> spricht alle Spider an # disallow: /auszuschließendes Verzeichnis, ausgehend von root/ user-agent: * disallow: /bilder/ disallow: /bupro/ disallow: /buttons/ disallow: /cgi-bin/ disallow: /fopics/ disallow: /gbpics/ disallow: /minipics/ user-agent: EmailCollector disallow: /