# robots.txt # Gibt an, welche Unterverzeichnisse nicht durch Crawler durchsucht werden sollen User-agent: * Disallow: /cgi-bin/ # cgi