# robots.txt fuer http://www.4AP.de/ # http://www.at-web.de/grundlagen/robots-txt.htm # User-agent: * # gilt fuer alle Robots Disallow: /includes/ # directory includes sperren Disallow: /shared/ # directory pictures sperren Disallow: /log/ # directory logs sperren Disallow: /*.html$ # alle html-Dateien Disallow: /*.htm$ # alle htm-Dateien