##Robots / Crawler (* = alle) #User-agent: * ## Anweisungen ## Untersagt die Indexierung des Ordners "Adminbereich" und allen darin befindlichen Dateien - Dateipfad wä z.B. http://www.ihre-domain.de/Adminbereich/ #Disallow: /Adminbereich/ ## Untersagt die Indexierung des Ordners "Adminbereich" und allen darin befindlichen Dateien - Dateipfad wä z.B. http://www.ihre-domain.de/bilder/ #Disallow: /bilder/ ## Untersagt die Indexierung des Ordners "Adminbereich" und allen darin befindlichen Dateien - Dateipfad wä z.B. http://www.ihre-domain.de/images/bilder/ #Disallow: /images/bilder/ ## Untersagt die Indexierung einer Datei / Ordners welche mit seo beginnt - Dateipfad wä z.B. http://www.ihre-domain.de/seo.html ## oder aber auch http://www.ihre-domain.de/seotools.html oder aber auch http://www.ihre-domain.de/seo/tools.html u.s.w #Disallow: /seo ## Untersagt die Indexierung einer bestimmten Datei / Seite - Dateipfad wä z.B. http://www.ihre-domain.de/kontakt.html #Disallow: /kontakt.html ## Untersagt die Indexierung einer bestimmten Datei / Seite - Dateipfad wä z.B. http://www.ihre-domain.de/impressum/kontakt.html #Disallow: /impressum/kontakt.html ## Untersagt die Indexierung einer dynamischen Seite - Dateipfad wä z.B. http://www.domain.de/redirect.php?seite=main oder http://www.domain.de/redirect.php?seite=impressum #Disallow: /redirect.php?*$ ## robots.txt füne Webseite www.domain.de User-agent: * Disallow: /download/ Disallow: /uploads/