Robots.txt | Robots Exclusion Standard

Die sog. robots.txt ist ähnlich der Sitemap eine Textdatei, die dem Eigentümer die Möglichkeit gibt Webcrawlern (wie z.B. Google) den Zugang zu bestimmten Bereichen des Webauftritts zu verweigern. Dies wird bei sensiblen Bereichen wie z.B. einem passwortgeschützten Kundenbereich genutzt. 

Beispiel Robots.txt

Beispiel Robots.txt