User-agent: * Disallow: #Syntax: #alle zulassen: User-agent: * # Disallow: # #Verzeichnis sperren: # Disallow: /xy/ (einfach wiederholen für mehrere) # #bestimmten Robot sperren: User-agent: Name # #Datei sperren: Disallow: /xy/index.htm # #Abschluß für einen Robot: Leerzeile #