#inizio file 
User-agent; *


#tutti gli spider sono abilitati all'indicizzazione

Disallow:/cgi-bin/

# permettere di nascondere una cartella dalla indicizzazione, magari quella dei cgi o di documenti
da non pubblicare su web

#fine file