Robots.txt
El archivo «Robots.txt« es un archivo de texto que se utiliza en SEO para dar instrucciones a los robots de los buscadores acerca de elementos de tu sitio web (páginas y directorios) que no se desean indexar.
Es un archivo de texto que se puede crear usando un programa sencillo como el Bloc de Notas de Windows, y guardarlo con el nombre Robots.txt.
Suele ir ubicado en la carpeta raíz del sitio web, donde los robots suelen ir a buscarlo, por ejemplo en la ruta www.tudominio.com/robots.txt.