Este es un fichero útil que mantiene los motores de búsqueda indexando las páginas web.

¿Por qué no le gustaría una página indexada por un buscador?

Por ejemplo, muchos SEO utilizan páginas vamos a llamarlas SPAM (sólo por llamarlas asi, ¿ok?) que pueden incluir un ejemplo de palabras repetidas, etiquetas ocultas con palabras clave, y otras cosas que podría conseguir una penalización en rankings (PR Google) o incluso que un sitio completo expulsado de un motor de búsqueda.

El archivo robots.txt es una buena manera de prevenir que esta página sea tomada como un índice. Sin embargo, no todos los sitios pueden tener robots. El archivo robots.txt sólo es leído por las arañas donde está el archivo inicial “html” del servidor. Esto significa que únicamente se puede usar si usted tiene su propio dominio. Las arañas buscarán el archivo en una ubicación similar a estos que mostramos a continuación:

http://www.paginaejemplo.com/robots.txt

http://www.ligasmotor.com/robots.txt

http://www.lamejorweb.org/robots.txt

Cualquier otra ubicación del archivo robots.txt no será leído por una araña del “Search Engine” (buscador).

Ahora, si usted tiene su propio dominio usted puede ver donde colocar el archivo. Así que echemos un vistazo a donde permitiremos ir a la araña dentro del sitio Web.

Si desea excluir a todas las arañas de los motores de búsqueda en todo su dominio, debe escribir lo siguiente en el archivo robots.txt:

User-agent: *
Disallow: /

Si desea excluir todas las arañas de un directorio determinado dentro de su sitio, debería escribir lo siguiente:

User-agent: *
Disallow: / directorio /

Si usted quiere hacer esto para varios directorios, se agregan más líneas Disallow:

User-agent: *
Disallow: / ejemplo /
Disallow: / stats /

Si desea excluir determinados archivos, a continuación, escriba en el resto de la ruta de acceso a los archivos que desea excluir:

User-agent: *
Disallow: / ejemplo / paginaweb.html
Disallow: / stats / refer.htm

Si lo que deseas es mantener una araña del motor de búsqueda específico que indexe su sitio web, haga esto:

User-agent: Robot_Name
Disallow: /

Sólo necesitas conocer el nombre del motor de búsqueda o araña robot, y colocarla donde pone Robot_Name. Usted puede encontrar estos nombres en los propios motores de búsqueda.

Como ves, comprender el funcionamiento del archivo robots.txt es sencillo, esta simple herramienta es la más efectiva reconocida por los motores de búsqueda, por lo que se utiliza para mantener las arañas donde uno quiere, aprenda a usarlas y verá como sus sitios posicionan mejor.