Posicionamiento y Optimización del WEB – SEO/ProfesionalNet

Un Blog gratuito sobre artículos, recortes de prensa, blogs, teoría y herramientas del posicionamiento web

La importancia del archivo robots.txt para la indexación en buscadores.

Posted by diseño web madrid en enero 2, 2007

La importancia del archivo robots.txt para la indexación en buscadores. 

Los buscadores tipo “araña”, como Google o Altavista, siempre buscan en el directorio raíz de un sitio web el fichero “robots.txt”. Este fichero les indica qué archivos deben incluir en su base de datos.

 advanced_robots_txt_generator.jpg

En la mayoría de los casos no lo utilizaremos, pero si deseamos excluir parte de nuestro web de la mirada inquisitiva de estas arañas, deberemos crear un fichero con este nombre. Estará formado por uno o varios registros, cada uno de los cuales está formado por dos campos: una línea User-Agent y una o más líneas Disallow. El formato de cada línea es como sigue:

Campo : ValorPodemos incluir comentarios empleando la almohadilla. Todo lo que haya desde que pongamos el carácter # hasta el final de la línea será ignorado.

User-Agent
Esta línea indica la araña a la que queremos impedir el acceso a ciertas zonas de nuestra web. La mayoría de los buscadores tienen nombres cortos para sus arañas. Google utiliza el googlebot y Altavista el scooter, por ejemplo. No obstante, aqui tenéis una lista completa de arañas.

Un ejemplo:

User-agent: googlebot

También se puede utilizar el asterisco como caracter comodín para indicar que lo siguiente será aplicable a todas las arañas:

User-agent: *

Si tienes acceso a los ficheros log de tu web, puedes buscar en ellos posibles arañas observando las peticiones que se realicen al fichero robots.txt.

Disallow

Después de User-agent se deben especificar una o más líneas Disallow. Como valor de este campos se pueden especificar nombres de directorios:

Disallow: /imagenes/

O de ficheros:

Disallow: index.htmI

ncluso podemos especificarlos a la vez. Si ponemos:

Disallow: /roma

Impediremos el acceso tanto a los ficheros que empiecen por roma como al directorio del mismo nombre. También podemos usar asteriscos

Ejemplos
El primer ejemplo impide a cualquier araña acceder a los directorios de los CGI y las imágenes:

User-agent: *
Disallow: /cgi-bin/
Disallow: /imagenes/

El siguiente ejemplo permitiría la entrada al robot de Google pero no al de Altavista:

User-agent: googlebot
Disallow:
User-agent: scooter
Disallow: /
De este modo podremos impedir que los buscadores metan la nariz más de lo deseable. Si deseas comprobar si tu fichero cumple las especificaciones puedes emplear un validador.

Existen diversas soluciones automáticas de generar estos archivos por ejemplo: http://www.basisoft.com/, esta nos ha gustado entre miles, además de poder generarlo tu mismo, claro!.

Un saludo.

Fuente: http://www.flashtips.es

Anuncios

Responder

Por favor, inicia sesión con uno de estos métodos para publicar tu comentario:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

 
A %d blogueros les gusta esto: