Cuando hablamos de robots.txt nos referimos a un archivo del texto en el que el propietario de un sitio web escribe una serie de instrucciones para los robots de los buscadores. De esta manera, los robots atienden a dichas instrucciones a la hora de rastrearlo.
Cada uno de los buscadores que existen en la red tiene su propio robot; por ejemplo, Googlebot es el nombre del robot de Google y Bingbot el del Bing. Además, cada buscador puede tener bots específicos como Googlebot-Image, el robot indexador de imágenes de Google.
Beneficios del fichero robots.txt
Impedir la sobrecarga del servidor
A la hora de crear el fichero con las instrucciones, puedes controlar el flujo de los robots en el sitio web. Una gran ventaja teniendo en cuenta que algunos bots son un verdadero descontrol de peticiones a la hora de rastrear un sitio, pudiendo llegar finalmente a saturar el servidor.
Impedir el acceso a determinadas páginas
Puede darse el caso de que determinadas páginas de tu sitio web no quieres que aparezcan en buscadores. Pues bien, a través del archivo robots.txt puedes indicar a los robots que no rastreen dichas páginas.
Eliminar contenido duplicado
Es uno de los beneficios más grandes del fichero robots.txt, aunque por desgracia, es uno de los más olvidados. Este archivo te permite eliminar la duplicidad del contenido en tu sitio web, mejorando así notablemente el posicionamiento SEO.
Escribir instrucciones robots.txt
User-agent
Con User-agent indicas para qué buscador estás escribiendo las instrucciones. Si van dirigidas a todos los buscadores, entonces se pone un asterisco de la siguiente manera:
User-agent: *
Disallow
Con disallow señalas qué es lo que no quieres que los robots de los buscadores rastreen en tu sitio web. Aquí van algunos ejemplos:
- URL que empiece por “X”: Disallow: /X
- URL que finalice por “X”: Disallow /* X$
- URL que contenga “X”: Disallow /*/ X
- Contenido que contenga “X”: Disallow /*X
Dónde escribir el fichero robots.txt
Para crear este archivo basta con el bloc de notas de tu ordenador. También existen algunas plataformas online en el cual puedes generarlo como por ejemplo Mc Nerin, la cual permite seleccionar una amplia variedad de opciones en función de las preferencias del propietario de la página web.
Consideraciones a tener en cuenta
Es importante tener muy claro que son instrucciones para los robots de los buscadores; por lo tanto, pueden cumplirlas, algo que sucede en la gran mayoría de los casos, o no. Generalmente, aquellos robots que no siguen las instrucciones dadas en el fichero robots.txt son aquellos cuya función es la de recolectar emails para posteriormente enviar SPAM.
Además, un error muy habitual es incluir en el fichero páginas del sitio web que sean privadas y que no se quieran mostrar al público; hay que tener muy en cuenta que el archivo robots.txt es de acceso público.
