914 34 75 81

somos@mjcachon.es

Test para desindexar Urls

Después de darnos cuenta que existen unos cuantos métodos para desindexar urls, no tan conocidos o habituales, hemos decidido hacer un pequeño test probando todos los métodos que hemos recopilado.

Inicialmente este post cubría 6 casuísticas distintas, a través de 6 urls distintas (urls antiguas, para ser exactos).

Casuísticas para desindexar urls

Después de una interesantísima conversación con mi amigo y gran SEO David Esteve, hemos pensado en hacer este test mucho más completo, cubriendo 14 casuísticas diferentes.

Una vez tengamos los resultados de cada una, editaremos este post contando lo que hemos visto y compartiendo los hallazagos, con los logs en la mano y el seguimiento de desindexación de cada caso.

Las casuísticas analizadas son:

experimento desindexar

 

Los objetivos que perseguimos con estos test:

objetivos desindexar

Metodología del test para desindexar urls

Replanteando los pasos que estamos siguiendo para el análisis son:

  1. Hemos creado una url para cada test, sin css, enlaces entrantes, todas parten en mismas condiciones.
  2. Cada url tiene un title, una description, un h1 y 3 párrafos de texto.
  3. Añadiremos un sitemap específico de estas urls en GSC y referenciado en robots.txt
  4. Se añadirá también un link en el footer o menú, apuntando a los 2 directorios creados, "pruebas" y "test".
  5. Se solicitará la indexación de todas las urls el día 30 de agosto a través de Google Search Console.
  6. Una vez indexadas, meteremos a cada una, el método de desindexación indicado en la tabla
  7. Revisaremos los logs a diario para ver el comportamiento que ha seguido google respecto a estas urls.
  8. Revisaremos la indexación de las 15 urls con UrlProfiler, dos veces al día.
  9. Según se vayan produciendo resultados, iremos actualizando el post para compartir los resultados.

Responder 404 o 410

A pesar de que el contenido pueda seguir siendo rastreado cuando una url es eliminada, el 410 puede ser un método que se encuadra para casos de contenidos que no van a volver a estar disponibles.

Por ejemplo, en ciclos de urls con rotación o donde existan señales positivas SEO, como rankings, tráfico orgánico, backlinks.... este no debería ser el método elegido a priori, sino considerar reciclar esas urls redirigiendo, actualizando su contenido, etc.

Con el test, vamos a intentar ver las diferencias que existen entre responder 404 0 410  y cómo afecta en la desindexación de contenidos.

No obstante, la naturaleza del código de respuesta 410 le otorga el carácter de "permanente", por lo que a priori, a falta de tener los resultados del test, debería ser el que eliminase los contenidos del index más rápido.

Los test 1 y 2 nos sacarán de dudas.

Eliminar en Google Search Console

Podemos eliminar la url a través de Google Search Console, vamos a "Índice de Google" > "Eliminación de url"

Nos va a permitir elegir la opción que más se adecúe a lo que queremos hacer:

  • Ocultar temporalmente la url de los resultados y del caché

Nos especifica que tendrá efecto sobre las variaciones de la url

1 ocultar resultados y cache

  • Ocultar temporalmente la url del caché

Esta opción no la elimina de los resultados.

 

2 eliminar pagina de cache

  • Ocultar temporalmente la url

Aquí nos especifica que si queremos que sea de forma permanente usemos uno de los métodos recomendados:

- Hacerla privada con un login

- Eliminarla (404 0 410)

- Meta robots Noindex y dejarla abierta a rastreo

3 ocultar temporalmente directorio

Con esta opción vamos a lanzar el test 4, por lo que la instrucción durará 90 días y posteriormente observaremos qué ocurre: si se indexa de nuevo o no.

La variante a este va a ser el test 3, ya que una vez usemos "Eliminar URL" en Google Search Console, posteriormente vamos a bloquearla en robots.txt, para confirmar si se vuelve a indexar o no, dado que Google supuestamente no va a poder entrar a ver el contenido de la etiqueta meta robots, la teoría dice que no debería indexarla pasados 90 días, veremos qué resultados obtenemos...

La funcionalidad de Google Search Console de "Eliminar URL", es bastante efectiva y rápida, pero al igual que "Explorar como Google", la petición se hace una a una.

[En los comentarios, varias personas recomiendan esta extensión https://github.com/noitcudni/google-webmaster-tools-bulk-url-removal, en mi experiencia con este tipo de plugins, no me ha resuelto la necesidad de desindexar grandes listados de urls, por lo que para casos concretos de listados acotados, puede ser una buena solución, ¡como siempre, depende!]

Añadir Meta Robots Noindex

El método de desindexación más limpio cuando el contenido va a seguir estando activo respondiendo 200 OK es añadir la etiqueta meta robots noindex, así como no bloquear la url o directorio a través de robots.txt, así nos aseguramos que la nueva etiqueta es vista. Al menos esto es lo recomendado en la teoría por Google 🙂

Para usar este método, añadimos la etiqueta dentro del <head> de la url en cuestión:

<meta name="robots" content="noindex" />

Si nos enfrentamos a desindexar grandes volúmenes de urls con este método, la opción a utilizar puede ser buscar modos de agilizar el rastreo de esas urls, es decir, forzar a Google a que visite esas páginas, una idea puede ser:

  • Creando un sitemap específico para que las rastree y vea el "noindex"
  • Creando un mapa web con las urls implicadas.
  • Enlazando el mapa web en algún lugar muy rastreado.

Con el test 5, veremos cuánto tiempo tarda en desindexar la url, tan solo con la etiqueta.

Con el test 6, además de añadir el noindex, usaremos la opción de "Eliminar URL", para confirmar si pasados los 90 días, permanece desindexada o no.

Añadir meta robots unavailable_after

Desde 2007 lleva esta opción que Google explicaba en un post de su blog y que Lino ya había publicado sus pruebas entonces.

La forma de la etiqueta es así:

<META NAME="GOOGLEBOT" CONTENT="unavailable_after: 25-Aug-2007 15:00:00 EST">

De este modo "solicitamos" a Google que desindexe el contenido a partir de esa fecha, el propio artículo dice que puede tomar un día o más en procesar la petición.

Este método (y los meta robots del punto anterior) también se pueden usar a través de Cabeceras HTTP, podéis ver la documentación de Google al respecto: https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag?hl=es-419

Sin duda esta opción puede ser muy útil para ciclos de urls que sabemos que caducan, pero que por otro motivos, no podemos hacer que expiren con 410, como una pila de urls de productos que rompen stock.

Herramientas como Screaming Frog, siguen el contenido de este tag, pero no en el formato de ejemplo usado sino en la directiva general, por ejemplo esta sintaxis si es detectada por "la rana":

<meta name="robots" content="unavailable_after: 25 Jun 2010 15:00:00 PST" />

Esta sintaxis NO la detecta:

<meta name="googlebot" content="unavailable_after: 27-Aug-2017 23:45:00 GMT">

El test 7, pretende confirmar si esta etiqueta funciona para desindexar selectivamente a partir de una fecha concreta y pretendemos hacer seguimiento a qué ocurre después, a nivel de rastreo e indexación.

Añadir Disallow en Robots.txt

Aunque técnicamente no es un método de desindexación, sino de persuadir a los robots de rastrear determinados contenidos, en ocasiones se usa como forma de depreciar contenidos de un site y haciendo disminuir su rastreo, Google los va priorizando cada vez menos.

Como concepto de SEO básico, conviene recordar el funcionamiento y uso de este fichero:

"(...) Si necesitas asegurarte de que no se indexa una URL, utiliza la metaetiqueta robots o la cabecera HTTP "X-Robots-Tag"

Más info en: https://support.google.com/webmasters/answer/7424835?hl=es&ref_topic=6061961 y https://support.google.com/webmasters/answer/6062608?hl=es

Siguiendo con el test 8, se observará en los logs si deja de ser rastreada y con el paso del tiempo, si se desindexa o no, además, teóricamente debería aparecer en el snippet de Google el típico "La description de este sitio no se muestra....."

Añadir Noindex en Robots.txt

Ahora también se puede indicar la instrucción "noindex" dentro del fichero robots.txt, con líneas tal que:

Disallow: /example-page-1/
Disallow: /example-page-2/

Noindex: /example-page-1/
Noindex: /example-page-2/

La utilidad de este marcado, tal y como indican en este post de DeepCrawl es poder indicar directivas por patrones de urls, de forma muy limpia y rápida.

Siguiendo con el test 9, queremos comprobar si se desindexa con este método, pues parece que no es una etiqueta "oficial" para Google, pero diversos test, parece que funciona perfectamente.

Con el test 10, vamos a omitir la instrucción Disallow y solo usa Noindex, dentro del fichero robots.txt, para confirmar si es obligatorio usar ambas líneas o no. Reflexionando sobre una página que quisiéramos desindexar con el tag "noindex" en el <head> del html, el propio Google nos pide que no bloqueemos por robots.txt, sin embargo este método "diferente", parece que "exige" ambas líneas, que supuestamente bloquea rastreo e indexación.

Veremos qué sale 🙂

Gestión de Parámetros en Google Search Console

Otro tema a chequear es si podemos influir en la desindexación de contenidos, configurando los parámetros de Google Search Console, indicándole esta opción:

parametros no influye contenido

De igual modo que comentábamos sobre añadir un "disallow" y google irá dejando de rastrear y dar importancia a esos contenidos, y quizás con el tiempo, desindexar, ponemos el test 11 en marcha para confirmar qué pasa con estas urls.

Para rizar un poco más el rizo, a esta opción, le metemos una variante en el test 12, para chequear si el uso de parámetros puede ser compatible con el uso de "Disallow" dentro del fichero robots.txt, supuestamente la gestión de parámetros le dice "no rastrees esto",¿bloqueará el acceso a Google y dejará de tener efecto? ¡Todo incógnitas!

Redirección 301 a una url 404

Otro escenario curioso que queremos probar es ver qué pasa con una redirección que apunta a un 404, porque si se desindexa antes que otros  métodos que hemos comentado, puede ser una gran alternativa para desindexar contenidos.

El test 13 va a comprobar si realmente se desindexa o no y cuánto tiempo tarda en hacerlo. También chequearemos cuándo deja de rastrear el 404, ya que estamos 😀

Desindexar un directorio entero

Para terminar, hemos pensado en confirmar si desindexando un directorio entero, desindexaríamos las urls que están dentro de dicho directorio.

Para este test 14, añadiremos Disallow y Noindex en el robots.txt y si conseguimos desindexar las urls que cuelgan de ese path, habremos triunfado y nos quitaremos muchos problemas de golpe 😀

 

Pues por el momento, hasta aquí, compartiremos los resultados porque seguro que sale algo interesante que compartir 😀

 

MJ Cachón
Sobre MJ Cachón

The boss. La madre de la criatura. La Daenerys del SEO. MJ Cachón lleva más de ocho años dedicándose a esto del marketing online y el posicionamiento, (y eso que venía de la banca...)

Otros contenidos que te pueden interesar

Cosas que no sabías que puedes hacer con Sistrix

En este post vamos a contar usos de Sistrix, un poco más concretos y fuera de lo más típico 🙂 ...

#MeasureCamp London, resumen y charlas

El pasado sábado 14 de marzo tuvimos la suerte de estar presentes en uno de esos eventos cuyo ...

Comentarios

  1. Hola.
    Pues muy interesante estos texts. Precisamente he estado últimamente haciendo algunas pruebas para desindexar, ya que GSC no desindexsaba las url que le indicaba y tampoco lo conseguí con Disallow en robots. Finamente opté por un 404 y estoy observando cuanto tiempo tardará Google en desindexarlas.

    Ya estoy deseando conocer los resultados...

    Saludos

Deja tu comentario

Tu dirección de correo electrónico no será publicada. Los campos necesarios están marcados *