¿Qué es la indexación y cómo funciona? (+ejemplos)

¿Sabes qué es la indexación? Es uno de los aspectos fundamentales y principales de cualquier esfuerzo en página web.

Todas las páginas que aparecen en los resultados de una búsqueda son páginas que han sido indexadas, por lo que, si pretendes tener visitas en tu web, debes indexarlas.

Este proceso de indexación se da a través de los robots o arañas de rastreo de los motores de búsqueda, proceso en el cual se agregan las nuevas páginas a un índice común.

Cabe destacar que todo este proceso es enteramente positivo, ya que al tener tus páginas indexadas atraes visitas, lo que al final del día significa nuevas conversiones y ventas.

¿Qué es y cómo funciona la indexación?

Partamos de la idea de la indexación como el proceso por el cual los motores de búsqueda detectan y rastrean los nuevos enlaces que existen en una página web para agregarlas a su índice.

Este índice es como un libro que se divide por categorías y temas, los cuales acceden los motores de búsqueda cuando el usuario hace una busca un resultado.

Tomemos como ejemplo una búsqueda: “como hacer pasteles”:

En la imagen vemos el resultado, el orden en el cual se muestran es tema para otro momento, lo que necesitamos ahora es entender que cuando se hace una búsqueda, Google te mostrará todas las páginas que ha rastreado relacionadas al tema referente.

Los motores de búsqueda rastrean miles de millones de páginas web a diario, por lo que, para indexar tu web, debes permitir el rastreo de ella.

De aquí deviene un nuevo concepto que debes conocer: crawling.

¿Qué es el crawling?

Para entender qué es la indexación debes saber qué es el crawling o “rastreo”. Es el proceso mediante el cual los motores de búsqueda pasean por tu página web a través de sus robots o arañas e identifican cada una de las URLs que componen la página.

Este proceso sucede en un tiempo determinado para cada una de las páginas en lo que se llama: “crawling budget”, o lo que es lo mismo, el tiempo que se ha determinado para cada sitio web.

Es decir, los robots rastreadores no van a pasar 24/7 en cada una de las páginas web existentes, por eso se les asigna un tiempo en específico para cada una de ellas.

Indexación según Google.

Desde Google tenemos un concepto más o menos similar al que hemos trabajado con anterioridad:

El index de Google es similar al index de una biblioteca, que enumera la información sobre todos los libros que la biblioteca tiene disponibles. Sin embargo, en lugar de libros, el indexing de Google enumera todas las páginas web que Google conoce. Cuando Google visita tu sitio, detecta las páginas nuevas y actualizadas y actualiza el índice de Google.

Source: Google

Exactamente lo que es la indexación es simple, pero el proceso que conlleva a que tu URL o tus esfuerzos SEO sean indexados para empezar a dar resultados, es mucho más complicado que eso.

 

Proceso de Google para indexar:

1. Discovery: 

El discovery o descubrimiento es exactamente lo que su nombre lo indica, el descubrimiento de cada una de las URL que tiene tu página web.

En este proceso de descubrimiento, Google extrae enlaces de webs recientemente descubiertas para así agregarlas a su librería.

Esto se puede hacer de distintas maneras como:

• Revisando los Sitemaps.xml para ver dónde están las URL.
• Chequeando los enlaces que referencian esta nueva URL.
• Siguiendo enlaces de otras páginas web.

Aunque el proceso pudiera ser un poco más largo, esto es generalmente el primer paso.

2. Crawling:

El crawling, concepto del cual ya hablamos, es la segunda parte del proceso de Google para indexar tu página web.

Así entonces, el algoritmo de google visita y prioritiza cada una de las URL que encuentra.

Esta prioridad es normalmente puesta automáticamente por Googlebot, el robot de rastreo de Google, aunque, si tienes tu Sitemap.xml bien configurado, puedes colocar la prioridad de index de cada url.

3. Indexing.

Por supuesto, el último paso del proceso de indexación finaliza con la propia indexación de las URL nuevas.

Si la URL no tiene problemas de bloqueo por robots.txt, contenido duplicado, enlaces, etc., entonces la URL será indexada en los resultados de búsqueda.

Aquí es donde el proceso de revisión de contenido toma importancia pues es donde se decide la posición que tendrá tu contenido dentro de los resultados.

Este último paso es importante para una buena estrategia SEO.

Aquí debes tener en cuenta que no todas las URL son indexadas, aunque la regla general siempre será la indexación y por eso, cuando hay discrepancias en una configuración de robots.txt, Google decidirá por indexar la URL.

Lo que sí debes tener siempre en cuenta es que Google siempre ha dicho que no asegura que todas tus URLs vayan a ser indexadas, lo cual veremos más adelante con un ejemplo práctico.

Sin embargo, el mismísimo John Muller lo ha mencionado:

We never index all known URLs, that’s pretty normal. I’d focus on making the site awesome and inspiring, then things usually work out better.

— 🦙 johnmu.xml (personal) 🦙 (@JohnMu) January 3, 2018

Esta postura que nos dice John Muller la ha repetido en distintas ocasiones, llegando a decir incluso que:

Cuando se trata de la indexación, no garantizamos que vayamos a indexar todas las páginas del sitio web. Y especialmente para los sitios web más grandes, es realmente normal que no indexemos todo. Puede darse el caso de que sólo indexemos 1/10 de un sitio web porque se trata de un sitio web realmente grande. No sabemos realmente si vale la pena indexar el resto.

Source: Google Search Central

Aunque sí es verdad que para páginas web grandes es un poco más complicado el tema de la indexación, esto no significa que sea la regla general pues aquí es justo donde tus esfuerzos de estrategias SEO sin errores juegan su papel.

¿Cómo configuro la indexabilidad de mi web?

Una vez has comprendido qué es la indexación y sus conceptos básicos, debes conocer cómo permitir el rastreo por parte de los motores de búsqueda.

Lo primero que debes hacer es pensar en los robots de los motores de búsqueda como un invitado de tu casa. Estos robots harán exactamente lo que tú le permitas que hagas.

Para darle las invitaciones a los robots de los motores de búsqueda nos valemos de etiquetas y directrices que indiquen el comportamiento que queremos que tengan los robots.

Estas directrices pueden darse a través de:

• Robots.txt

El Robot Exclusion Protocol o como lo conocemos comúnmente “robots.txt” es un archivo que dictamina el comportamiento de los robots y arañas de rastreo al entrar a tu página web.

Digamos que hay ciertas secciones de tu web que no quieres indexar o que sencillamente no tendría valor alguno si se encontrase en los resultados de búsqueda (como tu política de cookies, por ejemplo)

Con el comando “Disallow” puedes indicarle a los motores de búsqueda que no quieres que alguna URL sea indexada.

El Robots.txt no es un archivo absoluto y los motores de búsqueda cuando encuentran alguna discrepancia en los comandos, como que la directriz haya cambiado, suelen ignorar lo que ahí se encuentre, por lo que habrán casos en los cuales debes acudir a otra táctica.

• Metarobots

La etiqueta meta robots también son directivas que le das a los robots con respecto a una URL en particular.

En el caso de los meta robots, estos no son archivos sino más bien etiquetas de tipo HTML que indican el tipo de comportamiento que queremos que se tenga.

La etiqueta meta robots se coloca en el  de la URL y se le agrega alguna de las posibles directrices para que, a la hora de hacer crawling los motores de búsqueda las sigan.

Para el presente ejercicio, nos interesa que la URL no se le coloque la etiqueta  , queremos que la página sea indexada ¿no es así?

[hubspot type=cta portal=6673593 id=8d649d25-4d34-4eeb-9234-2c517ac672a8]

Ejemplo de indexación. Así luce una web indexada

Para saber si una web está o no indexada, con un simple comando en Google podemos averiguarlo:

Haciendo uso de un footprint de Google, podemos revisar de forma fácil (y gratuita) las URL indexadas. Con el comando “site:” seguido de tu página web, podemos ver todas las URL que tienes indexadas en Google.

Así podrás ver todas las URL que han sido indexadas para saber a futuro qué es lo que querrás hacer con cada una de ellas.

Veamos qué sucedería con un robots.txt configurado:

En el caso de Loscreativos.co, por ejemplo, no queremos que la indexación incluya los temas de WordPress ya que no posee ningún valor útil para el usuario.

Aunque el comando Site es bastante útil, este no nos da datos 100% precisos, por lo que si realmente quieres ver tus URL indexadas, excluidas y las razones por las cuales no han sido indexadas, lo mejor es que veas directamente en Google Search Console.

Ver estado de indexación en Google Search Console.

Para ver el estado de tu indexación, lo que tenemos que hacer es dirigirnos a nuestro Google Search Console para verificar que todo esté bien.

Si quieres verificar desde Google Seach Console, solo tienes que:

1. Hacer clic en “Coverage” desde el menú lateral.

2. Ya tendrás acceso a tus datos precisos.

En el caso que vemos en la imagen, tenemos una página web con 488 URLs que están exluidas del proceso de indexación que, según la estrategia, pudiera ser intencional o no. Por supuesto, esto de igual manera debe ser el primer paso de una buena auditoría SEO.

Lo que sí debes tener en cuenta es que si quieres usar subdominios, el proceso de indexación será a tiempos y formas diferentes en cada uno de los subdominios que utilices.

[sc name=”registro-seonderground-2022″ ][/sc]

¿Cómo indexar URLs en Google?.

¿Sabes cómo indexar URLs en Google? Es el punto medio entre los trabajos de una página web y la estrategia SEO.

Es decir, tomando la indexación como el agregado de las URLs que componen una página web a los directorios que los motores de búsqueda manejan, tenemos que el punto final de la indexación es aparecer como resultado de una búsqueda.

Consecuencia de lo anterior, es precisamente la necesidad de indexar URLs en Google de forma correcta lo que hace que vaya de la mano con los trabajos de SEO que al final del día llegan a los usuarios.

Para esto aquí te comentamos cómo indexar URLs en Google de una forma fácil y rápida.

¿Cómo indexar URLs en Google? El primer paso

Para facilitar y empezar la indexación de tu páginas web debes entender el proceso de rastreo para así colocarnos un paso adelante de él.

Con esos 3 checks nos aseguramos que nuestra web está correctamente indexada:

• Utilizamos el comando footprint “site” para hacer la búsqueda.
• Revisamos si existen URLs en la cantidad total de resultados.
• Cerciorarnos de que en efecto, se traten de URLs de nuestra página.

Ahora, en el caso de que nuestra página no esté indexada aparecerá de esta manera:

Como vemos en el ejemplo, en el caso de esta URL en particular (que no existe) no tenemos resultados y exactamente así se vería las SERPs o resultados en el caso de que no tengas tu página indexada.

En el caso de que tengas tu web no indexada, tienes que revisar lo siguiente:

• Revisar si existen bloqueos en los archivos robots.txt.
• Cerciorarse de que no hayan etiquetas meta robots noindex en las URL.
• Revisar que no tengas etiquetas canónicas mal implementadas.
• Arregla los enlaces nofollow que tengas refiriéndose a ti.

Con todo esto revisado y en buen estado, lo siguiente será indexar URLs en Google con pasos muy simples.

Indexar tus URLs de forma sencilla

La indexación suele ser un proceso automático que realizan los motores de búsqueda, pero existen maneras de acelerar ese proceso.

Hay varios trucos que te ayudarán a que el proceso de indexación sea mucho más rápido, y para lo cual vas a querer:

1. Utilizar Google Search Console

Google Search Console es una herramienta que nos permite controlar de distintas maneras aspectos específicos de nuestras páginas web.

Con esta herramienta tenemos la posibilidad de solicitar directamente a Google que nos indexe la URL que queramos.

Por supuesto, esto no es algo que quiera abusar y a menos que tengas toda la paciencia del mundo, hacerlos con todo un grupo de URLs sería bastante tedioso, además está la posibilidad de que Google no responda a todas las solicitudes.

¿Cómo hacerlo? Sencillo:

Desde tu Google Search Console, vas a inspeccionar la URL que quieres indexar en la barra de búsqueda en la parte superior del Search Console y, luego tendrás que hacer clic en “Request Indexing”.

Con eso solo queda espera a que Google haga la indexación de esa URL en específico.

2- Utiliza Sitemaps para indexar

Aunque no es una práctica obligatoria, sí que es muy recomendada en el mundo del SEO.

Una de las ventajas es que puedes darles el empujón a esas URLs que todavía no han sido indexadas.

3- Usar el poder de las Redes Sociales

También te pudess valer de la autoridad de otras páginas web para acelerar un poco la indexación de tus URLs.

Esto funciona de una manera bastante sencilla y es que lo único que debes hacer es conseguir enlaces que apunten a tu página web.

Por supuesto, esto también lo puedes hacer a través de las Redes Sociales para publicitar y conseguir la indexación.

Indexar URLs en Google nunca fue tan sencillo,  con Los Creativos cuentas con una ayuda extra. Anímate y comienza a darle a tu web la visibilidad que necesita.

Preguntas Frecuentes sobre indexación.

¿Cuánto tarda en indexar una URL?

Esta gran pregunta afecta la vida diaria de toda estrategia SEO. La verdad es que no hay una respuesta única.

Todo es un gran “depende”. Usualmente cuando es una página web nueva, los servicios de hosting ayudan a indicarle a Google que la página es nueva y que la debe indexar (cuando así lo decidas tú).

Sin embargo, el tiempo desde que pones a la orden tu página web a indexar hasta que es finalmente indexada en los resultados.

Lo mismo pasa cuando tienes ya una página web establecida. A pesar de que puedas tener las maneras de dar un empujón y sigas el procedimiento “común”, no hay un número exacto y regular de tiempo para hacer la indexación completa de una página web, incluso de una misma url. Hay usuarios que han reportado que tardan entre 4 días a 4 semanas inclusive. 

El tiempo depende de muchas cosas como:

• La popularidad del sitio (si tiene enlaces)
• Si el contenido es “Crawl-able” (respuestas del servidor y tipo de contenido)
• Estructura del sitio (cómo se interconectan las páginas)

¿Puedo acelerar el proceso de indexación de mi página web?

La respuesta corta es sí.

Puedes acelerar el paso de Google y su robot por tu página web y el cuánto tarda en mostrar los resultados en su página con las técnicas que te hemos mostrado aquí. También puedes, si así lo quieres, valerte de:

• Un diseño de página web “indexable”, es decir, amigable tanto al usuario como a los crawlers.
• Crear y configurar tus Webmaster tools de Google.
• Usar las Redes Sociales para promocionar tu contenido.

Hay otras acciones que puedes hacer, pero estas son las más usuales que verás en el día a día.

¿Cómo saber el porqué mis URL no se indexan?

Si ha pasado ya mucho tiempo desde que se supone Google debería haber ya indexado tus URL, debes revisar que:

• No hayas bloqueado el acceso al Googlebot desde el Robots.txt.
• No hayas agregado a las URL una metaetiqueta de “noindex”
• No tengas errores del servidor.

Aunque puedes ir revisando cada una de estas acciones, la verdad es que lo más sencillo que puedes hacer es revisar desde el Google Search Console qué es lo que estás sucediendo, en lo que podrás ver algo como esto:

Una vez tienes esta información, deberás tomar las acciones necesarias si quieres en verdad que esas URL sean indexadas, ya que, habrán casos en los que tenerlas indexadas no aporta nada positivo a la página web, tal como el caso de las páginas de políticas de cookies.

[hubspot type=cta portal=6673593 id=a3bdfa89-1f51-47d1-8e65-393304cc7401]