Los meta robots son una metaetiqueta HTML utilizada para dar directrices a los robots y arañas en los motores de búsqueda cuando estos estén en proceso de crawling por una web.
Con el uso de los meta robots tenemos a la mano la posibilidad de escoger cuáles son las acciones que queremos que los robots realicen cuando detecten cada una de las URLs que componen la página web.
Su existencia por defecto es permisivo en todo sentido, pero su valor útil viene cuando configuramos las directivas negativas según tu estrategia SEO.
Meta robots vs. Robots.txt ¿Cuál usar?
La respuesta a esta pregunta es un rotundo: depende.
Ambas opciones nos dan control sobre el comportamiento de las arañas a la hora de hacer el rastreo dentro del sitio web.
El detalle radica en las ventajas que te ofrece cada una de estas herramientas a la hora de rastrear o indexar.
Con ello, debes estar atento a que:
| Meta robots | Robots.txt |
| La etiqueta metarobots permite el crawling de la URL. | EL Robots.txt bloquea el paso de los motores de búsquedas. |
| Controla la indexación. | En muchos casos es ignorada la directiva “disallow” |
| No ayuda a optimizar el crawl budget. | No permite la entrada de crawlers. |
| Tiene a su disposición varias directivas | Es un poco limitado en cuanto a sus opciones. |
En resumidas cuentas, el uso de uno u otro dependerá de lo que quieras lograr y la estrategia que tengas en cuanto a tus URLs.
Si quisieras por ejemplo, optimizar tu crawl budget, el Robots.txt es entonces tu mejor opción, pero si en vez de ello quisieras desindexar una URL el robots.txt no servirá de nada.
Estructura y principales características de los meta robots
Lo primero a tomar en cuenta es que la etiqueta meta robots va incluida dentro de los metadatos, es decir, en el <head> de tu URL.
Lo segundo es que los meta robots constan de dos atributos: name y content. El atributo “name” es invariable, mientras que el “content” será siempre la directiva que queramos brindar.
En general, un meta robots debería lucir así:
<!DOCTYPE html>
<html>
<head>
<title>Los meta robots con Los Creativos</title>
<meta name=”robots” “content”=”aquí colocas tu directiva” />
</head>
<body>
…..
…..
</body>
<html>
Principales directivas del atributo “content”
Al momento de planificar las directivas, puedes incluir cuantas quieras en tu etiqueta meta robots, solo ten presente que si la misma no tiene sentido los motores de búsqueda ignorarán tu directiva.
Dicho esto, las directivas principales que puedes agregar a tus meta robots son:
- Index / noindex: Aquí indicamos a los motores de búsqueda si queremos o no que nuestra URL sea indexada a los índices de búsqueda. El valor de esta etiqueta por defecto es content=”index”.
- Follow / nofollow: Con esta directiva indicamos a las arañas de los motores de búsqueda que queremos o no queremos que rastree y siga los enlaces
- Archive / noarchive: En este caso vemos si queremos o no que los motores de búsqueda archiven el contenido de es URL en la caché del buscador.
- Snippet / nosnippet: Para solo mostrar el título de la URL y no su descripción.
- Translate / notranslate: Si queremos o no queremos ofrecer traducción en los resultados.
- Noimageindex: Cuando no quieras que se indexen las imágenes incluidas en esa URL.
- Unavailable_after [RFC-580 date/time]: Si no quieres que se muestre la URL en los resultados antes de la fecha que hayas definido.
Cada una de estas directivas define un comportamiento directo de los motores de búsqueda que puedes combinar de distintas maneras.
Ejemplos de combinaciones e implementación de meta robots
Cada una de las combinaciones e implementaciones dependerá de lo que quieras y así:
- Si por ejemplo, quieres que los robots y arañas de rastreo, indexen y sigan los enlaces internos, tu meta robots se verá así:
<meta name=”robots content=”index,follow”/>
- Si por el contrario, quieres que los robots y las arañas indexen nuestra web pero que no sigan ni rastreen los links internos de esa particular URL, se verá así:
<meta name=”robots content=”index,nofollow”/>
- ¿Quieres que los robots no indexen tu URL pero que sí rastreen y sigan los enlaces internos? Entonces así se verá:
<meta name=”robots content=”noindex,follow”/>
- ¿Te gustaría que no indexen y que tampoco sigan los enlaces? Pues entonces se verá así:
<meta name=”robots content=”noindex,nofollow”/>
Cada una de estas combinaciones te servirán a la hora de controlar el comportamiento de los motores de búsqueda con tus URL, solo planifica con anterioridad para que puedas aplicar de la manera correcta cada una de ellas. Además de ello, es muy importante que conozcas cómo implementar dichos meta robots en WordPress. ¿Creíste que te ibas a ir sin aprender a hacerlo? En Los Creativos te entregamos el paso a paso necesario para que tengas éxito en esta tarea.
Conoce el siguiente proceso:
[sc name=”registro-seonderground-2022″ ][/sc]
¿Cómo implementar meta robots en WordPress?
¿Sabes cómo implementar meta robots en WordPress? Si la respuesta es no, esta guía te será de mucha ayuda.
Los meta robots son una metaetiqueta HTML que te permite controlar las acciones que toman las arañas o robots de rastreo a la hora del crawling de las web.
Esto toma gran utilidad cuando queremos organizar y optimizar correctamente, entre otras cosas, la indexación de las URL y sus elementos.
Por ello, aquí te mostramos las formas más fáciles que tienes para implementar meta robots en WordPress, el CMS que está dominando el mercado.
Estructura básica de un meta robots
Recordemos que lo primordial de cualquier metaetiqueta HTML es la forma en la cual se coloca, la estructura, el código en sí.
Los meta robots son una metaetiqueta HTML que se coloca en él se organizan de la siguiente manera:
<meta name=”robots” content=“aquí se coloca la directiva”>
En un ejemplo práctico, podemos ver como:
Lo único que cambiará siempre dentro de cualquiera de nuestras metaetiquetas será el parámetro o las directivas que queramos indicarle a los motores de búsqueda.
Estas directivas permiten el crawling o rastreo de la URL, pero a diferencia de los robots.txt, estas no son ignoradas.
Dentro de las opciones que tienes para modificar esta directiva tienes:
- Etiqueta noindex: Si no quieres que los motores de búsqueda indexen esa URL en particular. El valor predeterminado de los meta robots es contraria a esta: index.
- Etiqueta nofollow: Permite el rastreo y seguimiento de los enlaces que se encuentran dentro del contenido de la URL. Similar a la anterior, esta etiqueta tiene el valor contrario como predeterminado: follow.
- Noimageindex: Cuando no quieras que se indexen las imágenes que están dentro de la URL en concreto.
- None: Equivaldría a colocar las metaetiquetas predeterminadas follow e index.
- Nocache: En el caso de que no se quiera permitir el almacenamiento de la URL en la caché.
- Nosnippet: Dejará de mostrar los snippets, como la meta descripción en los SERPs.
Hay otras directivas que quizás quieras conocer, pero, estas son las más conocidas y utilizadas.
Implementar meta robots en WordPress
El proceso de implementación de meta robots en WordPress puede ser tan sencillo o complicado como quieras que sea.
¿Por qué? Porque podemos valernos de plugins que nos ayuden a implementar la metaetiqueta de los meta robots, con la salvedad de que estos suelen ser limitados en sus opciones.
La otra opción viene siendo un poco más compleja, ya que debes implementar esta etiqueta necesitarás acceso a tu header .php, .htaccess, o similar para copiar directamente el código que vas a implementar.
Veamos cada caso en detalle:
Implementación de meta robots con Yoast SEO
En el caso de los plugins, comenzamos con uno cuya fama le precede.
Con Yoast SEO, podemos configurar de forma individual los meta robots de una manera muy sencilla, lo único que debes considerar es que las opciones son muy limitadas.
El plugin Yoast SEO se instala como cualquier otro en WordPress, pero la optimización en cuanto a los meta robots está un poco escondida si no sabes dónde encontrarla.
Digamos que lo primero que quieres hacer es aplicar una etiqueta noindex. Para ello:
- Te dirigirás a la página o entrada que quieras con esta etiqueta.
- Una vez ahí, buscarás el apartado de Yoast SEO que está luego de los metadatos.
- Verás la pestaña de “avanzado” y la opción la verás así:
Como es de notar, para agregar la etiqueta noindex, lo que debemos hacer es decirle que no queremos permitir que los motores de búsqueda muestren esa entrada en concreto.
Ahora, ¿qué pasa en el caso de otras etiquetas?
Las otras etiquetas disponibles las encuentras un poco más abajo de la anterior y se verá así:
En el caso de las directivas nofollow tienes que la opción no se encuentra bajo ese nombre.
Sencillamente Yoast SEO te pregunta si quieres que los motores de búsqueda sigan o no los enlaces de la URL.
Configuración manual de meta robots
En el caso de la forma manual, llevarás un poco más de trabajo, aunque si sabes un poco de desarrollo web, esto sería un paseo en el parque.
Para esto vas a querer:
- Preparar tu código.
- Seleccionar tu archivo a editar. Aunque es común solo editar el archivo header.php, puedes hacer lo mismo con el functions.php.
- Agrega el código.
Sea cual sea la forma que prefieras agregar tu meta robots en WordPress, siempre recuerda que las directivas deben tener sentido y no contradecirse, para así tomar el control del comportamiento de los motores de búsqueda dentro de tu web.
