¿Cómo crear un archivo robots.txt para tu sitio web?

archivo robots.txt

En el mundo del SEO todos han escuchado alguna vez las palabras archivo robots.txt.

Como agencia SEO en Los creativos utilizamos varias formas de crear un archivo
A simple vista, parece que es algo extremadamente difícil, pero déjame decirte de una vez: 

  • Es muy fácil de crear.
  • Te ayudará un montón en el SEO de tu sitio web.
  • Configurarlo es gratis.


En nuestra agencia de marketing digital en Bogotá utilizamos varias formas de crear un archivo y hoy te voy a mostrar dos formas de crearlo:

  1. Con un archivo creado en tu computador y subiéndolo al  CPanel de tu sitio web.
  2. A través del plugin Rank Math para WordPress. 

Primera forma de crear mi archivo robots.txt

Tranquilo, es más sencillo de lo que crees, este es el método más ortodoxo:

Creando un .txt y subiendo el archivo el Public_html

Crear un archivo robots.txt es muy fácil. Lo que necesitas a la mano es un editor de texto como el Bloc de notas, Notepad++ y luego:

1. Creamos un archivo nuevo en Bloc de notas o Notepad++.

Robots.txt en bloc de notas

2. En este caso, utilizaré Notepad++. Cuando lo creamos, veremos un texto en blanco: 

Robots.txt en wordpad

Dependiendo de la necesidad, el robots.txt puede estar organizado de diversas maneras. Pero a partir de los conceptos que evaluamos arriba podemos ver un ejemplo de robots.txt con la configuración básica y que puedes replicar para tu sitio:

  • User-agent: *
  • Disallow: /wp-admin/
  • Disallow: /cgi-bin
  • Disallow: /wp-content/plugins/ 
  • Disallow: /wp-content/themes/ 
  • Disallow: /wp-includes/ 
  • Disallow: /*/attachment/
  • Disallow: /tag/*/page/
  • Disallow: /tag/*/feed/
  • Disallow: /page/
  • Disallow: /comments/
  • Disallow: /xmlrpc.php
  • Disallow: /?attachment_id*
  • Sitemap:https://loscreativos.co/sitemap_index.xml (En este caso, debes usar la URL de tu sitemap 🙂

En este caso, podemos utilizar las almohadillas para agregar comentarios en el archivo robots.txt

como crear robots.txt

3. Al tener nuestro archivo organizado, procedemos a guardarlo con el siguiente nombre: robots.txt. Ten en cuenta que si lo utilizas con otro nombre (robot.txt, sin la “s”) o cualquier otra nomenclatura, no podrás configurarlo en esta primera forma. 

guardar robots.txt

4. Ya teniendo guardado tu archivo robots.txt, deberás ingresar al servicio de hosting que tenga tu web y a través de él ingresar al CPanel y hacemos clic en “File Manager”:

robots.txt en cpanel

5. Al hacer clic entrarás al área interna del File Manager y deberás hacer clic en la carpeta “Public_html”:

ubicacion robots.txt

6. Como ven en este caso, ya subí el archivo robots.txt haciendo clic en el botón “upload” y arrastrando el archivo desde mi computador:

subir robots.txt cpanel

7. Al subir el archivo, me dirá que fue exitosamente cargado:

robots.txt cpanel

8. Ahora veamos cómo luce nuestro  robots.txt ya en la raíz del sitio web, luego de subirlo correctamente:

ejemplo de robtos.txt

Aspectos a tener en cuenta al crear el robots.txt

Google nos deja bien claro cómo debe ser un archivo robots.txt, además de indicarnos las reglas de formato y ubicación:

1. El archivo -obligatoriamente- debe llamarse “robots.txt”. (No nos podemos poner creativos aquí). 

2. Por cada sitio puede existir un solo robots.txt. Sin embargo, si tienes varios subdominios, cada uno puede albergar su robots. Ejemplo:

  • https://www.blog.loscreativos.co/robots.txt
  • https://www.academy.loscreativos.co/robots.txt

3. El archivo, como vimos en los dos ejemplos arriba, viven en la raíz del sitio web. Mira este ejemplo: https://loscreativos.co/robots.txt

5. Si quieres utilizar comentarios, debes utilizar el # o almohadilla.

 

Segunda forma de crear el Robots.txt

Este método seguro te parecerá mucho más sencillo, solo sigue los pasos:

Instalando el plugin Rank Math en tu WordPress

Rank Math es un plugin de SEO para WordPress muy popular durante los últimos años. 

Aunque ciertamente esto también lo puedes hacer con Yoast SEO, en esta decidí utilizar este plugin que ha sido mi aliado durante muchos tiempo. 

¿Para qué sirve Rank Math? Para ayudarte a optimizar contenido de tu sitio, como por ejemplo los meta títulos o meta descripciones de tus URLs. 

En nuestro caso, nos ayudará a configurar nuestro robotst.txt de una forma mucho más fácil que la anterior y sin necesidad de accesos al CPanel. 

1. Una vez en el escritorio de tu WordPress, ve a la barra lateral y haz clic en Plugins. Luego, en “Añadir nuevo”:

buscar rankmath

2. En la barra de búsqueda ubicada a la izquierda de la pantalla vas a buscar “Rank Math” y te aparecerá el siguiente plugin:

Instalar rankmath

3. Luego de hacer clic en “Instalar” y luego en “Activar” (muchos instalan el plugin y no lo activan), el plugin te pedirá que establezcas configuraciones iniciales:

configuración de rankmath

 

4. Luego de saltar los pasos o de hacer la configuración del plugin o de saltar los pasos, Rank Math te llevará hacia su dashboard de opciones:

configuración de rankmath

5. Una vez allí, hacemos clic en ajustes generales, como veremos a continuación, y hacemos clic en editar robots.txt:

robots.txt en rankmath

6. Una vez allí, procedemos a configurar nuestro robots.txt. En este caso, como ya lo subí por la opción 1 desde el CPanel, tengo la información establecida. 

Sin embargo, puedo editarla a mi antojo como vemos a continuación:

robots.txt en rankmath

robots.txt ejemplo final

Estas son dos formas que puedes utilizar para subir o configurar tu archivo robots.txt, el cual es esencial en una estrategia de SEO para cualquier sitio web. Recuerda que, mientras mejor configurado esté, podrás tener más control de qué cosas Google puede crawlear y qué otras no son tan importantes. 

Jean Aguilar

Especialista SEO
Luego de trabajar haciendo SEO con clientes de Estados Unidos, Jean se une al equipo de posicionamiento web en Los Creativos para apoyar todos los procesos de optimización On-page, lo cual incluye desde metadatos hasta la reestructuración de diversos contenidos web.

También te puede interesar

SEO

Si dentro de tus opciones de inversión está contratar un consultor SEO, seguramente ya entendiste cuál es el potencial de...

SEO

El mundo del SEO y el Marketing Digital está en constante evolución, y los eventos son una excelente oportunidad para...

SEO

Youtube es la plataforma para compartir videos por excelencia y actualmente considerado como uno de los buscadores más grande del...

SEO

Antes de que entremos en materia con el SEO local, hagamos una reflexión. Tienes un producto o servicio, y en...

SEO

Los que conocen sobre el tema saben bien que el Linkbuilding es una de las armas secretas (o ya no...

SEO

¿Te has preguntado cómo tu negocio puede conseguir más leads? Si es así entonces debes conocer una forma de atracción...

¡Suscríbete!

Te mantendremos informado de todas las novedades.

Las personas hoy en día realizan más del 70% de las compras a través de la búsqueda de información.