¿Cómo crear un archivo robots.txt para tu sitio web?

En el mundo del SEO todos han escuchado alguna vez las palabras archivo robots.txt.

Como agencia SEO en Los creativos utilizamos varias formas de crear un archivo
A simple vista, parece que es algo extremadamente difícil, pero déjame decirte de una vez: 

  • Es muy fácil de crear.
  • Te ayudará un montón en el SEO de tu sitio web.
  • Configurarlo es gratis.


En nuestra agencia de marketing digital en Bogotá utilizamos varias formas de crear un archivo y hoy te voy a mostrar dos formas de crearlo:

  1. Con un archivo creado en tu computador y subiéndolo al  CPanel de tu sitio web.
  2. A través del plugin Rank Math para WordPress. 

Primera forma de crear mi archivo robots.txt

Tranquilo, es más sencillo de lo que crees, este es el método más ortodoxo:

Creando un .txt y subiendo el archivo el Public_html

Crear un archivo robots.txt es muy fácil. Lo que necesitas a la mano es un editor de texto como el Bloc de notas, Notepad++ y luego:

1. Creamos un archivo nuevo en Bloc de notas o Notepad++.

Robots.txt en bloc de notas

2. En este caso, utilizaré Notepad++. Cuando lo creamos, veremos un texto en blanco: 

Robots.txt en wordpad

Dependiendo de la necesidad, el robots.txt puede estar organizado de diversas maneras. Pero a partir de los conceptos que evaluamos arriba podemos ver un ejemplo de robots.txt con la configuración básica y que puedes replicar para tu sitio:

  • User-agent: *
  • Disallow: /wp-admin/
  • Disallow: /cgi-bin
  • Disallow: /wp-content/plugins/ 
  • Disallow: /wp-content/themes/ 
  • Disallow: /wp-includes/ 
  • Disallow: /*/attachment/
  • Disallow: /tag/*/page/
  • Disallow: /tag/*/feed/
  • Disallow: /page/
  • Disallow: /comments/
  • Disallow: /xmlrpc.php
  • Disallow: /?attachment_id*
  • Sitemap:https://loscreativos.co/sitemap_index.xml (En este caso, debes usar la URL de tu sitemap 🙂

En este caso, podemos utilizar las almohadillas para agregar comentarios en el archivo robots.txt

como crear robots.txt

3. Al tener nuestro archivo organizado, procedemos a guardarlo con el siguiente nombre: robots.txt. Ten en cuenta que si lo utilizas con otro nombre (robot.txt, sin la “s”) o cualquier otra nomenclatura, no podrás configurarlo en esta primera forma. 

guardar robots.txt

4. Ya teniendo guardado tu archivo robots.txt, deberás ingresar al servicio de hosting que tenga tu web y a través de él ingresar al CPanel y hacemos clic en “File Manager”:

robots.txt en cpanel

5. Al hacer clic entrarás al área interna del File Manager y deberás hacer clic en la carpeta “Public_html”:

ubicacion robots.txt

6. Como ven en este caso, ya subí el archivo robots.txt haciendo clic en el botón “upload” y arrastrando el archivo desde mi computador:

subir robots.txt cpanel

7. Al subir el archivo, me dirá que fue exitosamente cargado:

robots.txt cpanel

8. Ahora veamos cómo luce nuestro  robots.txt ya en la raíz del sitio web, luego de subirlo correctamente:

ejemplo de robtos.txt

Aspectos a tener en cuenta al crear el robots.txt

Google nos deja bien claro cómo debe ser un archivo robots.txt, además de indicarnos las reglas de formato y ubicación:

1. El archivo -obligatoriamente- debe llamarse “robots.txt”. (No nos podemos poner creativos aquí). 

2. Por cada sitio puede existir un solo robots.txt. Sin embargo, si tienes varios subdominios, cada uno puede albergar su robots. Ejemplo:

  • https://www.blog.loscreativos.co/robots.txt
  • https://www.academy.loscreativos.co/robots.txt

3. El archivo, como vimos en los dos ejemplos arriba, viven en la raíz del sitio web. Mira este ejemplo: https://loscreativos.co/robots.txt

5. Si quieres utilizar comentarios, debes utilizar el # o almohadilla.

 

Segunda forma de crear el Robots.txt

Este método seguro te parecerá mucho más sencillo, solo sigue los pasos:

Instalando el plugin Rank Math en tu WordPress

Rank Math es un plugin de SEO para WordPress muy popular durante los últimos años. 

Aunque ciertamente esto también lo puedes hacer con Yoast SEO, en esta decidí utilizar este plugin que ha sido mi aliado durante muchos tiempo. 

¿Para qué sirve Rank Math? Para ayudarte a optimizar contenido de tu sitio, como por ejemplo los meta títulos o meta descripciones de tus URLs. 

En nuestro caso, nos ayudará a configurar nuestro robotst.txt de una forma mucho más fácil que la anterior y sin necesidad de accesos al CPanel. 

1. Una vez en el escritorio de tu WordPress, ve a la barra lateral y haz clic en Plugins. Luego, en “Añadir nuevo”:

buscar rankmath

2. En la barra de búsqueda ubicada a la izquierda de la pantalla vas a buscar “Rank Math” y te aparecerá el siguiente plugin:

Instalar rankmath

3. Luego de hacer clic en “Instalar” y luego en “Activar” (muchos instalan el plugin y no lo activan), el plugin te pedirá que establezcas configuraciones iniciales:

configuración de rankmath

 

4. Luego de saltar los pasos o de hacer la configuración del plugin o de saltar los pasos, Rank Math te llevará hacia su dashboard de opciones:

configuración de rankmath

5. Una vez allí, hacemos clic en ajustes generales, como veremos a continuación, y hacemos clic en editar robots.txt:

robots.txt en rankmath

6. Una vez allí, procedemos a configurar nuestro robots.txt. En este caso, como ya lo subí por la opción 1 desde el CPanel, tengo la información establecida. 

Sin embargo, puedo editarla a mi antojo como vemos a continuación:

robots.txt en rankmath

robots.txt ejemplo final

Estas son dos formas que puedes utilizar para subir o configurar tu archivo robots.txt, el cual es esencial en una estrategia de SEO para cualquier sitio web. Recuerda que, mientras mejor configurado esté, podrás tener más control de qué cosas Google puede crawlear y qué otras no son tan importantes. 

Jesús Bermúdez
Especialista SEO

Periodista y comunicador con conocimientos en marketing digital y analítica web. Redactor de contenido con experiencia
en SEO. Se encuentra en constante aprendizaje y actualización de los cambios en los motores de búsqueda.

También te puede interesar

El SEO, los sitios web y el Universo
Desde hace unos meses vengo obsesionado con la compresión de estructura de sitios web grandes,
Ver más
¿Cómo nos especializamos en hacerle SEO a las universidades?
En la imagen pueden ver una georreferenciación de aquellas universidades que han confiado en nosotros.
Ver más
Top 30: Mejores agencias de pauta digital (SEM) en Colombia
La pauta digital es una estrategia de marketing que consiste en comprar espacios publicitarios en
Ver más
Top 15: Mejores agencias de publicidad en Google Ads en Miami
¿Estás buscando la agencia indicada para ayudarte a posicionar tu empresa en Google, Facebook, Instagram
Ver más
qué es la reputación de marca
¿Cómo cuidar la reputación de tu marca te puede llevar a alcanzar éxito digital?
En la era digital actual, la reputación de una marca puede ser el factor determinante
Ver más
¿Qué son ventas B2C?
¿Qué son las ventas B2C y cómo implementar este modelo de negocio?
El mundo del comercio ha experimentado una transformación revolucionaria en los últimos años, y gran
Ver más
Ver todos

Las personas hoy en día realizan más del 70% de las compras a través de la búsqueda de información.

¡Quiero conocer más sobre los servicios!