En el mundo del SEO todos han escuchado alguna vez las palabras archivo robots.txt.
Como agencia SEO en Los creativos utilizamos varias formas de crear un archivo
A simple vista, parece que es algo extremadamente difícil, pero déjame decirte de una vez:
- Es muy fácil de crear.
- Te ayudará un montón en el SEO de tu sitio web.
- Configurarlo es gratis.
En nuestra agencia de marketing digital en Bogotá utilizamos varias formas de crear un archivo y hoy te voy a mostrar dos formas de crearlo:
- Con un archivo creado en tu computador y subiéndolo al CPanel de tu sitio web.
- A través del plugin Rank Math para WordPress.
Primera forma de crear mi archivo robots.txt
Tranquilo, es más sencillo de lo que crees, este es el método más ortodoxo:
Creando un .txt y subiendo el archivo el Public_html
Crear un archivo robots.txt es muy fácil. Lo que necesitas a la mano es un editor de texto como el Bloc de notas, Notepad++ y luego:
1. Creamos un archivo nuevo en Bloc de notas o Notepad++.
2. En este caso, utilizaré Notepad++. Cuando lo creamos, veremos un texto en blanco:
Dependiendo de la necesidad, el robots.txt puede estar organizado de diversas maneras. Pero a partir de los conceptos que evaluamos arriba podemos ver un ejemplo de robots.txt con la configuración básica y que puedes replicar para tu sitio:
- User-agent: *
- Disallow: /wp-admin/
- Disallow: /cgi-bin
- Disallow: /wp-content/plugins/
- Disallow: /wp-content/themes/
- Disallow: /wp-includes/
- Disallow: /*/attachment/
- Disallow: /tag/*/page/
- Disallow: /tag/*/feed/
- Disallow: /page/
- Disallow: /comments/
- Disallow: /xmlrpc.php
- Disallow: /?attachment_id*
- Sitemap:https://loscreativos.co/sitemap_index.xml (En este caso, debes usar la URL de tu sitemap 🙂
En este caso, podemos utilizar las almohadillas para agregar comentarios en el archivo robots.txt
3. Al tener nuestro archivo organizado, procedemos a guardarlo con el siguiente nombre: robots.txt. Ten en cuenta que si lo utilizas con otro nombre (robot.txt, sin la “s”) o cualquier otra nomenclatura, no podrás configurarlo en esta primera forma.
4. Ya teniendo guardado tu archivo robots.txt, deberás ingresar al servicio de hosting que tenga tu web y a través de él ingresar al CPanel y hacemos clic en “File Manager”:
5. Al hacer clic entrarás al área interna del File Manager y deberás hacer clic en la carpeta “Public_html”:
6. Como ven en este caso, ya subí el archivo robots.txt haciendo clic en el botón “upload” y arrastrando el archivo desde mi computador:
7. Al subir el archivo, me dirá que fue exitosamente cargado:
8. Ahora veamos cómo luce nuestro robots.txt ya en la raíz del sitio web, luego de subirlo correctamente:
Aspectos a tener en cuenta al crear el robots.txt
Google nos deja bien claro cómo debe ser un archivo robots.txt, además de indicarnos las reglas de formato y ubicación:
1. El archivo -obligatoriamente- debe llamarse “robots.txt”. (No nos podemos poner creativos aquí).
2. Por cada sitio puede existir un solo robots.txt. Sin embargo, si tienes varios subdominios, cada uno puede albergar su robots. Ejemplo:
- https://www.blog.loscreativos.co/robots.txt
- https://www.academy.loscreativos.co/robots.txt
3. El archivo, como vimos en los dos ejemplos arriba, viven en la raíz del sitio web. Mira este ejemplo: https://loscreativos.co/robots.txt
5. Si quieres utilizar comentarios, debes utilizar el # o almohadilla.
Segunda forma de crear el Robots.txt
Este método seguro te parecerá mucho más sencillo, solo sigue los pasos:
Instalando el plugin Rank Math en tu WordPress
Rank Math es un plugin de SEO para WordPress muy popular durante los últimos años.
Aunque ciertamente esto también lo puedes hacer con Yoast SEO, en esta decidí utilizar este plugin que ha sido mi aliado durante muchos tiempo.
¿Para qué sirve Rank Math? Para ayudarte a optimizar contenido de tu sitio, como por ejemplo los meta títulos o meta descripciones de tus URLs.
En nuestro caso, nos ayudará a configurar nuestro robotst.txt de una forma mucho más fácil que la anterior y sin necesidad de accesos al CPanel.
1. Una vez en el escritorio de tu WordPress, ve a la barra lateral y haz clic en Plugins. Luego, en “Añadir nuevo”:
2. En la barra de búsqueda ubicada a la izquierda de la pantalla vas a buscar “Rank Math” y te aparecerá el siguiente plugin:
3. Luego de hacer clic en “Instalar” y luego en “Activar” (muchos instalan el plugin y no lo activan), el plugin te pedirá que establezcas configuraciones iniciales:
4. Luego de saltar los pasos o de hacer la configuración del plugin o de saltar los pasos, Rank Math te llevará hacia su dashboard de opciones:
5. Una vez allí, hacemos clic en ajustes generales, como veremos a continuación, y hacemos clic en editar robots.txt:
6. Una vez allí, procedemos a configurar nuestro robots.txt. En este caso, como ya lo subí por la opción 1 desde el CPanel, tengo la información establecida.
Sin embargo, puedo editarla a mi antojo como vemos a continuación:
Estas son dos formas que puedes utilizar para subir o configurar tu archivo robots.txt, el cual es esencial en una estrategia de SEO para cualquier sitio web. Recuerda que, mientras mejor configurado esté, podrás tener más control de qué cosas Google puede crawlear y qué otras no son tan importantes.
