Desarrollo Web

Cómo crear un archivo Robots.txt

Robot.txt

Robots.txt es un archivo de texto que generalmente se encuentra en el directorio raíz de nuestro sitio web. Este archivo es responsable de notificar a los robots / arañas de los motores de búsqueda cuando navegan por nuestro sitio web.

Podemos editarlos como queramos y permitir o denegar el acceso a ciertos motores de búsqueda que utilizan los sistemas de software para explorar cada rincón de nuestro sitio web.

¿Qué es Robots.txt y para qué sirve?

Cuando los motores de búsqueda como Google o Bing rastrean sitios web, utilizan los conocidos robot (También llamada araña). Un robot es un programa (software) que recopila datos.

Lo primero que hace el robot / araña cuando inspecciona una página web es encontrar el archivo Robots.txt y leer su información. Si no existe, analiza Internet a su propia discreción. Si existe y lo montamos, lo respetará.

Para que de alguna manera podamos Control de acceso a nuestro sitio webPor ejemplo, si no queremos que Google lea e indexe una categoría o directorio en particular en nuestro sitio web, podemos continuar desde aquí.

Además, este pequeño archivo también puede facilitar que los motores de búsqueda como Google encuentren nuestro mapa del sitio (mapa de red).

búsqueda de Google

¿Cómo creo un archivo Robots.txt?

Podemos hacer esto de dos maneras, gracias a algunos complementos que nos permiten editarlos directamente desde nuestro sitio web, o podemos crear un archivo de texto usando el Bloc de notas de Windows.

Exploraremos estas dos opciones paso a paso para que pueda hacer lo que quiera.

Construir con un complemento

En este caso estamos utilizando el plugin «Yoast SEO», para ello solo tenemos que ir a nuestro panel de administración de WordPress, instalar el plugin y luego de la activación realizar las siguientes operaciones.

  • En el menú de la izquierda hacemos clic en «Optimización de motores de búsqueda«Luego»herramientaUna especie de «.
  • Se abre una nueva ventana y hacemos clic en «Editor de archivosUna especie de «.
Edite el archivo robots.txt
Editor de archivos del complemento Yoast SEO

Un clic en el «editor de archivos» abre una nueva ventana en la que podemos ver la configuración actual de Robots.txt.

Concurso robot.txt
Contenido del archivo Robots.txt en nuestro sitio web

Por supuesto, podemos cambiar el contenido como queramos, guarda tus cambios con el botón antes de cerrar el editor.Guarde los cambios en Robots.txtUna especie de «.

Utilice el blog de Notes para crear el archivo Robots.txt

Otra opción es crear un archivo de texto usted mismo con el Bloc de notas de Windows y guardarlo como Robots.txt en nuestro escritorio.

Luego, necesitamos usar FTP para cargar el archivo en el directorio raíz de nuestra instalación de WordPress. Luego estará instalado y funcionando, no olvide configurarlo con anticipación.

¿Cómo configuro Robots.txt correctamente?

Aunque se trata de un archivo pequeño y regular, es muy importante ya que si lo configuramos incorrectamente podríamos denegar sin querer el acceso a los buscadores y hacer invisible nuestra web.

Una buena configuración para este archivo, simple y práctica, se ve así:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://beseomyfriend.com/sitemap_index.xml

Al analizar esta configuración, vemos que podemos acceder a varios robots de los motores de búsqueda a través de «Agente de usuario: *Una especie de «.

Denegamos el acceso a contenido privado instalado en nuestro sitio web a través de «Prohibido: / wp-admin /Para «Aquí hay un informe simple de que esta carpeta no debe leerse ni indexarse».wp-adminO su contenido.

Sin embargo, permitimos el uso de «admin-ajax.php Usar comandopermitirUna especie de «.

Finalmente, le decimos al robot dónde se encuentra nuestro mapa del sitio. Recuerde cambiar la última línea y la URL del mapa del sitio de su propio sitio web.

Archivos de Internet

Ajustes avanzados

Si desea excluir ciertas carpetas o URL de su página web o evitar que el rastreador acceda a las más importantes como google / bing, etc., puede usar este archivo para completar.

El comando Disallow se utiliza para denegar el acceso. Entonces, si no queremos escanear y leer archivos en la carpeta privada, todo lo que tenemos que hacer es agregar el siguiente código a nuestro Robots.txt:

Disallow: /personal/

Por ejemplo, si queremos denegar el acceso a todo el sitio, agregamos un comando con el directorio raíz como este:

Disallow: /

Esto nos permite editar, modificar y optimizar nuestro archivo Robots.txt de manera fácil y segura.

De hecho, la configuración de última generación no tiene por qué complicarse, ya que la configuración estándar es más que suficiente. Sin embargo, si desea realizar un seguimiento de los archivos utilizados por la competencia, todo lo que necesita hacer es escribir su nombre de dominio y el nombre de archivo en un motor de búsqueda:

https://beseomyfriend.com/robots.txt

Si tiene alguna pregunta, no dude en utilizar los comentarios y lo ayudaremos a resolverlos juntos.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Botón volver arriba