bonus new member

https://librolibre.net/

https://lookingforlilith.org/

slot bet 100

slot

slot bet 100

https://lsphalal.id/data/?angka=inatogel

pasporbet

https://www.salemoregonhairsalon.com/

¿Cómo eliminar el retraso de rastreo del archivo robots.txt en los sitios de SiteGround? – Aprendermarketing.es/

SiteGround es uno de los servidores web populares y recomendados de la comunidad oficial de WordPress.org. Utilizan una barra de herramientas de sitio personalizada que tiene opciones completamente diferentes a las del alojamiento tradicional de cPanel. Recientemente noté que el retraso de rastreo se agregó automáticamente en los rastreadores del sitio. archivo de texto Incluso hablar con el soporte no ayuda a eliminar la entrada, ya que está forzada en mi archivo robots.txt. Entonces, si nota una entrada de rastreo lenta en su sitio de SiteGround, así es como puede eliminarla.

📑 Aquí podrás encontrar 👇

Retraso en el rastreo de objetos

De forma predeterminada, los servidores de SiteGround aplican un retraso de rastreo de 10 segundos a todos los agentes de usuario, incluidos Google, Bing, etc. Y puede ver que aparece la línea de retraso del rastreo en el archivo robots.txt cuando abre el archivo en el navegador.

User-agent: *
Disallow:
Crawl-delay: 10
Retraso de rastreo agregado por SiteGround
Retraso de rastreo agregado por SiteGround

Cargue un archivo Robots.txt manual con entradas

SiteGround agrega un retraso de rastreo de 10 segundos cuando el sitio no tiene un archivo robots.txt ubicado en la raíz del servidor. También he notado en algunos sitios que el retraso de rastreo se agrega incluso con un archivo robots.txt vacío. Entonces, la solución es cargar un archivo robots.txt personalizado con pocas entradas.

  • Abra un editor de texto plano como TextEdit o Notepad en su computadora.
  • Cree un archivo vacío y agregue sus entradas. Si no tiene nada que bloquear, simplemente agregue su directiva XML Sitemap como se muestra a continuación:
Sitemap: https://yoursite.com/sitemap_index.xml
  • Si desea reducir el retraso de rastreo por algún motivo, el valor mínimo se puede establecer en 1. La siguiente directiva cambiará el retraso predeterminado de 10 segundos a 1 segundo.
User-agent: *
Crawl-delay: 1
  • Guarde el archivo como un archivo de texto sin formato llamado robots.txt.
  • Inicie sesión en su cuenta de alojamiento de SiteGround y vaya a la sección Herramientas del sitio para el sitio del que desea eliminar el retraso de rastreo.
  • Vaya a la sección "Sitio > Administrador de archivos".
  • Vaya a la carpeta public_html y haga clic en el icono "Subir".
  • Seleccione su archivo de texto robots.txt y cárguelo en su servidor.
Sube un archivo robots.txt con contenido
Sube un archivo robots.txt con contenido

Ahora verifique la URL del archivo (https://yoursite.com/robots.txt) en una ventana del navegador y no debería ver la entrada de retraso de rastreo en el archivo. Si usa complementos de WordPress como Yoast SEO, le recomiendo usar su configuración de optimización de rastreo. Esto agregará automáticamente algunas entradas de bloqueo en su archivo robots.txt, eliminando así el retraso de rastreo predeterminado.

El retraso de rastreo se ha eliminado de robots.txt
El retraso de rastreo se ha eliminado de robots.txt

Como se mencionó, a veces puede ver un retraso de rastreo insertado dinámicamente en su archivo robots.txt existente. En este caso, descargue su archivo actual como copia de seguridad. Ahora elimine el archivo del administrador de archivos y luego vuelva a cargar el archivo de copia de seguridad.

Artículo Recomendado:  ¿Cómo soluciono errores al subir imágenes y archivos a WordPress? - Aprendermarketing.es/

Habilitar la entrega directa de NGINX

Su archivo robots.txt se almacenará en caché porque es un archivo estático. Tengo que desactivar NGINX Direct Delivery y volver a activarlo en la cuenta de SiteGround para ver el archivo robots.txt correcto en el navegador. Aquí se explica cómo deshabilitar/habilitar el almacenamiento en caché estático y ver si eso puede mostrar el archivo robots.txt correcto.

  • Inicie sesión en su cuenta de alojamiento de SiteGround.
  • Vaya a la pestaña "Sitios web" y haga clic en el botón "Herramientas del sitio" que se muestra debajo del sitio que desea editar.
  • Cuando esté en Site Tools, vaya a la sección Velocidad > Almacenamiento en caché de la barra lateral izquierda.
  • En la pestaña Entrega directa de NGINX, deshabilite o habilite la raíz y todos los elementos del subdominio.
Habilitar o deshabilitar la entrega directa de NGINX
Habilitar o deshabilitar la entrega directa de NGINX

Sus cambios se guardarán automáticamente y el archivo robots.txt se abrirá en una nueva pestaña del navegador. Ahora la entrada de retraso de rastreo debería desaparecer y solo debería ver las directivas personalizadas que agregó.

Nota: Si está utilizando Cloudflare o un almacenamiento en caché o CDN de terceros, asegúrese de borrar la URL del archivo robots.txt para ver los cambios más recientes. Los usuarios de WordPress pueden borrar el caché desde el panel de administración si usa el complemento SG Optimizer.

Es posible que el soporte no pueda ayudar

Cuando de repente noté el retraso de rastreo en el archivo robots.txt, me puse en contacto con el soporte a través del chat. El tipo decía que SiteGround no agrega ninguna entrada de robots.txt, lo cual solo es correcto si tiene un archivo personalizado con entradas existentes. Presentó un ticket después de que insistí en ello, y la respuesta confirmó que SiteGround estaba configurando un retraso de rastreo del lado del servidor. Pero esta también fue una respuesta típica de copiar y pegar con un enlace al artículo de KB de SiteGround sin explicar por qué se agregó en un sitio alojado. en SiteGround durante los últimos 7 años con un archivo robots.txt personalizado.

Respuesta del soporte de SiteGround
Respuesta del soporte de SiteGround

palabras de cierre

El retraso del rastreo es una buena función para detener los bots que acceden con frecuencia a su servidor, especialmente los bots maliciosos. Sin embargo, no tiene sentido aplicarlo automáticamente incluso en el alojamiento Cloud VPS donde hay suficientes recursos de servidor disponibles o se pueden escalar automáticamente. Espero que este artículo lo ayude a descubrir si se está rascando la cabeza con el retraso de rastreo agregado al archivo robots.txt en sus sitios de SiteGround.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Subir