Archivos Robots.txt – CONSULTORÍA SEO – Aprendermarketing.es
El fichero"robots.txtEs un fichero de texto plano (.txt) visualizado en la Carveta Raíz del Server. factores internos que Influenza en el SEO on site, aunque algunos autores lo sitúan en la subcategoría de factores on the server o en el servidor.
Perdido robots de los motores de busqueda van a rastrear este archivo de texto, el cual probablemente algunas amenazas que pueden mejorar la indexacion de nuestro sitio. el fichero directrices para restringir el acceso a contenidos. Robot.
El archivo básico robots.txt utiliza varios comandos básicos:
* User-Agent: ver Refiere al bot que se aplica la regla.
* No permitir: las paginas o capretas Que se desea bloquear.
* Permitir: Definir las paginas que desea indexar.
Un fichero de tipo robot.txt que permite el libre acceso al sitio quedaría así:
Agente de usuario: *
Con este comando se le indica a los rastreadores que tienen libre acceso para indexar todos los contenidos que haya en el sitio web.
El caso opuesto, un robot.txt que blockaria por completo el acceso a los motores de busqueda se leería de la siguiente forma:
Agente de usuario: *
Prohibir: /
También podemos bloquear el acceso por parte de los buscadores a un archivo, directorio o subdirectorio en detalles.
Agente de usuario: *
Denegar: /directorio/archivostemporales
El fichero robots.txt se puede utilizar para crear una indexación de contenido duplicado ya que se puede utilizar para informar a los buscadores sobre la implementación del sitemap.
Muestra:
http://www.misitio.com/sitemap.xml
La validación de los archivos robots.txt está habilitada para que los webmasters de Google verifiquen posibles errores.
Deja una respuesta