Desde el punto de vista de SEO, es extremadamente importante configurar el archivo robots.txt de Magento 2 para su sitio web. Un archivo robots.txt especifica qué páginas de un sitio web deben ser indexadas y analizadas por los rastreadores web. El archivo robots.txt juega un papel importante en SEO.
El SEO consiste en enviar las señales correctas a los motores de búsqueda, y robots.txt para Magento 2 es una de las mejores formas de comunicar sus preferencias de rastreo a los motores de búsqueda.
¿Qué es Robots.txt?
Básicamente, los archivos robots.txt indican a los rastreadores de los motores de búsqueda a qué URL de su sitio pueden acceder. Esto es principalmente para evitar sobrecargar su sitio con solicitudes. Los archivos Robots.txt están destinados principalmente a gestionar las actividades de los robots buenos, ya que es poco probable que los robots malos sigan las instrucciones. Para evitar que una página web sea rastreada, bloquéela con sin índice o proteger con contraseña la página o sitio web.
¿Por qué es importante Robots.txt?
Además de ayudarle a desviar los rastreadores de los motores de búsqueda de las páginas menos importantes de su sitio, robots.txt para Magento 2 también puede proporcionar los siguientes beneficios.
- Esto puede ayudar a prevenir la aparición de contenido duplicado. A veces, su sitio web puede requerir más de una copia de un contenido. Por ejemplo, si crea una versión imprimible de un contenido, es posible que tenga dos versiones diferentes. Google tiene una conocida penalización por contenido duplicado. Esto le permitiría evitarlo.
- Con Magento 2 robots.txt, puede ocultar páginas en desarrollo para que no se indexen antes de que estén listas.
- Además, es posible que haya páginas en su sitio web que no desea que el público vea; por ejemplo, es posible que haya agregado solo un producto simple. Otro ejemplo sería una página de agradecimiento después de que alguien haya realizado una compra o se haya registrado. Estas páginas no deberían aparecer en un motor de búsqueda, por lo que sería inútil que Google u otros motores de búsqueda las indexaran.
Cómo configurar Robots.txt para Magento 2
Siga los pasos a continuación para configurar su archivo robots.txt en Magento 2.
Paso 1: Inicie sesión en su Panel de administrador.
Paso 2: Ir a Contenido > Diseño > Configuración.
Paso 3: En la cuadrícula abierta, busque la línea Globalhaga clic en el Editar enlace y abra el Robots de motores de búsqueda pestaña.
Etapa 4: Ahora elige qué Robots predeterminados necesitas de lo siguiente:
- ÍNDICE, SIGUE: Los motores de búsqueda indexarán periódicamente sus páginas y comprobarán los cambios.
- NOÍNDICE, SIGUE: El robot del motor de búsqueda no indexará su sitio web pero seguirá monitoreando los cambios.
- ÍNDICE, NOFOLLOW: El robot de búsqueda indexará su tienda una vez pero nunca volverá a realizar un seguimiento de los cambios.
- NOÍNDICE, NOFOLLOW: Esta configuración ocultará su tienda de los robots de los motores de búsqueda.
Paso 5: La opción Editar instrucción personalizada de la línea del archivo robots.txt le permite escribir instrucciones personalizadas. Para restablecer la configuración predeterminada, haga clic en el Restablecen a los predeterminados botón, que eliminará todas sus instrucciones personalizadas
Paso 6: Haga clic en Guardar configuración para aplicar los cambios.
Ejemplos de instrucciones personalizadas de Magento 2 Robots.txt
Como mencionamos anteriormente, puede definir instrucciones personalizadas para las configuraciones de robot.txt de Magento 2. Aquí hay unos ejemplos:
Permitir acceso completo
Agente de usuario:*
Rechazar:
No permitir el acceso a todas las carpetas
Agente de usuario:*
No permitir: /
Bloquear Google Bot desde una carpeta
Agente de usuario: robot de Google
No permitir: /subcarpeta/
Bloquear Google Bot desde una página
Agente de usuario: robot de Google
No permitir: /subcarpeta/página-url.html
Instrucciones predeterminadas
No permitir: /lib/
No permitir: /pkginfo/
No permitir: /informar/
No permitir: /var/
No permitir: /catalog/
No permitir: /cliente/
No permitir: /revisar/
No permitir: /*.php$
Restringir páginas de pago y cuentas de usuario
No permitir: /pagar/
No permitir: /onestepcheckout/
No permitir: /cliente/
No permitir: /cliente/cuenta/
No permitir: /cliente/cuenta/iniciar sesión/
Restringir las páginas de búsqueda del catálogo
No permitir: /catalogsearch/
No permitir: /catalog/product_compare/
No permitir: /catalog/category/view/
No permitir: /catalog/product/view/
No permitir contenido duplicado
No permitir: /etiqueta/
No permitir: /revisar/
Cómo agregar un mapa del sitio al archivo Robots.txt en Magento 2
Un mapa del sitio es un archivo XML que contiene una lista de todas las páginas web de su sitio, así como metadatos (los metadatos son información relacionada con cada URL). De la misma manera que funciona un archivo robots.txt, un mapa del sitio permite a los motores de búsqueda rastrear un índice de todas las páginas web de su sitio en un solo lugar.
Para permitir Envío a Robots.txt En Magento 2, debes seguir estos pasos:
Paso 1: Inicie sesión en su Panel de administrador.
Paso 2. Ir a Tiendas > Ajustes > Configuración y elige Mapa del sitio XML en el Catalogar pestaña.
3. Abra el Configuración de envío del motor de búsqueda pestaña y establecer Sí en el Habilitar el envío a Robots.txt desplegable.
4. Haga clic en el Guardar configuración botón.
Si desea que esta opción se habilite automáticamente, navegue hasta y en el campo Editar instrucción personalizada del archivo robot.txt, configure las instrucciones para agregar el mapa del sitio de la siguiente manera:
Mapa del sitio: https://magefan.com/pub/sitemaps/sitemap.xml
Mapa del sitio: https://magefan.com/pub/sitemaps/blog_sitemap.xml
Mapa del sitio: https://magefan.com/pub/sitemaps/sitemap_ua.xml
Mapa del sitio: https://magefan.com/pub/sitemaps/blog_sitemap_ua.xml
Será más fácil para los motores de búsqueda si tiene un archivo robots.txt que especifica el mapa del sitio más reciente en lugar de rastrear cada página del sitio y encontrarlas días después. Si su sitio no funciona bien y las páginas web no están indexadas correctamente, su posición dentro de los resultados del motor de búsqueda se ve comprometida. Para el rendimiento de su sitio, también es muy importante mantenerlo optimizado y este artículo sobre optimización de la velocidad de Magento 2 puede ayudar aún más.
Ahora lo sabes
Ahora ya sabes cómo crear Magento 2 Robots.txt para tu sitio web.
Si utiliza Magento, considere el alojamiento Magento totalmente administrado de Hostinger. Nuestros planes incluyen Varnish, PHP 7+, una CDN integrada y compresión de imágenes para un rendimiento de primer nivel.
Aproveche nuestras migraciones gratuitas de sitios Magento y cámbiese a Hostinger hoy.
Explore nuestros planes Magento totalmente administrados para comenzar.
