Durante una reunión, un profesional de SEO le preguntó a John Mueller por qué su sitio JavaScript no se indexaba.
Su pregunta fue: tienen algunas páginas de clientes que utilizan Next.js sin un archivo robots.txt o un mapa del sitio. Simplificado, en teoría, el robot de Google puede llegar a todas estas páginas.
Pero ¿por qué sólo se indexa la página de inicio? No hay errores ni advertencias en Search Console. ¿Por qué el robot de Google no encuentra las otras páginas?
John explicó primero que Next.js es un marco de JavaScript, lo que significa que toda la página se genera con JavaScript.
Entonces, ¿por qué Google no indexa todo?
John dijo que es importante reconocer primero que el robot de Google nunca indexará todo en un sitio web.
También explicó que no cree que esto le pase a ningún tipo de sitio web de tamaño no trivial, que Google indexe todo por completo. Desde un punto de vista práctico, no es posible indexar todo en toda la web.
Entonces, ese tipo de suposición de que la situación ideal es que “todo está indexado”, lo dejaría de lado y diría que realmente quieres que el robot de Google se centre en las páginas importantes.
John también dijo: “Sin embargo, la otra cosa, que quedó un poco más clara cuando la persona me contactó en Twitter y me dio un poco más de información sobre su sitio web, fue que la forma en que el sitio web generaba enlaces a las otras páginas era en una forma que Google no pudo seguir”.
En particular, con JavaScript, puedes tomar cualquier elemento de una página HTML y decir: “si alguien hace clic en esto, ejecuta esta parte de JavaScript”.
Y esa parte de JavaScript puede ser para navegar a una página diferente, por ejemplo, y el robot de Google no hace clic en todos los elementos para ver qué sucede.
Más bien, Google buscará enlaces HTML normales, que es el tipo de forma tradicional normal en la que enlazarías a páginas individuales de un sitio web. Pero con este marco, no generó estos enlaces HTML normales.
John explicó que el robot de Google no podía reconocer que en realidad hay más cosas que rastrear y más páginas que mirar. Sin embargo, este problema se puede solucionar según la forma en que implemente JavaScript en su sitio.
John continuó: hay muchas formas creativas de crear vínculos.
Y el robot de Google realmente necesita encontrar esos enlaces HTML para que funcione.
Además, John sugirió que si los estás viendo en el canal de YouTube, salgas y mires esos videos de SEO de JavaScript en su canal para tener una idea de qué más puedes tener en cuenta cuando se trata de JavaScript. sitios web basados. Reiteró que normalmente pueden procesar la mayoría de los tipos de sitios web basados en JavaScript, pero aún hay algunas cosas a las que hay que prestar atención, como estos enlaces.
Esto sucede aproximadamente en el minuto 04:20 del video.
Transcripción del Hangout de John Mueller
Juan (pregunta)
Muy bien, primero, tenemos algunas páginas de clientes que utilizan Next.js sin un archivo robots.txt o un mapa del sitio. Simplificado, en teoría, el robot de Google puede llegar a todas estas páginas. Pero ¿por qué sólo se indexa la página de inicio? No hay errores ni advertencias en Search Console. ¿Por qué el robot de Google no encuentra las otras páginas?
Juan (Respuesta)
Entonces, ¿tal vez dar un paso atrás? Next.js es un marco de JavaScript, lo que significa que toda la página se genera con JavaScript. Pero también es una especie de respuesta general para todo este tipo de preguntas. ¿Por qué Google no indexa todo?
Es importante decir primero que el robot de Google nunca indexará todo en un sitio web. No creo que le pase a ningún tipo de sitio web de tamaño no trivial que Google indexe completamente todo. Simplemente, desde un punto de vista práctico, no es posible indexar todo en toda la web. Entonces, ese tipo de suposición de que la situación ideal es que todo está indexado, lo dejaría de lado y diría que realmente quieres que el robot de Google se centre en las páginas importantes.
La otra cosa, sin embargo, que quedó un poco más clara cuando creo que la persona me contactó en Twitter y me dio un poco más de información sobre su sitio web, fue que la forma en que el sitio web generaba enlaces a las otras páginas era en una forma que Google no pudo seguir. Entonces, en particular, con JavaScript, puedes tomar cualquier elemento en una página HTML y decir, si alguien hace clic en él, entonces ejecuta esta parte de JavaScript.
Y esa parte de JavaScript puede ser para navegar a una página diferente, por ejemplo, y el robot de Google no hace clic en todos los elementos para ver qué sucede. Más bien, salimos y buscamos enlaces HTML normales, que es el tipo de forma tradicional normal en la que se enlazarían páginas individuales de un sitio web. Y con este marco, no generó estos enlaces HTML normales.
Así que no pudimos reconocer que en realidad hay más cosas que rastrear, más páginas que mirar. Y esto es algo que puede solucionar en la forma en que implemente su sitio JavaScript. Tenemos un montón de información en el sitio de documentación para desarrolladores de búsqueda, sobre JavaScript y SEO, en particular, sobre el tema de los enlaces, porque eso surge de vez en cuando. Hay muchas formas creativas de crear enlaces.
Y el robot de Google realmente necesita encontrar esos enlaces HTML para que funcione. Además, tenemos un montón de vídeos en nuestro canal de YouTube. Y si estás viendo esto, como no hay nadie, debes estar en el canal de YouTube. Si nos estás viendo en el canal de YouTube, sal y mira esos videos de JavaScript SEO en nuestro canal para tener una idea de qué más puedes tener en cuenta cuando se trata de sitios web basados en JavaScript. Normalmente, podemos procesar la mayoría de los tipos de sitios web basados en JavaScript, pero aún debe tener cuidado con algunas cosas, como estos enlaces.
