¿Alguna vez has hecho un rastreo con Screaming Frog para conocer todas las urls de tu página web?

Como comercializador en línea, es posible que estés familiarizado con el programa Screaming Frog. El programa rastrea tu sitio web y con eso puedes simular cómo va ese proceso cuando Google intenta hacer lo mismo en tu sitio.

Después de leer este artículo, este programa se volverá aún más poderoso para ti, porque encontrarás todas las URL en tu sitio.

Si deseas verificar tu sitio en busca de errores técnicos con Screaming Frog, es bueno que el programa rastree todas las páginas de tu sitio web. Así evitas que haya errores en páginas que el programa no encuentra y que no vas a solucionar. Con la configuración estándar, muchas páginas no están incluidas en el rastreo.

El Rastreo con Screaming Frog de un sitio web se puede comparar con un bibliotecario que desea leer todos los libros de un autor. Piensa en cada libro como una página y en las referencias del libro como enlaces a otras páginas. El rastreo con Screaming Frog recupera el contenido de la página y descubre nuevos enlaces, como lo haría un bibliotecario con un libro.

Configuración predeterminada vs personalizada

Cuando abres Screaming Frog, el programa tiene una configuración predeterminada. Esto encontrará un montón de URL, pero no podrá aprovechar el verdadero poder del programa hasta que modifiques la configuración.

Después de aplicar los cambios de este artículo al sitio web de ZIGT, descubrí un 3900 % más de URL en comparación con la configuración predeterminada.

¿Qué se incluyó que no estaba incluido en la configuración estándar?

• Enlaces en el mapa del sitio que no están vinculados en el sitio (noticias antiguas, por ejemplo, + imágenes en esas noticias)
• Un montón de enlaces externos a Facebook/Twitter bloqueados en robots.txt
• URL en Google Analytics / Google Search Console que no están vinculadas en el sitio (generalmente URL con parámetros UTM)

¿Dónde puedo ajustar todo?

Todo lo que vamos a ajustar lo podemos encontrar bajo el encabezado ‘Configuración’, donde se indica exactamente donde se puede realizar el ajuste.

1. Spider. La Araña

En el primer encabezado Spider puedes ajustar el comportamiento de la araña en la web a tu gusto. Para ajustar el comportamiento nos fijamos en tres pestañas: Rastreo, Límites y Avanzado.

Crawl

Recomiendo marcar todo lo que rodea rojo.

El mayor beneficio en la pestaña ‘Rastrear’ es verificar las funciones adicionales en ‘Comportamiento de rastreo’ y ‘Mapas de sitio XML’. Esto le permite, por ejemplo, rastrear las URL que se configuran accidentalmente como nofollow en un sitio web. O URL que están en el mapa del sitio pero que no están vinculadas en el sitio web.

¿La URL del mapa del sitio no está en el archivo robots.txt? Entonces, también puedes ingresar manualmente la URL del mapa del sitio.

Es bueno saber que los números pueden aumentar considerablemente si verifica estas configuraciones. Por ejemplo, si hay un dominio de prueba al que se puede acceder, de repente rastrea el doble de URL. Seguir un nofollow externo también puede hacer que de repente gatees mucho más.

¡ Pista ! Utiliza la función de exclusión en Screaming Frog si, por ejemplo, desea excluir URL externas. Esto se puede hacer con .* . nombre de dominio .* en exclusión. Por ejemplo .* .facebook.com.*

Límites

Si su sitio tiene más de 5 millones de enlaces y una computadora que puede manejarlos, puede desactivar el límite de rastreo. En la práctica, nunca se alcanzará el límite, pero puede limitar su rastreo.

Una buena para ajustar es la cantidad de redireccionamientos que sigue Screaming Frog. Google deja de rastrear después de 20 redireccionamientos y, por lo tanto, es bueno ajustar esto para casos excepcionales. ¿Solo se puede llegar a una categoría importante después de 18 redireccionamientos? Entonces Screaming Frog toma esto también.

Avanzado

Recomendaría marcar todo lo que está rodeado de rojo.

Seguir siempre los redireccionamientos y canónicos afecta el modo de lista de Screaming Frog, pero puede ser útil. ¿Rastreaste accidentalmente una redirección en tu lista? Entonces también sabes a dónde va la redirección.

Aumentamos el tiempo de espera de respuesta para que el servidor tenga más tiempo para devolver algo cuando el programa realiza un rastreo. ¿Todavía nada después de 60 segundos? Solo entonces Screaming Frog da un error.

Hacemos lo mismo aumentando los 5xx Reintentos de respuesta. Si un servidor recibe muchas solicitudes a la vez, el servidor puede devolver un error 500. A veces esto es un error temporal. Screaming Frog solo marca la URL como error 500 después de 10 intentos.

2. Robots.txt

En la configuración de robots.txt, cambiamos la configuración para que Screaming Frog ignore las reglas en robots.txt pero indique que estas URL están excluidas por robots.txt.

Suponga que tiene productos que solo se enumeran en https://www.website.nl/uitluizen-product-categorie/. Screaming Frog no encuentra estos productos en la configuración predeterminada si ha excluido accidentalmente esta categoría en el archivo robots.txt. Debido al cambio, estos productos ahora se rastrean y estas páginas se verifican en busca de errores.

3. Agente de usuario

Por defecto, Screaming Frog visita el sitio como ‘Screaming Frog SEO Spider’. Lo ideal es que puedas hacerte pasar por Googlebot Smartphone. De esta manera haces la simulación como Google vería todo. Muy ocasionalmente, todavía quiere evitar que los sitios carguen contenido separado para Google, entonces eso también está incluido.

¿Sabías que Google primero rastrea los dispositivos móviles? Esto significa que Google siempre visita su sitio web como usuario móvil.

4. Acceso a la API

Con un rastreo Screaming Frog tienes la opción de conectar la API de Google Analytics, Google Search Console y otras herramientas.

Una gran ventaja es que puede verificar que Screaming Frog debe rastrear las nuevas URL que se encuentran.

En el rango de fechas indicas lo que debe traer Screaming Frog. ¿Quiere recuperar métricas o dimensiones específicas? Lo configuras todo fácilmente. Estos datos también se pueden ver por URL, ideal si desea tener los datos de las URL una al lado de la otra.

¿Has hecho una migración del sitio? Luego tome las URL en Google Analytics y Google Search Console de los últimos 12 meses, luego ordénelas por número de sesiones y vea si no se olvidó de redirigir alguna URL importante. Por ejemplo, encontramos URL importantes sin redirección en varios sitios para los que no hicimos SEO.

Evits reiniciar

Desde entonces, hemos realizado bastantes cambios en la configuración. Al ir a Archivo > Configuración en Screaming Frog, tiene la opción de guardar su configuración actual como predeterminada. De esta forma, no tendrá que realizar todos los cambios cada vez que desee realizar un rastreo con Screaming Frog.

También tienes la opción de volver a la configuración por defecto si lo deseas.

Todas las URL reales

El objetivo de un vendedor en línea es encontrar todas las URL con un Rastreo con Screaming Frog. Con los pasos anteriores, la probabilidad de que realmente encuentre todas las URL de su sitio web es mucho mayor

Bim Soluciones: La mejor Agencia de Marketing Digital en Ecuador para ti

¿Quieres aumentar la sostenibilidad de tu negocio con marketing digital con una página web diseñada a tu medida? En BIM Soluciones es la mejor agencia de marketing digital, y te ofrecemos planes a la medida de tus necesidades, para más información puedes consultar nuestras ofertas.

Si estás interesado en consultoría de SEO y marketing digital en Quito, Ecuador o el resto de Latinoamérica, estamos para ayudarte. ¡Contacta ya uno de nuestros asesores!.