Philippe DONNART SEOnaute

Accueil > SEO > Crawler le web avec ScreamingFrog

Crawler le web avec ScreamingFrog

dimanche 17 novembre 2019, par Philippe Donnart

Comment utiliser un script PHP pour étendre les possibilités de ScreamingFrog.

La différence entre le crawler ScreamingFrog et des spiders comme Googlebot, Bingbot, MJ12 (le spider de majestic) est que ces derniers suivent inlassablement les liens externes. On peut imaginer des dizaines de use case qui rendraient ScreamingFrog plus utile si lui aussi pouvait crawler internet. Bon ok, faut pas trop s’enflammer…


Voir en ligne : Hacker ScreamingFrog pour crawler le web