Crawler le web avec ScreamingFrog

La différence entre le crawler ScreamingFrog et des spiders comme Googlebot, Bingbot, MJ12 (le spider de majestic) est que ces derniers suivent inlassablement les liens externes. On peut imaginer des dizaines de use case qui rendraient ScreamingFrog plus utile si lui aussi pouvait crawler internet. Bon ok, faut pas trop s’enflammer…