Xray配合awvs 、Burp 实现被动扫描，效果不错，看到有人分享动态爬虫文章，就测试一波
动态爬虫： https://github.com/0Kee-Team/crawlergo
Xray工具：https://github.com/chaitin/xray
操作:
下载win下的环境
1. 开启代理:
执行命令：
xray_windows_amd64.exe webscan –listen 127.0.0.1:8989 –html-output x.html
2.执行爬虫
执行命令：
crawlergo.exe -c C:\Users\user\AppData\Local\Google\Chrome\Application\chrome.exe -t 5 –push-to-proxy http://127.0.0.1:8989/ –push-pool-max 10 http://testphp.vulnweb.com/
3.心中默念三秒，我要开始了
等待最终结果
通过Bat形式完成单个项目爬取
@echo off set site=%1% echo 你输入的网址为 :%site% echo 开始爬取... crawlergo.exe -c C:\Users\user\AppData\Local\Google\Chrome\Application\chrome.exe -t 5 --push-to-proxy http://127.0.0.1:8989/ --push-pool-max 10 %site%
别人分享提供了一套Py代码
https://github.com/timwhitez/crawlergo_x_XRAY
在win下py代码中修改下
targets目标较多时，调整下每个URL的间隔爬取
备注
针对挖SRC中多子域名来进行反向爬取扫描的效果还是不错的，至于占用资源、准备率、速率自行分析调优
参考来源：https://xz.aliyun.com/t/7047