360 0Kee-Team 公开的 crawlergo动态爬虫 结合 长亭XRAY扫描器的被动扫描功能 (其它被动扫描器同理)
https://github.com/0Kee-Team/crawlergo
https://github.com/chaitin/xray
- 下载xray最新的release, 下载crawlergo最新的release
- 配置好并启动xray被动扫描(脚本默认配置为127.0.0.1:7777)若修改端口请同时修改launcher.py文件中的proxies
- 配置好launcher.py的cmd变量中的crawlergo爬虫配置(主要是chrome路径改为本地路径), 默认为
./crawlergo -c C:\Program Files (x86)\Google\Chrome\Application\chrome.exe -t 20 -f smart --fuzz-path --output-mode json target
配置参数详见crawlergo官方文档
- 把目标url写进targets.txt,一行一个url
-
用python3运行launcher.py
-
生成的sub_domains为爬虫爬到的子域名, crawl_result为爬虫爬到的url