weakfilescan

基于爬虫，动态收集扫描目标相关信息后进行二次整理形成字典规则，利用动态规则的多线程敏感信息泄露检测工具，支持多种个性化定制选项，包括：

• 规则字典多样化定义（支持正则、整数、字符、日期）
• 扫描域名策略（域名全称、主域名、域名的名字）
• 自定义HTTP状态码
• 支持动态配置HTTP脚本扩展名
• 自定义判断文件是否存在正则
• 返回结果集误报清洗选项
• HTTPS服务器证书校验
• 线程数定义
• HTTP请求超时时间
• 是否允许URL重定向
• 是否开启Session支持，在发出的所有请求之间保持cookies
• 是否允许随机User-Agent
• 是否允许随机X-Forwarded-For
• 动态代理列表配置（支持TOR）
• HTTP头自定义

更多使用详情参照 /config.py

快速开始

python wyspider.py http://wuyun.org php

字典支持规则

规则使用简介

在字典中使用规则引擎，必须以 { 括号开头，并以 }$ 结尾，类型后面跟的 # 代表生成数据的长度，$ 代表单步值，开始-结束，数据的起始区间设置。

{规则=类型#长度$step:开始-结束}$

规则	说明
int	整数
str	字符
re	正则引擎
date	日期

整数类规则

类型	使用实例
顺序递进 处理step	{int=series$2:0-10}$

[0,2,4,6,8,10] | 类型 | 使用实例 | | :-------- |:--------| | 连号数字 | {int=digits#3:0-9}$ | [123,234,345,456,567,678,789] | 类型 | 使用实例 | | :-------- |:--------| | 重叠数字 | {int=overlap#4:0-9}$ | [1111,2222,3333,4444,5555,6666,7777,8888,9999]

日期类规则

类型	使用实例
年	{date=year:2010-2015}$

[2010,2011,2012,2013,2014,2015] | 类型 | 使用实例 | | :-------- |:--------| | 月 | {date=mon:01-12}$ | [1,01,2,02,3,03...9,09] | 类型 | 使用实例 | | :-------- |:--------| | 日 | {date=day:01-31}$ | [1,01,2,02,3,03,4,04,5,05...31] | 类型 | 使用实例 | | :-------- |:--------| | 年月 | {date=year_mon:201501-201504}$ | [201501,20151,201502,20152...201504] | 类型 | 使用实例 | | :-------- |:--------| | 月日 | {date=mon_day:0501-0531}$ | [0501，51，0502，52，0506,56,0511，511...0530,530] | 类型 | 使用实例 | | :-------- |:--------| | 年月日 | {date=year_mon_day:20150101-20150401}$ | [20150101,201511,20150112,2015112...20150401] | 类型 | 使用实例 | | :-------- |:--------| | 月日年 | {date=mon_day_year:20150101-20150401}$ | [01012015,112015,01122015,1122015...04012015]

* INT (整数)
支持如下三种类型
* 

{int=类型#长度$step:开始-结束}$

* STR (字符类型)

{str=类型#长度$step:开始-结束}$

* RE (正则引擎)

{re=引擎名称:正则表达式}$

``` python
{re=exrex:[0-9]}$
[0,1,2,3,4,5,6,7,8,9]
{re=exrex:(a|A)dmin[0-9]}$
[u'admin0',u'admin1',u'admin2',u'admin3',u'admin4',u'admin5',u'admin6',u'admin7',u'admin8',u'admin9',
 u'Admin0',u'Admin1',u'Admin2',u'Admin3',u'Admin4',u'Admin5',u'Admin6',u'Admin7',u'Admin8',u'Admin9']

安装

CentOS 6.* 7.* Linux

安装 setuptools, pip

wget https://bootstrap.pypa.io/ez_setup.py -O - | python
wget https://pypi.python.org/packages/source/p/pip/pip-6.0.8.tar.gz
tar zvxf pip-6.0.8.tar.gz
cd pip-6.0.8
python setup.py install

安装 lxml解析器 & beautifulsoup4

yum install python-devel libxml2-devel libxslt-devel
pip install lxml beautifulsoup4