Initial commit

Author: nowgood

.idea/modules.xml

@@ -0,0 +1,156 @@
+## Quantize CNN Model using PyTorch(python3.5)
+ 
+Implement [Towards Effective Low-bitwidth Convolutional Neural Networks](https://arxiv.org/abs/1711.00205)
+
+```
+@InProceedings{Zhuang_2018_CVPR,
+author = {Zhuang, Bohan and Shen, Chunhua and Tan, Mingkui and Liu, Lingqiao and Reid, Ian},
+title = {Towards Effective Low-Bitwidth Convolutional Neural Networks},
+booktitle = {The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
+month = {June},
+year = {2018}
+}
+```
+
+### 下载和配置
+
+```bash
+git clone https://github.com/nowgood/QuantizeCNNModel.git && cd QuantizeCNNModel
+pip install -r requirements.txt
+echo export PYTHONPATH=$PYTHONPATH:`pwd` >> ~/.bashrc
+source  ~/.bashrc
+```
+
+### 使用方法
+
+使用如下命令查看函数使用方法 
+
+```
+python guided.py -h 
+```
+
+
+
+然后使用 tensorboard 查看训练过程
+
+```
+# QuantizeCNNModel 目录下
+tensorboard --logdir model/xxx/ 
+```
+然后就可以在 `http:localhost:6006` 查看训练的损失值和精确度， 以及每个epoch的在验证集上的精确度
+
+![top5](https://github.com/nowgood/QuantizeCNNModel/raw/master/data/WandA_lr0.01_scalar2.5.png)
+
+### 训练方法
+
+训练模式选择:
+
+       0: full precision training from scratch
+       1: only quantize weight
+       2. quantize activation using quantized weight to init model
+       3. joint quantize weight and activation from pre-trained imageNet model
+       4. guided quantize weight and activation from pre-trained imageNet model
+
+
+**单卡训练**
+
+```
+python guided.py \
+    --arch resnet18 \
+    --mode 3 \
+    --workers 16 \
+    --epochs 35 \
+    --checkpoint model/WandA_lr0.001_scalar2.5 \
+    --lr 0.001 \
+    --data /media/wangbin/8057840b-9a1e-48c9-aa84-d353a6ba1090/ImageNet_ILSVRC2012/ILSVRC2012 \
+    > log/WandA_lr_0.001_scalar2.5_20180719.log 2>&1 &
+```
+
+### 量化权重
+
+**单机多卡训练**, 如： 使用 8 个GPU的后 4 个GPU来训练25个epoch
+
+```
+CUDA_VISIBLE_DEVICES=0,1,2,3 python main.py \
+    --arch resnet18 \
+    --mode 1 \
+    --workers 16 \
+    --epochs 25 \
+    --batch_size 1024\
+    --device_ids 0 1 2 3 \
+    --lr 0.0001 \
+    --checkpoint model/W_lr0.0001_epoch25 \
+    --data /home/user/wangbin/datasets/ILSVRC2012  \
+    |tee  model/W_lr_1e-4_epoch25.log 2>&1
+``` 
+
+### 使用量化权重的参数来初始化量化激活的网络
+
+```bash
+CUDA_VISIBLE_DEVICES=0,1,2,3 python main.py \
+    --arch resnet18 \
+    --mode 2 \
+    --workers 16 \
+    --epochs 35 \
+    --batch_size 1024\
+    --device_ids 0 1 2 3 \
+    --lr 0.001 \
+    --weight_quantized model/W_lr1e-4_epoch2/model_best.pth.tar \
+    --checkpoint model/AafterW_lr1e-3_epoch35 \
+    --data /home/user/wangbin/datasets/ILSVRC2012  \
+    |tee  model/AafterW_lr1e-3_epoch35.log 2>&1
+```
+
+**resume**
+
+```bash
+CUDA_VISIBLE_DEVICES=0,1,2,3 python main.py \
+    --arch resnet18 \
+    --mode 2 \
+    --workers 16 \
+    --epochs 35 \
+    --batch_size 1024\
+    --device_ids 0 1 2 3 \
+    --lr 0.001 \
+    --resume model/AafterW_lr1e-3_epoch35/checkpoint.pth.tar \
+    --weight_quantized model/W_lr1e-4_epoch2/model_best.pth.tar \
+    --checkpoint model/AafterW_lr1e-3_epoch35 \
+    --data /home/user/wangbin/datasets/ILSVRC2012  \
+    |tee  model/AafterW_lr1e-3_epoch35.log 2>&1
+```
+
+### 同时量化权重和激活
+
+```
+CUDA_VISIBLE_DEVICES=4,5,6,7 python guided.py \
+    --mode 3
+    --arch resnet18 \
+    --workers 16 \
+    --epochs  35 \
+    --batch-size 800 \
+    --pretrained \
+    --device_ids 0 1 2 3 \
+    --lr 0.01 \
+    --data /home/user/wangbin/datasets/ILSVRC2012  \
+    --checkpoint model/AandW_lr0.01_epoch35 \
+    | tee AandW_lr0.01_epoch35.log 2>&1 
+```
+
+### 使用 guidance 信号来同时量化权重和激活
+
+```bash
+CUDA_VISIBLE_DEVICES=0,1,2,3 python main.py \
+    --arch resnet18
+    --mode 4 \
+    --workers 16 \
+    --epochs  50 \
+    --batch-size 512 \
+    --pretrained  \
+    --device_ids 0 1 2 3 \
+    --balance 2 \
+    --lowlr 0.001 \
+    --fulllr 0.001 \
+    --data /home/user/wangbin/datasets/ILSVRC2012  \
+    --checkpoint /home/user/wangbin/quantizednn/model/WandA_guided_balance2_lr1e-3_lr1e-3_epoch50 \
+    | tee model/log.WandA_guided_balance2_lr1e-3_lr1e-3_epoch50 2>&1 
+```

.idea/quantizednn.iml

@@ -0,0 +1,96 @@
+
+### Usage: [argparse](http://wiki.jikexueyuan.com/project/explore-python/Standard-Modules/argparse.html) 
+
+```
+ 每个参数解释如下:
+
+    name or flags - 选项字符串的名字或者列表，例如 foo 或者 -f, --foo。
+    action - 命令行遇到参数时的动作，默认值是 store。
+    store_const，表示赋值为const；
+    append，将遇到的值存储成列表，也就是如果参数重复则会保存多个值;
+    append_const，将参数规范中定义的一个值保存到一个列表；
+    count，存储遇到的次数；此外，也可以继承 argparse.Action 自定义参数解析；
+    nargs - 应该读取的命令行参数个数，可以是具体的数字，或者是?号，当不指定值时对于 Positional argument 使用 default，
+            对于 Optional argument 使用 const；
+            或者是 * 号，表示 0 或多个参数；
+            或者是 + 号表示 1 或多个参数。
+    const - action 和 nargs 所需要的常量值。
+    default - 不指定参数时的默认值。
+    type - 命令行参数应该被转换成的类型。
+    choices - 参数可允许的值的一个容器。
+    required - 可选参数是否可以省略 (仅针对可选参数)。
+    help - 参数的帮助信息，当指定为 argparse.SUPPRESS 时表示不显示该参数的帮助信息.
+    metavar - 在 usage 说明中的参数名称，对于必选参数默认就是参数名称，对于可选参数默认是全大写的参数名称.
+    dest - 解析后的参数名称，默认情况下，对于可选参数选取最长的名称，中划线转换为下划线.
+```
+
+### Usage imagenet.py 
+
+```
+usage: guided.py [-h] [--arch ARCH] [-j N] [--epochs N] [--start-epoch N] [-b N]
+               [--lr LR] [--momentum M] [--weight-decay W] [--print-freq N]
+               [--resume PATH] [-e] [--pretrained]
+               DIR
+
+PyTorch ImageNet Training
+
+positional arguments:
+  DIR                   path to dataset
+
+optional arguments:
+  -h, --help            show this help message and exit
+  --arch ARCH, -a ARCH  model architecture: alexnet | resnet | resnet101 |
+                        resnet152 | resnet18 | resnet34 | resnet50 | vgg |
+                        vgg11 | vgg11_bn | vgg13 | vgg13_bn | vgg16 | vgg16_bn
+                        | vgg19 | vgg19_bn (default: resnet18)
+  -j N, --workers N     number of data loading workers (default: 4)
+  --epochs N            number of total epochs to run
+  --start-epoch N       manual epoch number (useful on restarts)
+  -b N, --batch-size N  mini-batch size (default: 256)
+  --lr LR, --README.md-rate LR
+                        initial README.md rate
+  --momentum M          momentum
+  --weight-decay W, --wd W
+                        weight decay (default: 1e-4)
+  --print-freq N, -p N  print frequency (default: 10)
+  --resume PATH         path to latest checkpoint (default: none)
+  -e, --evaluate        evaluate model on validation set
+  --pretrained          use pre-trained model
+
+```
+
+### use pretrained model to initialize your modified model
+
+```
+model_dict = your_model.state_dict()
+
+pretrained_model = models.__dict__[args.arch](pretrained=True)
+pretrained_dict = pretrained_model.state_dict()
+
+# 将 pretrained_dict 里不属于 model_dict 的键剔除掉
+pretrained_dict = {k: v for k, v in pretrained_dict.items() if k in model_dict}
+
+model_dict.update(pretrained_dict)
+your_model.load_state_dict(model_dict)
+```
+
+### how to get nn.DataParallel model filter weight
+
+```python
+low_prec_state_dict = low_prec_model.state_dict()
+full_prec_state_dict = full_prec_model.state_dict()
+low_prec_norm = low_prec_state_dict['module.layer4.1.conv1.weight'].norm(p=2) + low_prec_state_dict['module.layer4.1.conv2.weight'].norm(p=2)
+full_prec_norm = full_prec_state_dict['module.layer4.1.conv1.weight'].norm(p=2) + full_prec_state_dict['module.layer4.1.conv2.weight'].norm(p=2)
+
+l2 = (low_prec_norm + full_prec_norm) * args.balance
+```
+
+### torch.topk
+
+```
+>>> x = torch.arange(1, 6)
+>>> x
+tensor([ 1.,  2.,  3.,  4.,  5.])
+>>> torch.topk(x, 3)
+(tensor([ 5.,  4.,  3.]), tensor([ 4,  3,  2]))
+```