-
Notifications
You must be signed in to change notification settings - Fork 1
/
test_scaling.sh
68 lines (66 loc) · 17 KB
/
test_scaling.sh
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
#!/bin/bash
# Ensure PYTHONPATH points to the root gptvq directory
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 1 --groupsize 256 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA1_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 1 --groupsize 512 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA1_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 1 --groupsize 128 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA1_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 1 --groupsize 256 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA1_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 3 --vq-dim 1 --groupsize 512 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA1_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 3 --vq-dim 1 --groupsize 1024 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA1_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 4 --vq-dim 1 --groupsize 1024 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA1_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 4 --vq-dim 1 --groupsize 2048 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA1_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 2 --groupsize 1024 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA1_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 2 --groupsize 2048 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA1_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 2 --groupsize 512 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA1_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 2 --groupsize 1024 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA1_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 3 --vq-dim 2 --groupsize 4096 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA1_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 3 --vq-dim 2 --groupsize 8192 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA1_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 4 --vq-dim 2 --groupsize 16384 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA1_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 4 --vq-dim 2 --groupsize 32768 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA1_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 1 --groupsize 256 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 1 --groupsize 512 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 1 --groupsize 128 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 1 --groupsize 256 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 3 --vq-dim 1 --groupsize 512 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 3 --vq-dim 1 --groupsize 1024 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 4 --vq-dim 1 --groupsize 1024 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 4 --vq-dim 1 --groupsize 2048 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 2 --groupsize 1024 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 2 --groupsize 2048 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 2 --groupsize 512 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 2 --groupsize 1024 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 3 --vq-dim 2 --groupsize 4096 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 3 --vq-dim 2 --groupsize 8192 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 4 --vq-dim 2 --groupsize 16384 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 4 --vq-dim 2 --groupsize 32768 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA2_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 1 --groupsize 256 --codebook-bitwidth 8 --quantize-per-codebook --is-mistral $MISTRAL_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 1 --groupsize 512 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 --is-mistral $MISTRAL_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 1 --groupsize 128 --codebook-bitwidth 8 --quantize-per-codebook --is-mistral $MISTRAL_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 1 --groupsize 256 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 --is-mistral $MISTRAL_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 3 --vq-dim 1 --groupsize 512 --codebook-bitwidth 8 --quantize-per-codebook --is-mistral $MISTRAL_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 3 --vq-dim 1 --groupsize 1024 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 --is-mistral $MISTRAL_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 4 --vq-dim 1 --groupsize 1024 --codebook-bitwidth 8 --quantize-per-codebook --is-mistral $MISTRAL_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 4 --vq-dim 1 --groupsize 2048 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 --is-mistral $MISTRAL_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 2 --groupsize 1024 --codebook-bitwidth 8 --quantize-per-codebook --is-mistral $MISTRAL_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 2 --groupsize 2048 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 --is-mistral $MISTRAL_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 2 --groupsize 512 --codebook-bitwidth 8 --quantize-per-codebook --is-mistral $MISTRAL_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 2 --groupsize 1024 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 --is-mistral $MISTRAL_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 3 --vq-dim 2 --groupsize 4096 --codebook-bitwidth 8 --quantize-per-codebook --is-mistral $MISTRAL_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 3 --vq-dim 2 --groupsize 8192 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 --is-mistral $MISTRAL_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 4 --vq-dim 2 --groupsize 16384 --codebook-bitwidth 8 --quantize-per-codebook --is-mistral $MISTRAL_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 4 --vq-dim 2 --groupsize 32768 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 --is-mistral $MISTRAL_7B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 1 --groupsize 256 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_13B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 1 --groupsize 512 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA2_13B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 1 --groupsize 128 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_13B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 1 --groupsize 256 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA2_13B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 3 --vq-dim 1 --groupsize 512 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_13B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 3 --vq-dim 1 --groupsize 1024 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA2_13B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 4 --vq-dim 1 --groupsize 1024 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_13B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 4 --vq-dim 1 --groupsize 2048 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA2_13B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 2 --groupsize 1024 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_13B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 2 --groupsize 2048 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA2_13B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 2 --groupsize 512 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_13B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 2 --vq-dim 2 --groupsize 1024 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA2_13B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 3 --vq-dim 2 --groupsize 4096 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_13B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 3 --vq-dim 2 --groupsize 8192 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA2_13B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 4 --vq-dim 2 --groupsize 16384 --codebook-bitwidth 8 --quantize-per-codebook $LLAMA2_13B_PATH wikitext2
python llama.py --columns-per-group 256 --use-vq --kmeans-iters 100 --kmeans-init-method mahalanobis --hessian-weighted-lookups --include-m-step --wbits 4 --vq-dim 2 --groupsize 32768 --codebook-bitwidth 8 --quantize-per-codebook --vq-scaling-blocksize 32 $LLAMA2_13B_PATH wikitext2