Skip to content

Commit 14ee0f0

Browse files
authored
Merge pull request PaddlePaddle#357 from Meiyim/dev
fix distill readme
2 parents 72e2123 + f32ebbc commit 14ee0f0

File tree

2 files changed

+1
-1
lines changed

2 files changed

+1
-1
lines changed

.metas/ernie_distill.png

174 KB
Loading

distill/README.md

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -12,7 +12,7 @@
1212
# ERNIE Slim 数据蒸馏
1313
在ERNIE强大的语义理解能力背后,是需要同样强大的算力才能支撑起如此大规模模型的训练和预测。很多工业应用场景对性能要求较高,若不能有效压缩则无法实际应用。
1414

15-
<img src="http://agroup-bos.cdn.bcebos.com/ae16a29d6a334c74107cebcf56bc2419d385b364" title="ERNIE数据蒸馏示意图" width="900">
15+
![ernie_distill](../.metas/ernie_distill.png)
1616

1717
因此,如上图所示,我们基于[数据蒸馏技术](https://arxiv.org/pdf/1712.04440.pdf)构建了**ERNIE Slim数据蒸馏系统**。它的原理是通过数据作为桥梁,将ERNIE模型的知识迁移至小模型,以达到损失很小的效果却能达到上千倍的预测速度提升的效果。
1818

0 commit comments

Comments
 (0)