how to save the models?

[ZefengHan]

how to save the models?

[jiangxinyang227]

以Bi-LSTM+Attention为例，你可以将训练模型中注释的代码取消注释就会保存模型了，然后在项目的根路径下创建model/Bi-LSTM的文件夹路径，代码中提供了两种保存模型的方法，tf.train.Saver保存为checkpoint，另一种tf.saved_model.builder保存为pb文件。

[ZefengHan]

十分感谢。还有一个疑问。以前学习transform时老师说开始的positionembedding和词向量是直接加的关系（对应位置相加），不是拼接关系，好像代码中也没有使用positionembedding？盼复

[jiangxinyang227]

不客气，transformer论文中的实现方法确实是相加，而且位置向量是用sin，cos分段函数生成的，这个在代码中有实现，Transformer类中的_positionEmbedding方法实现的就是这个，Transformer中注释的代码就是实现这个位置向量和wordEmbedding相加的。其实这个位置向量有很多可以实现的方法，作者也没有说论文中的方法是最佳实现，在IMDB这个任务中，我尝试的是固定的one-hot位置向量反而效果更好。所以这个位置向量有很多可以做的工作。

[ZefengHan]

是这样啊 明白啦 代码写的非常全面啊 再次感谢

[WangQi1024]

请问'Transformer' object has no attribute 'binaryPreds'，这个属性在前面没有定义，怎么解决呢？

[jiangxinyang227]

已修改，因为这是之前用的变量名，在兼容多分类之后这个变量名就被改了