(此 ISSUE 为 PaddlePaddle Hackathon 活动的任务 ISSUE,更多详见PaddlePaddle Hackathon)
【任务说明】
- 在PaddleNLP的XLNet模型代码中,新增 XLNetLMHeadModel,XLNetForMultipleChoice 和 XLNetForQuestionAnswering 这三个类。参考 https://github.com/huggingface/transformers/blob/master/src/transformers/models/xlnet/modeling_xlnet.py
- 新增 distilbert-base-multilingual-cased 和 sshleifer/tiny-distilbert-base-uncased-finetuned-sst-2-english 两个模型参数权重。权重参考:https://huggingface.co/models,转换文档:[如何贡献模型](http://wiki.baidu.com/[https:/paddlenlp.readthedocs.io/zh/latest/community/contribute_models/index.html)
【提交内容】
【技术要求】
- 了解PaddleNLP
- 了解Hugging-Face transformers
- 了解预训练语言模型