(此 ISSUE 为 PaddlePaddle Hackathon 活动的任务 ISSUE,更多详见PaddlePaddle Hackathon)
【任务说明】
任务标题:完善BigBird模型下游任务代码
技术标签:深度学习框架,预训练语言模型
任务难度:中等
详细描述:
在PaddleNLP的BigBird模型代码中,新增 BigBirdForQuestionAnswering,BigBirdForTokenClassification,BigBirdForMultipleChoice,BigBirdForCausalLM 和 BigBirdForMaskedLM 这五个类。参考 https://github.com/huggingface/transformers/blob/master/src/transformers/models/big_bird/modeling_big_bird.py
【提交内容】
【技术要求】
- 了解PaddleNLP
- 了解Hugging-Face transformers
- 了解预训练语言模型