Skip to content

【PaddlePaddle Hackathon】53、在 PaddleNLP 中完善BigBird模型下游任务代码 #1077

@TCChenlong

Description

@TCChenlong

(此 ISSUE 为 PaddlePaddle Hackathon 活动的任务 ISSUE,更多详见PaddlePaddle Hackathon

【任务说明】

任务标题:完善BigBird模型下游任务代码

技术标签:深度学习框架,预训练语言模型

任务难度:中等

详细描述:

在PaddleNLP的BigBird模型代码中,新增 BigBirdForQuestionAnswering,BigBirdForTokenClassification,BigBirdForMultipleChoice,BigBirdForCausalLM 和 BigBirdForMaskedLM 这五个类。参考 https://github.com/huggingface/transformers/blob/master/src/transformers/models/big_bird/modeling_big_bird.py

【提交内容】

  • 任务 PR 到 PaddleNLP(代码+注释)
  • 项目单测文件

【技术要求】

  • 了解PaddleNLP
  • 了解Hugging-Face transformers
  • 了解预训练语言模型

Metadata

Metadata

Assignees

No one assigned

    Labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions