PaddleNLP 2.4.2 Release Note Candidate

[gongel]

New Features

Text summarization application #3275

• 新增Pegasus生态模型，打通FasterGeneration；
• 新增Pegasus中文文本摘要应用，支持Taskflow一键调用。

Question generation

• 新增问题生成解决方案，提供基于UNIMO-Text和大规模多领域问题生成数据集训练的通用问题生成预训练模型，支持高性能推理，训练推理部署全流程打通 add qg example add qg example #3410 add qg-taskflow #3438 add qg models and update readme #3560
• UNIMO-Text 支持自适应生成 position_ids，token_type_ids，attention mask 等功能 Add unimo unittests #3349

Machine Translation

• FasterMBart 支持动转静导出 MBART supports freeze multi-lingual model when dy2sta #3367 [FasterGeneration] MBart supports dy2sta #3356
• MBart tokenizers 升级重构，支持最新 tokenizer 所有功能 Add MBart unit tests #3323
• 分离 MBartTokenizer 和 MBart50Tokenizer，MBart50Tokenizer 支持 AutoTokenizer，MBartTokenizer 和 MBart50Tokenizer 支持自定义 sentence piece 参数 Add MBart unit tests #3323

Dialogue

• UnifiedTransformer 支持自适应生成 position_ids，token_type_ids，attention mask 等功能 Add unit tests for UnifiedTransformer #3177

Pipelines

• 新增DocPrompt 样例 update docprompt pipeline example #3542 Add docprompt example in pipelines #3534
• 新增ERNIE Vilg文图生成。 Add ERNIE-ViLG models into Pipelines #3512

Taskflow

• 优化Taskflow定制模型使用体验，增加模型参数文件的更新检查机制。 Add file check for custom model #3506

Text Generation

• 新增 T5 对 gated-silu 支持 Add unit tests for T5 #3115
• 升级 T5Tokenizer 以支持 PaddleNLP 最新功能 Add unit tests for T5 #3115
• 新增 T5 对 4D attention mask 支持 Add unit tests for T5 #3115
• 新增 T5 支持以字典形式返回 complete t5 more output #3370

FasterGeneration

• FasterGeneration 支持 PaddlePaddle 2.4.0-rc0 及以上版本编译 FT Add support for libpaddle.so for paddle2.4 #3545

Bug Fix

• 修复 MBart 限制模型本身翻译语言的问题 [FasterGeneration] MBart supports dy2sta #3356
• 修复 CodeGen 生成时未使用 token type ids 的问题 Add codegen unittests #3348
• 修复 CodeGen 自适应生成 attention mask 错误 Add codegen unittests #3348
• 修复 T5 在 use_cache=False 情况下解码出错问题 Add unit tests for T5 #3115
• 修复文本摘要taskflow不能加载自定义模型的bug fix text summarization taskflow cannot load self-defined model #3533
• 修复问题生成预测时的bug fix prediction bug in qg example #3524
• 修改uie训练代码中utils.py文件中result变量未定义的问题 Bug fix uie utils #3490
• FAQ Finance修复Paddle Serving 在windows上的bug。Add windows serving support for faq finance #3491
• 修复Pipelines解析docx文档，文本和图片出现在同一个paragraph的情况。 Update docx parsing for Pipelines #3546
• 修复语义索引的文本分类的数据说明。Fix README.md of Retrieval based classification #3551

Others

[gongel]

Thx all😊