Refactor RoFormer Model #3049

JunnYu · 2022-08-15T09:39:12Z

PR types

Others

PR changes

Models

Description

重构RoFormer Model
支持output_attentions和output_hidden_states
支持roformer-sim模型进行相似句生成

from paddlenlp.transformers import RoFormerForCausalLM, RoFormerTokenizer
import paddle
import numpy as np
paddle.set_device("gpu:5")
namelist = ["roformer-chinese-sim-char-ft-base", "roformer-chinese-sim-char-base", "roformer-chinese-sim-char-ft-small", "roformer-chinese-sim-char-small"]
all_models = []
for name in namelist:
    model = RoFormerForCausalLM.from_pretrained(name)
    model.eval()
    tokenizer = RoFormerTokenizer.from_pretrained(name)
    all_models.append([name, model, tokenizer])

    

def gen_synonyms(text, model, tokenizer, n=100, k=20):
    ''''含义： 产生sent的n个相似句，然后返回最相似的k个。
    做法：用seq2seq生成，并用encoder算相似度并排序。
    '''
    # 寻找所有相似的句子
    r = []
    inputs1 = tokenizer(text, return_tensors="pd", padding=True)
    with paddle.no_grad():
        output = tokenizer.batch_decode(model.generate(**inputs1, num_return_sequences=n, top_p=0.95, decode_strategy="sampling", max_length=128)[0], skip_special_tokens=True)
        for o in output:
            o = o.replace(" ","").replace(text, "") # 去除空格，去除原始text文本。
            r.append(o)
    
    # 对相似的句子进行排序
    r = [i for i in set(r) if i != text and len(i) > 0]
    r = [text] + r
    inputs2 = tokenizer(r, padding=True, return_tensors="pd")
    with paddle.no_grad():
        outputs = model.roformer(**inputs2)
        Z = outputs[1].cpu().numpy()
    Z /= (Z**2).sum(axis=1, keepdims=True)**0.5
    argsort = np.dot(Z[1:], -Z[0]).argsort()
    
    return [r[i + 1] for i in argsort[:k]]

text_list  = ["雀巢裁员4000人：时代抛弃你时，连招呼都不会打！", "这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。", "百度视频，你的视界。"]
from pprint import pprint
for model_data in all_models:
    name, model, tokenizer = model_data
    for text in text_list:
        out = gen_synonyms(text, model, tokenizer)
        print("name", name + "-" + text)
        pprint(out)
        print("="*100)
name roformer-chinese-sim-char-ft-base-雀巢裁员4000人：时代抛弃你时，连招呼都不会打！
['雀巢裁员4000人：当时代抛弃你时，连招呼都不会打！',
 '雀巢裁员4000人：时代抛弃你时连招呼都不会打！',
 '雀巢裁员4000人：时代抛弃你时，连呼招也不会打！',
 '雀巢裁员4000人：时代抛弃你时，连呼叫都不会打！',
 '雀巢裁员4000人：时代抛弃你时，连招呼都不会打……',
 '雀巢裁员4000人：时代抛弃你时，连连呼都不会打！',
 '雀巢裁员4000人时代抛弃你时连招呼都不会打！',
 '雀巢裁员4000人，时代抛弃你时，连招呼都不会打！',
 '雀巢裁员4000人：时代抛弃你时，连招呼都不会打',
 '雀巢裁员4000人：时代抛弃你时，连连呼吸都不会打！',
 '雀巢裁员4000人：时代抛弃你时，连呼吸都不会打！',
 '雀巢裁员4000人：时代抛弃你时，连电话都不会打！',
 '雀巢裁员4000人——时代抛弃你时，连招呼都不会打！',
 '雀巢裁员4000人：时代抛弃你时，连招呼都不会打。',
 '雀巢裁员4000人时代抛弃你时，连呼吸都不会打！',
 '雀巢裁员四千人：时代抛弃你时，连招呼都不会打！',
 '雀巢裁员4000人：时代抛弃你时，连招呼都不会打，这或许是？',
 '雀巢裁员4000人：时代抛弃你时，连呼吸都不会打。',
 '雀巢裁员4000人：时代抛弃你时，连微信也不会打！',
 '雀巢裁员4000人——时代抛弃你时，连招呼都不会打。']
====================================================================================================
name roformer-chinese-sim-char-ft-base-这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。
['这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，将其关闭在旧金山的一个办公室。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来集团曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是该公司今年在美国进行的第二轮裁员，去年5月，蔚来裁员70名员工，关闭了旧金山的一个办公室。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来公司裁员70名员工，关闭了旧金山的一间办公室。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来开始裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是一个企业今年在美国进行的第二轮裁员，今年5月，蔚来裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是蔚来今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，并关闭了位于旧金山的一个办公室。',
 '这是蔚来今年在美国的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是该公司今年第二轮裁员，在5月份，蔚来已裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来公司还裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是此次公司在美国的第二轮裁员，今年5月，蔚来已裁员70名员工，将位于旧金山的一家办公室进行了切削。',
 '这是蔚来今年在美国进行的第二轮裁员，就是今年5月，蔚来裁员70名员工，关闭了旧金山的一个办公室。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工。他们对旧金山的一个办公室进行了宣传。',
 '这是该公司今年第二轮裁员，今年5月，蔚来再次裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是一项在美国第二轮裁员，旷工是在4月的5月，蔚来公司已经裁员了70名员工，关闭了旧金山的办公室。',
 '这是该公司今年第二轮裁员，在今年5月，蔚来裁员70名员工，并取消了位于旧金山的一个办公室。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来已裁员70名员工，他们在旧金山的一个办公室内开始了公司的调查。',
 '这是蔚来今年在美国进行的第二轮裁员，今年5月，蔚来在旧金山已裁员70名员工。',
 '这是该公司今年第二次裁员，而且在今年5月，蔚来公司将将73名员工关闭在旧金山的办公室。']
====================================================================================================
name roformer-chinese-sim-char-ft-base-百度视频，你的视界。
['百度视频，你的视界哦。',
 '百度视频，你的视界！',
 '百度视频，你的视界呀。',
 '百度视频，你的视界呀！',
 '百度视频你的视界。',
 '百度视频，你的视界、',
 '百度视频，你的视界啊',
 '百度视频，你的视界',
 '百度视频，您的视界',
 '你的视界，百度视频。',
 '百度视频你的视界',
 '百度视频啊，你的视界呢？',
 '百度，你的视界！',
 '要百度百度，你的视界。',
 '百度视频就是你的视界。',
 '百度视频：你的视界',
 '你百度的视界。',
 '百度视频能够你的视界',
 '百度视频然后视界。',
 '百度视频哦。']
====================================================================================================
name roformer-chinese-sim-char-base-雀巢裁员4000人：时代抛弃你时，连招呼都不会打！
['雀巢裁员4000人:时代抛弃你时，连招呼都不会打！',
 '雀巢裁员4000人：时代抛弃你时，连招呼都不会打。',
 '雀巢裁员4000人：时代抛弃你时连招呼都不会打！',
 '雀巢裁员4000人：“时代抛弃你时，连招呼都不会打！',
 '雀巢裁员4000人：时代抛弃你时，连招呼都不会打……',
 '雀巢裁员4000人，时代抛弃你时连招呼都不会打！',
 '雀巢裁员4000人，时代抛弃你时，连招呼都不会打！',
 '雀巢裁员4000人：时代抛弃你时，连招呼都不会打？',
 '雀巢裁员4000人:时代抛弃你时，连招呼都不会打!',
 '雀巢裁员4000人：时代抛弃你时连招呼都不会打？',
 '雀巢裁员4000人，时代抛弃你时，连招呼都不会打。',
 '雀巢裁员4000人：时代抛弃你时，连招呼都不会打',
 '雀巢裁员3500人：时代抛弃你时，连招呼都不会打！',
 '雀巢裁员3000人：时代抛弃你时，连招呼都不会打！',
 '雀巢裁员6000人：时代抛弃你时，连招呼都不会打！',
 '雀巢裁员4000人时代抛弃你时，连招呼都不会打！',
 '雀巢裁员4000人：时代抛弃你时，连招呼都不会打”台词。',
 '雀巢裁员4000人时代抛弃你时连招呼都不会打！',
 '雀巢裁员400人：时代抛弃你时，连招呼都不会打！',
 '三、雀巢裁员4000人时代抛弃你时，连招呼都不会打！']
====================================================================================================
name roformer-chinese-sim-char-base-这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。
['这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来也曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了旧金山的一个办公室。',
 '这是该公司今年在美国进行的第二轮裁员，去年5月，蔚来公司曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来将裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是该公司今年在美国进行的第二轮裁员,今年5月,蔚来曾裁员70名员工,关闭了位于旧金山的一个办公室。',
 '是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是蔚来公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来公司已经裁员70名员工，关闭了位于旧金山的一个办公室。',
 '是蔚来公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是蔚来公司今年在美国进行的第二轮裁员，今年5月，蔚来裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是蔚来今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是美国蔚来公司今年在美国进行的第二轮裁员，今年5月，蔚来裁员70名员工，关闭了位于旧金山的一个办公室。',
 '该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来已裁员100名员工，关闭了位于旧金山的一个办公室。',
 '这是蔚来去年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '据悉，这是蔚来今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '蔚来公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '2014年，该公司在美国进行的第二轮裁员，今年5月，蔚来裁员70名员工，关闭了位于旧金山的一个办公室。',
 '美国在美国进行了第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '据了解，这是蔚来2014年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。']
====================================================================================================
name roformer-chinese-sim-char-base-百度视频，你的视界。
['百度视频，你的视界，。',
 '百度视频,你的视界。',
 '百度的视频，视界你的视界。',
 '百度视频，你的视界',
 '百度视频，你的视界，你',
 '百度视频你的视界',
 '百度视频，你的视界哦。',
 '百度视频，在你的视界。',
 '百度视频，看你的视界。',
 '你的视界，百度视频，我的视界。',
 '百度视频，你的视界啊！！',
 '百度视频，你的视界，我的视界。',
 '你百度视频，他的视界。',
 '百度视频，你的视界吧！',
 '你的视界是百度视频也可以看。',
 '百度视频，我的视界。',
 '百度视频、我的视界。',
 '你视界如何收看百度视频。',
 '视界百度视频。',
 '你可以看百度视频，视界？']
====================================================================================================
name roformer-chinese-sim-char-ft-small-雀巢裁员4000人：时代抛弃你时，连招呼都不会打！
['雀巢裁员4000人：时代抛弃你时,连招呼都不会打！',
 '雀巢裁员4000人：时代抛弃你时连招呼都不会打！',
 '雀巢裁员4000人:时代抛弃你时连招呼都不会打！',
 '雀巢裁员4000人：时代抛弃你时，连招呼都不会打。',
 '雀巢裁员4000人时代抛弃你时，连招呼都不会打。',
 '美国美国裁员4000人：时代抛弃你时，连招呼都不会打！',
 '裁员4000人时代抛弃你时，连招呼都不会打！',
 '大连裁员4000人：时代抛弃你时，连招呼都不会打！',
 '飞机裁员4000人：时代抛弃你时，连招呼都不会打！',
 '1日上市的雀巢裁员4000人，时代抛弃你时，连招呼都不会打！',
 '雀巢裁员5000人：时代抛弃你时连招呼都不会打！',
 '大家来看看被凌宁拉克裁员4000人：时代抛弃你时，连招呼都不会打！',
 '打完雀巢裁员4000人当时再拍摄人杀了他时，连招呼都不会打！',
 '丹麦美甲裁员4000人：时代抛弃你时，连招呼都不会打！',
 '您好，雀巢裁员6000人：时代抛弃你时，连招呼都不会打！',
 '雀巢裁员3500人时，连招呼都不会打！',
 '永久抛弃你和永久跑了4000人，连招呼都不会打！',
 '在雀巢裁员群中，时代抛弃你时，连招呼都不会打！',
 '购买雀巢裁员30000人后，连招呼都不会打！',
 '微粒贷事件搜索全部消息：时代抛弃你时，连招呼都不会打！']
====================================================================================================
name roformer-chinese-sim-char-ft-small-这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。
['此是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是该公司今年在美国进行了第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是该公司在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工关闭了位于旧金山的一个办公室。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，取消了位于旧金山的一个办公室。',
 '该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员75名员工，关闭了位于旧金山的一个办公室。',
 '此公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '该公司今年在美国进行了第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是该公司于今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工停止了位于旧金山的一个办公室。',
 '这是该公司今年在美国进行了第二轮裁员，今年5月，蔚来曾裁员70名员工，其老人，撤销了位于旧金山的一个办公室。',
 '该公司今年第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是该公司2014年在美国进行的第二轮裁员，今年5月，蔚来曾裁员50名员工，关闭了位于旧金山的一个办公室。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，被调驻旧金山。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室，其实在说的为价格。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，最高企业从1987年4月开始称号令把四连门清空单位分居成旧金山。',
 '这是该公司在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工。',
 '此公司今年在美国进行了第二轮裁员，今年5月，蔚来曾裁员70名员工。',
 '这是该公司今年在美国进行了第二轮裁员，今年5月，蔚来曾裁员70名员工。']
====================================================================================================
name roformer-chinese-sim-char-ft-small-百度视频，你的视界。
['百度视频，你的视界啊。',
 '百度视频，你的视界！',
 '百度视频，你的视界',
 '百度视频你的视界。',
 '百度视频你的视界！',
 '百度视频，您的视界！',
 '你的视界，你的百度视频。',
 '百度视频你的视界',
 '你的视界，百度视频',
 '百度视频你的视界百度视频。',
 '百度视频，视界！',
 '百度视频，你的视界是',
 '百度视频，视界',
 '亲，百度视频，视界',
 '你的视界百度视频',
 '百度视频、视界',
 '百度视频和视界。',
 '百度视频视界',
 '你的视界是百度视频。',
 '视界百度视频。']
====================================================================================================
name roformer-chinese-sim-char-small-雀巢裁员4000人：时代抛弃你时，连招呼都不会打！
['雀巢裁员4000人:时代抛弃你时，连招呼都不会打！',
 '雀巢裁员4000人：时代抛弃你时连招呼都不会打！',
 '雀巢裁员4000人：时代抛弃你时，连招呼都不会打。',
 '雀巢裁员4000人：时代抛弃你时，连招呼都不会打？',
 '21.雀巢裁员4000人:时代抛弃你时，连招呼都不会打！',
 '雀巢裁员4000人：时代抛弃你时，连招呼都不会。',
 '雀巢裁员4000人：时代抛弃你时，连招呼都不会打，请进之说的！',
 '位容裁员4000人：时代抛弃你时，连招呼都不会打！',
 '位将裁员4000人：时代抛弃你时，连招呼都不会打！',
 '著名裁员4000人：时代抛弃你时，连招呼都不会打！',
 '斑鲸裁员4000人：时代抛弃你时，连招呼都不会打。',
 '全球裁员4000人：时代抛弃你时，连招呼都不会打！',
 '振鹿裁员4000人：时代抛弃你时，连招呼都不会打！',
 '芜湖裁员5000人：时代抛弃你时，连招呼都不会打！',
 '婕妤城裁员4000人：时代抛弃你时，连招呼都不会打！',
 '季羡容裁员4000人：时代抛弃你时，连招呼都不会打！',
 '菠菜裁员4000人：时代抛弃你时，连招呼都不会打！',
 '20.匿名裁员4000人：时代抛弃你时，连招呼都不会打！',
 '长江裁员4000人：时代抛弃你时，连招呼都不会打！',
 '职务员3000人：时代抛弃你时，连招呼都不会打！']
====================================================================================================
name roformer-chinese-sim-char-small-这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。
['这是该公司在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员30名员工，关闭了位于旧金山的一个办公室。',
 '是公司在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '蔚来是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室，2003年5月，蔚来办理终极经营。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室，是加入丙股份担保的东西。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室，在它的领导下，董事可以当时曾在许多人说了世界上如此看得',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室，办公室，持有公司新股变更代表股份10份',
 '是这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室，前部的电信分业厅的联系电话是9580。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室，所以创办为“天生营人”。',
 '蓝茜在今年美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '美国上月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '《恋爱过程》，该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '这是该公司今年在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工。',
 '这是该公司在美国进行的第二轮裁员，今年5月，蔚来曾裁员70名员工。',
 '公司今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '每年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '今年5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。',
 '5月，蔚来曾裁员70名员工，关闭了位于旧金山的一个办公室。']
====================================================================================================
name roformer-chinese-sim-char-small-百度视频，你的视界。
['百度视频，你的视界！',
 '百度视频你的视界！',
 '百度视频，你的视界，你的视界。',
 '你的视界，百度视频。',
 '百度视频，你的视界',
 '百度视频你的视界？',
 '百度视频了，你的视界。',
 '百度视频你的视界',
 '百度视频哦，你的视界。',
 '关于百度视频，你的视界',
 '百度视频就是你的视界！',
 '百度知道视频，你的视界。',
 '百度视频啊，你的视界啊。',
 '百度视频，你的视界、频道。',
 '百度视频有你的视界。',
 '百度百度，你的视界。',
 '百度百科视频在你的视界。',
 '百度视频，你有视界。',
 '百度的视界。',
 '能知道百度视频你的视界。']
====================================================================================================

ZeyuChen

pr comments里面的case挺实用的需要有个入口让用户感知到这个应用场景。是不是可以做数据增强？

lugimzzz · 2022-08-16T01:52:29Z

pr comments里面的case挺实用的需要有个入口让用户感知到这个应用场景。是不是可以做数据增强？

这个就是因为打算做一个数据增强生成式策略加上的

guoshengCS · 2022-08-23T02:32:52Z

paddlenlp/transformers/roformer/modeling.py

+                if "int" in convert_dtype(attention_mask.dtype):
+                    attention_mask = (1.0 - attention_mask) * -1e4
+                attention_mask = attention_mask.unsqueeze([1, 2]).expand(
+                    (-1, -1, attention_mask.shape[-1], -1))


这里重写update_model_kwargs_for_generation主要是移除position_ids的更新和修改attention_mask的更新是吗，修改的attention_mask更新方式是RoFormer特殊的吗

可以先行合入，后面再看看attention mask如何统一调整为使用0/1表示来作为模型输入，尤其是生成这里

guoshengCS · 2022-08-23T10:54:46Z

paddlenlp/transformers/roformer/modeling.py

+                if "int" in convert_dtype(attention_mask.dtype):
+                    attention_mask = (1.0 - attention_mask) * -1e4
+                attention_mask = attention_mask.unsqueeze([1, 2]).expand(
+                    (-1, -1, attention_mask.shape[-1], -1))


可以先行合入，后面再看看attention mask如何统一调整为使用0/1表示来作为模型输入，尤其是生成这里

guoshengCS · 2022-08-23T10:57:21Z

也参考 #3013 调整下Roformer单测支持新增加的这些output_attentions和output_hidden_states功能吧

JunnYu added 6 commits August 15, 2022 17:34

update roformer

da37fbb

update

9070274

Merge branch 'develop' into suport_roformer_sim

6c43629

use CausalLMOutputWithCrossAttentions

f2486d7

typo

9fb9848

update docs

d1bcec2

ZeyuChen reviewed Aug 16, 2022

View reviewed changes

guoshengCS reviewed Aug 23, 2022

View reviewed changes

guoshengCS approved these changes Aug 23, 2022

View reviewed changes

Merge branch 'develop' into suport_roformer_sim

ae6ac25

Merge branch 'develop' into suport_roformer_sim

5f9ad79

guoshengCS merged commit 949c848 into PaddlePaddle:develop Aug 23, 2022

JunnYu mentioned this pull request Aug 24, 2022

PaddleNLP 2.3.6 Release Note Candidate #3122

Closed

guoshengCS mentioned this pull request Aug 23, 2022

Add FasterCodeGen/FasterGPTJ #3017

Merged

JunnYu mentioned this pull request Sep 5, 2022

PaddleNLP 2.4.0 Release Note Candidate #3190

Closed

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Refactor RoFormer Model #3049

Refactor RoFormer Model #3049

JunnYu commented Aug 15, 2022

ZeyuChen left a comment

lugimzzz commented Aug 16, 2022

guoshengCS Aug 23, 2022 •

edited

Loading

guoshengCS Aug 23, 2022

guoshengCS Aug 23, 2022

guoshengCS commented Aug 23, 2022

Refactor RoFormer Model #3049

Refactor RoFormer Model #3049

Conversation

JunnYu commented Aug 15, 2022

PR types

PR changes

Description

ZeyuChen left a comment

Choose a reason for hiding this comment

lugimzzz commented Aug 16, 2022

guoshengCS Aug 23, 2022 • edited Loading

Choose a reason for hiding this comment

guoshengCS Aug 23, 2022

Choose a reason for hiding this comment

guoshengCS Aug 23, 2022

Choose a reason for hiding this comment

guoshengCS commented Aug 23, 2022

guoshengCS Aug 23, 2022 •

edited

Loading