generation readme&demo

Author: fdugzc

finetune/generation/README.md

@@ -1 +1,50 @@
 # Fine-tuning CPT for Text Generation
+
+## requirements
+
+transformers==4.4.2
+
+datasets==1.4.1
+
+## data sample
+
+adgen
+```
+{"article": "[[类型, 裤], [风格, 简约], [风格, 潮], [图案, 格子], [图案, 几何], [图案, 线条], [裤长, 七分裤], [裤型, 阔腿裤]]", "summarization": "这款阔腿裤，整体设计简约利落，时尚的阔腿款式带来鲜明的几何设计美感，褪去传统装束的厚重与臃肿，更具轻盈美感。 搭配七分裤长修饰出挺拔的腿部线条，气质的格纹图案不显单调，尽显女性优雅气质。 斜门襟设计潮流出众，让你时刻保持动人的女性风采。"}
+```
+
+lcsts
+```
+{"summarization": "可穿戴技术十大设计原则", "article": "本文总结了十个可穿戴产品的设计原则，而这些原则，同样也是笔者认为是这个行业最吸引人的地方：1.为人们解决重复性问题；2.从人开始，而不是从机器开始；3.要引起注意，但不要刻意；4.提升用户能力，而不是取代人"}
+```
+
+csl
+```
+{"summarization": "网络编码在实时战术数据多播中的应用", "article": "抽象了一种基于中心的战术应用场景与业务,并将网络编码技术应用于此类场景的实时数据多播业务中。在分析基于中心网络与Many-to-all业务模式特性的基础上,提出了仅在中心节点进行编码操作的传输策略以及相应的贪心算法。分析了网络编码多播策略的理论增益上界,仿真试验表明该贪心算法能够获得与理论相近的性能增益。最后的分析与仿真试验表明,在这种有中心网络的实时数据多播应用中,所提出的多播策略的实时性能要明显优于传统传输策略。"}
+```
+
+We put some data from the adgen dataset (10 train + 10 dev + 10 test) at the demo_data/adgen/ directory, which can be used to run a demo sample. 
+
+## run
+
+The code to run the demo sample:
+```
+python run_gen.py --model_path /path/to/checkpoint --dataset adgen --data_dir demo_data
+```
+then the training results as well as generation results will be listed at ./output/adgen/1/ .
+
+## evaluation
+
+We first use the BertTokenizer to process the predictions and labels into characters like follows:
+```
+王 旭 明 ： 现 在 的 语 文 课 至 少 有 一 半 不 该 学
+彭 博 社 ： 阿 里 巴 巴 或 将 估 值 低 于 分 析 师 预 期
+美 银 同 意 支 付 166 . 5 亿 美 元 和 解 mbs
+凡 客 为 保 盈 利 牺 牲 如 风 达 业 务
+人 大 代 表 ： 养 老 险 每 多 缴 1 年 养 老 金 应 多 发 5 %
+```
+
+After that we use [ROUGE](https://github.com/pltrdy/rouge) or [BLEU-4](https://github.com/TsinghuaAI/CPM-2-Finetune/blob/b37b07da4bf834c7a3b7e8188662df91eddb9b0a/generation_metrics.py#L89) to evaluate the generation results. The training script use ROUGE to evaluate the model after each epoch. To evaluate the generation results output by run_gen.py using BLEU-4, you can change the variables in run_bleu.py and run it:
+```
+python run_bleu.py
+```

finetune/generation/demo_data/SUMMARY.adgen/dev.json

@@ -0,0 +1 @@
+[{"article": "[[类型, 上衣], [材质, 牛仔布], [颜色, 白色], [风格, 简约], [图案, 刺绣], [衣样式, 外套], [衣款式, 破洞]]", "summarization": "简约而不简单的牛仔外套，白色的衣身十分百搭。 衣身多处有做旧破洞设计，打破单调乏味，增加一丝造型看点。 衣身后背处有趣味刺绣装饰，丰富层次感，彰显别样时尚。"}, {"article": "[[类型, 裙], [材质, 针织], [颜色, 纯色], [风格, 复古], [风格, 文艺], [风格, 简约], [图案, 格子], [图案, 纯色], [图案, 复古], [裙型, 背带裙], [裙长, 连衣裙], [裙领型, 半高领]]", "summarization": "这款BRAND针织两件套连衣裙，简约的纯色半高领针织上衣，修饰着颈部线，尽显优雅气质。 同时搭配叠穿起一条背带式的复古格纹裙，整体散发着一股怀旧的时髦魅力，很是文艺范。"}, {"article": "[[类型, 上衣], [风格, 嘻哈], [图案, 卡通], [图案, 印花], [图案, 撞色], [衣样式, 卫衣], [衣款式, 连帽]]", "summarization": "嘻哈玩转童年，随时闹翻天，没错，出街还是要靠卫衣来装酷哦！ 时尚个性的连帽设计，率性有范还防风保暖。 还有胸前撞色的卡通印花设计，靓丽抢眼更富有趣味性，加上前幅大容量又时尚美观的袋鼠兜，简直就是孩子耍帅装酷必备的利器。"}, {"article": "[[类型, 裤], [风格, 英伦], [风格, 简约]]", "summarization": "裤子是简约大方的版型设计，带来一种极简主义风格而且不乏舒适优雅感，是衣橱必不可少的一件百搭单品。 标志性的logo可以体现出一股子浓郁的英伦风情，轻而易举带来独一无二的猎奇体验。"}, {"article": "[[类型, 裙], [裙下摆, 弧形], [裙腰型, 高腰], [裙长, 半身裙], [裙款式, 不规则], [裙款式, 收腰]]", "summarization": "这款来自梵凯的半身裙富有十足的设计感，采用了别致的不规则设计，凸显出时尚前卫的格调，再搭配俏皮的高腰设计，收腰提臀的同时还勾勒出优美迷人的身材曲线，而且还帮你拉长腿部比例，释放出优雅娇俏的小女人味。 并且独特的弧形下摆还富有流畅的线条美，一颦一动间展现出灵动柔美的气质。"}, {"article": "[[类型, 上衣], [版型, 宽松], [版型, 显瘦], [图案, 线条], [衣样式, 衬衫], [衣袖型, 泡泡袖], [衣款式, 抽绳]]", "summarization": "这件衬衫的款式非常的宽松，利落的线条可以很好的隐藏身材上的小缺点，穿在身上有着很好的显瘦效果。 领口装饰了一个可爱的抽绳，漂亮的绳结展现出了十足的个性，配合时尚的泡泡袖型，尽显女性甜美可爱的气息。"}, {"article": "[[类型, 裙], [材质, 蕾丝], [风格, 宫廷], [图案, 刺绣], [图案, 蕾丝], [裙型, 大裙摆], [裙下摆, 花边], [裙袖型, 泡泡袖]]", "summarization": "宫廷风的甜美蕾丝设计，清醒的蕾丝拼缝处，刺绣定制的贝壳花边，增添了裙子的精致感觉。 超大的裙摆，加上精细的小花边设计，上身后既带着仙气撩人又很有女人味。 泡泡袖上的提花面料，在细节处增加了浪漫感，春日的仙女姐姐。 浪漫蕾丝布满整个裙身，美丽明艳，气质超仙。"}, {"article": "[[类型, 裤], [版型, 显瘦], [颜色, 黑色], [风格, 简约], [裤长, 九分裤]]", "summarization": "个性化的九分裤型，穿着在身上，能够从视觉上拉长你的身体比例，让你看起来更加的有范。 简约的黑色系列，极具时尚的韵味，充分凸显你专属的成熟韵味。 修身的立体廓形，为你塑造修长的曲线。"}, {"article": "[[类型, 裙], [版型, 显瘦], [风格, 文艺], [风格, 简约], [图案, 印花], [图案, 撞色], [裙下摆, 压褶], [裙长, 连衣裙], [裙领型, 圆领]]", "summarization": "文艺个性的印花连衣裙，藏青色底蕴，低调又大气，撞色太阳花分布整个裙身，绚丽而美好，带来时尚减龄的气质。 基础款的舒适圆领，简约不失大方，勾勒精致脸庞。 领后是一粒包布扣固定，穿脱十分方便。 前片立体的打褶设计，搭配后片压褶的做工，增添层次和空间感，显瘦又有型。"}, {"article": "[[类型, 裙], [颜色, 蓝色], [风格, 清新], [图案, 蝴蝶结]]", "summarization": "裙身处采用立体蝴蝶结装饰辅以蓝色条带点缀，令衣身造型饱满富有层次的同时为其注入一丝甜美气息。 将女孩清新娇俏的一面衬托而出。"}]

finetune/generation/demo_data/SUMMARY.adgen/test.json

@@ -0,0 +1 @@
+[{"article": "[[类型, 裤], [风格, 简约], [风格, 潮], [图案, 格子], [图案, 几何], [图案, 线条], [裤长, 七分裤], [裤型, 阔腿裤]]", "summarization": "这款阔腿裤，整体设计简约利落，时尚的阔腿款式带来鲜明的几何设计美感，褪去传统装束的厚重与臃肿，更具轻盈美感。 搭配七分裤长修饰出挺拔的腿部线条，气质的格纹图案不显单调，尽显女性优雅气质。 斜门襟设计潮流出众，让你时刻保持动人的女性风采。"}, {"article": "[[类型, 上衣], [版型, 宽松], [风格, 复古], [图案, 复古], [衣样式, 针织衫]]", "summarization": "这款充满甜美气息的针织衫，看似简单，但却充满了设计感。 粗针的织法结合花纱，复古又不失时髦的感觉。 饱满的颜色，散发着浓郁的浪漫气息，特别适合这个冬天过渡春天的季节，完全可以应付各种风格不同的日常穿搭。 宽松的版型也让上身变得更加完美，修饰出好身材。"}, {"article": "[[类型, 上衣], [版型, 宽松], [版型, 显瘦], [材质, 羊毛], [材质, 混纺], [风格, 淑女], [衣样式, 毛衣], [衣领型, v领], [衣领型, 一字领], [衣款式, 钉珠], [衣款式, 亮片]]", "summarization": "亮片钉珠v领毛衣精选优质细腻的羊毛与马海毛混纺面料，手感细腻春花，轻盈亲肤不紧绷，宽松的版型提升气质，显高显瘦。 精致的大v版型加上后背的一字领修饰，彰显整体唯美气质，淑女典雅。"}, {"article": "[[类型, 裤], [颜色, 绿色], [风格, 复古], [风格, 知性], [图案, 花色], [图案, 复古], [图案, 线条], [图案, 印花], [裤长, 长裤], [裤型, 阔腿裤]]", "summarization": "moss以偏绿色的基调打造的这款花色长裤，整体采用了垂坠感十足的雪纺纱质地，结合精美的大印花点缀，带来复古且知性的阔腿裤剪裁，是非常实穿的组合。 设计师为这款裤子做了长款的剪裁，一直盖住脚背，充分拉长了腿部的线条感。"}, {"article": "[[类型, 上衣], [版型, 宽松], [风格, 休闲], [图案, 撞色], [衣袖型, 落肩袖], [衣款式, 抽绳], [衣款式, 连帽]]", "summarization": "以落肩宽松轮廓勾勒连帽卫衣款式，经典设计尽展休闲气息，更具轻松活力。 撞色的抽绳设计加入水晶贴片点缀，抢占视野，时髦个性的魅力轻松演绎，以及抓绒保暖面料，让你倍感柔软温暖。"}, {"article": "[[类型, 上衣], [风格, 街头], [风格, 休闲], [图案, 撞色], [衣样式, 外套], [衣款式, 拼接], [衣款式, 罗纹]]", "summarization": "来自英氏的男童休闲外套，融入经典的拼接撞色元素，带着满满的时尚气息，非常吸睛夺目，轻松把宝宝打造成街头酷感十足的小王子哦。 罗纹束口的衣袖，能够自然紧密的贴合宝宝手腕，不留寒风侵入的空隙，带来温暖的穿衣体验哦。"}, {"article": "[[类型, 上衣], [版型, 宽松], [衣样式, 针织衫], [衣样式, 开衫], [衣款式, 连帽]]", "summarization": "这件开衫的针织衫取消前门襟的扣子，增添了一丝随性。 连帽款式的宽松版型有一定的厚度，非常适合春季穿着。 长款的开衫针织衫，设计搭配前片贴袋装饰，实用方便，挡风保暖效果也很好。"}, {"article": "[[类型, 裙], [颜色, 浅色], [颜色, 深色], [风格, 复古], [图案, 复古], [图案, 撞色], [裙下摆, 花边], [裙长, 连衣裙]]", "summarization": "采用撞色的搭配在时尚搭配上具有出色的亮点，同时这款连衣裙具有复古的风格，将多种元素完美搭配。 满足了女性对衣着的多方面需求同时深色与浅色碰撞的自然配色。 这款带来的灵动飘逸的独特效果。 袖口的花边设计耐看耐穿增加了衣身整体的立体效果。 突出了品牌对于时尚的不断追求。"}, {"article": "[[类型, 裤], [版型, 显瘦], [裤型, 直筒裤], [裤腰型, 高腰]]", "summarization": "高腰直筒裤的设计效果穿上身后能够起到显瘦藏肉的作用，将双腿更好的包裹让妹子们可以轻松驾驭穿出时髦潮范的美感。 腰带装饰自然垂坠，拉紧之后更有着修身作用，更为灵活的穿着效果轻松驾驭，让妹子们可以展现自身迷人的气质。"}, {"article": "[[类型, 裙], [版型, 显瘦], [颜色, 白色], [风格, 性感], [裙衣长, 短款], [裙领型, v领]]", "summarization": "这是相当性感的一款白衬衣，只做了白色一款色系，是很不挑人穿的。 整个版型比较的修身的，轻松的凹显你身材曲线，衬得格外的有魅力。 短款的裁剪给相当的格力，视觉上衬得你特别的高，显得你的身材比例很赞。 心机的是领口的大v领，凹显你性感的锁骨曲线，还衬得你的脸型比较的小。"}]

finetune/generation/demo_data/SUMMARY.adgen/train.json

@@ -0,0 +1 @@
+[{"article": "[[类型, 裤], [版型, 宽松], [风格, 性感], [图案, 线条], [裤型, 阔腿裤]]", "summarization": "宽松的阔腿裤这两年真的吸粉不少，明星时尚达人的心头爱。 毕竟好穿时尚，谁都能穿出腿长2米的效果宽松的裤腿，当然是遮肉小能手啊。 上身随性自然不拘束，面料亲肤舒适贴身体验感棒棒哒。 系带部分增加设计看点，还让单品的设计感更强。 腿部线条若隐若现的，性感撩人。 颜色敲温柔的，与裤子本身所呈现的风格有点反差萌。"}, {"article": "[[类型, 裙], [风格, 简约], [图案, 条纹], [图案, 线条], [图案, 撞色], [裙型, 鱼尾裙], [裙袖长, 无袖]]", "summarization": "圆形领口修饰脖颈线条，适合各种脸型，耐看有气质。 无袖设计，尤显清凉，简约横条纹装饰，使得整身人鱼造型更为生动立体。 加之撞色的鱼尾下摆，深邃富有诗意。 收腰包臀,修饰女性身体曲线，结合别出心裁的鱼尾裙摆设计，勾勒出自然流畅的身体轮廓，展现了婀娜多姿的迷人姿态。"}, {"article": "[[类型, 上衣], [版型, 宽松], [颜色, 粉红色], [图案, 字母], [图案, 文字], [图案, 线条], [衣样式, 卫衣], [衣款式, 不规则]]", "summarization": "宽松的卫衣版型包裹着整个身材，宽大的衣身与身材形成鲜明的对比描绘出纤瘦的身形。 下摆与袖口的不规则剪裁设计，彰显出时尚前卫的形态。 被剪裁过的样式呈现出布条状自然地垂坠下来，别具有一番设计感。 线条分明的字母样式有着花式的外观，棱角分明加上具有少女元气的枣红色十分有年轻活力感。 粉红色的衣身把肌肤衬托得很白嫩又健康。"}, {"article": "[[类型, 裙], [版型, 宽松], [材质, 雪纺], [风格, 清新], [裙型, a字], [裙长, 连衣裙]]", "summarization": "踩着轻盈的步伐享受在午后的和煦风中，让放松与惬意感为你免去一身的压力与束缚，仿佛要将灵魂也寄托在随风摇曳的雪纺连衣裙上，吐露出一阵阵微妙而又浪漫的清新之意。 宽松的a字版型除了能够带来足够的空间，也能以上窄下宽的方式强化立体层次，携带出自然优雅的曼妙体验。"}, {"article": "[[类型, 上衣], [材质, 棉], [颜色, 蓝色], [风格, 潮], [衣样式, polo], [衣领型, polo领], [衣袖长, 短袖], [衣款式, 拼接]]", "summarization": "想要在人群中脱颖而出吗？那么最适合您的莫过于这款polo衫短袖，采用了经典的polo领口和柔软纯棉面料，让您紧跟时尚潮流。 再配合上潮流的蓝色拼接设计，使您的风格更加出众。 就算单从选料上来说，这款polo衫的颜色沉稳经典，是这个季度十分受大众喜爱的风格了，而且兼具舒适感和时尚感。"}, {"article": "[[类型, 上衣], [版型, h], [材质, 蚕丝], [风格, 复古], [图案, 条纹], [图案, 复古], [图案, 撞色], [衣样式, 衬衫], [衣领型, 小立领]]", "summarization": "小女人十足的条纹衬衣，缎面一点点的复古，还有蓝绿色这种高级气质复古色，真丝材质，撞色竖条纹特别的现代感味道，直h型的裁剪和特别的衣长款式，更加独立性格。 双层小立领，更显脸型。"}, {"article": "[[类型, 裙], [材质, 网纱], [颜色, 粉红色], [图案, 线条], [图案, 刺绣], [裙腰型, 高腰], [裙长, 连衣裙], [裙袖长, 短袖], [裙领型, 圆领]]", "summarization": "这款连衣裙，由上到下都透出一丝迷人诱惑的女性魅力，经典圆领型，开口度恰好，露出你的迷人修长的脖颈线条，很是优雅气质，短袖设计，在这款上竟是撩人美貌，高腰线，散开的裙摆，到小腿的长度，遮住了腿部粗的部分，对身材有很好的修饰作用，穿起来很女神； 裙身粉红色花枝重工刺绣，让人一眼难忘！ 而且在这种网纱面料上做繁复图案的绣花，是很考验工艺的，对机器的要求会更高，更加凸显我们的高品质做工；"}, {"article": "[[类型, 上衣], [颜色, 纯色], [图案, 纯色], [图案, 文字], [图案, 印花], [衣样式, 卫衣]]", "summarization": "一款非常简洁大方的纯色卫衣，设计点在于胸前的“博物馆长夜”的中文字印花，新颖特别，让人眼前一亮。 简单又吸睛的款式，而且不失时髦感，很适合个性年轻人。"}, {"article": "[[类型, 上衣], [版型, 宽松], [颜色, 黑色], [颜色, 灰色], [颜色, 姜黄色], [风格, 休闲], [图案, 线条], [图案, 撞色], [衣样式, 毛衣], [衣袖型, 落肩袖]]", "summarization": "看惯了灰色的冷淡和黑色的沉闷感，来一点醒目的彩色增添点活力吧。 亮眼又吸睛的姜黄色色调，嫩肤显白非常的有设计感。 趣味的撞色和宽松的版型相交辉映，修饰身形小缺点的同时，时尚又百搭。 优雅的落肩袖，轻松修饰肩部线条，让毛衣上身凸显出一丝慵懒随性的休闲感，时尚魅力尽显。"}, {"article": "[[类型, 上衣], [风格, 休闲], [风格, 潮], [图案, 印花], [图案, 撞色], [衣样式, 衬衫], [衣领型, 圆领], [衣长, 中长款], [衣长, 常规], [衣袖长, 无袖]]", "summarization": "黑与白，两种最极端的颜色却轻松搭配成了经典，就像此款衬衣，无需过多装饰，仅色调就足够醒目个性，受潮宝们所喜欢。 做了无袖中长款的样式，走路带风的感觉着实不错，圆领的设计，不是常规的衬衫领，少了点正式反而有种休闲感觉，适合孩子们穿着。 后背大面积撞色印花装点，是时尚潮流的象征，也让衣衣不至于单调，轻松就能穿出彩。"}]

finetune/generation/output/adgen/1/all_results.json

@@ -0,0 +1,14 @@
+{
+    "epoch": 5.0,
+    "init_mem_cpu_alloc_delta": 63192,
+    "init_mem_cpu_peaked_delta": 18282,
+    "init_mem_gpu_alloc_delta": 1570937856,
+    "init_mem_gpu_peaked_delta": 0,
+    "train_mem_cpu_alloc_delta": 452278,
+    "train_mem_cpu_peaked_delta": 14756893,
+    "train_mem_gpu_alloc_delta": 4128082432,
+    "train_mem_gpu_peaked_delta": 2772146176,
+    "train_runtime": 41.2989,
+    "train_samples": 10,
+    "train_samples_per_second": 0.121
+}