[WeeklyReports] 2024.04.06~2024.04.19 周报汇总

[AndSonder]

姓名

xxx

本周工作

1. xxx
2. xxx

下周工作

1. xxx
2. xxx

详细周报链接：

• https://github.com/PFCCLab/Camp/pull/xxx

项目一：PIR 算子补全与兼容机制建设

• @xingmingyyj (@kangguangli)

项目二：PIR 控制流专项

• @huangjiyi (@winter-wang)

项目三：PIR Python API 升级及机制建设

• @zrr1999 (@YuanRisheng, @0x45f)

项目四：动转静 SOT 模块 Python 3.12 支持

• @gouzil (@SigureMo)

项目五：算子支持复数计算专项

• @zyt1024 (@GGBond8488)
• @zbt78 (@GGBond8488)

项目六：模型迁移工具建设

• @RedContritio (@zhwesky2010) （本周请假）

项目七：框架 API 易用性提升

• @NKNaN (@zhwesky2010)

项目八：组合机制算子专项和机制建设

• @zeroRains (@cyber-pioneer)
• @Eddie-Wang1120 (@cyber-pioneer)

项目九：高阶微分的性能分析和优化

• @YibinLiu666 (@HydrogenSulfate)

项目十：静态图半自动并行训练性能优化

• @AndSonder (@From00)

项目十一：全自动并行架构升级

• @Corle-hyz (@Caozhou1995)

项目十二：科学计算领域拓展专项（DeePMD-kit、光学案例）

• @xusuyong (@HydrogenSulfate)

项目十三：科学计算领域拓展专项（超分重构方向）

• @zhaojiameng (@lijialin03)

项目十四：科学计算领域拓展专项（领域流体方向）

• @DUCH714 (@wangguan1995)

项目十五：科学计算领域拓展专项（领域气象方向）

• @Yang-Changhui (@zhiminzhang0830)

项目十六：CINN 支持动态 Shape 专项（前端方向）

• @lshpku (@zyfncg, @jiahy0825)
• @ZelinMa557 (@zyfncg, @jiahy0825)

项目十八：CINN 静态 shape 下鲁棒性和性能优化

• @yulangz (@feifei-111, @2742195759)
• @WintersMontagne10335 (@feifei-111, @2742195759)

项目十九：CINN 支持动态 Shape 专项（后端规则升级）

• @austin-00 (@BiynXu)

项目二十：CINN 支持动态 Shape 专项 （后端模型扩量）

• @unseenme (@zhhsplendid)

项目二十一：Paddle CMake 治理和编译优化

• @silverling (@risemeup1)

项目二十二：PaddleMIX 套件能力建设（文图方向）

• @Tsaiyue (@westfish)

项目二十三：PaddleMIX 套件能力建设（图文方向）

• @cocoshe (@LokeZhou)

项目二十四：大模型训练稳定性和高效低价小模型快速收敛

• @lishuai-97 (@GuoxiaWang)

项目二十六：推理 Pass & 融合算子优化

• @yinfan98 (@yuanlehome)

项目二十七：PaddleSpeech 套件能力建设

• @kk-2000 (@zxcdlucy)
• @mattheliu (@zxcdlucy)

[unseenme]

姓名

Github ID: unseenme

本周工作

1. 离线测试流程代码开发与测试

下周工作

1. 开发新的生成器。

2. 继续离线测试。

详细周报链接：

• [WeeklyReport] unseenme 2024.04.06~2024.04.19 #225

[DUCH714]

姓名

Github ID: DUCH714

本周工作

汽车风阻预测项目

阅读 DrivAerNet

阅读 Transolver

探索讨论将DrivAerNet和Transolver应用到GINO上的可能性

下周工作

汽车风阻预测项目

尝试GINO降维以及提高GINO精度

详细周报链接：

• [WeeklyReport] DUCH714 2024.04.06~2024.04.19 #226

[lshpku]

姓名

梁书豪

本周工作

1. 修复CINN前端在reduce的axis为None时的错误 PR：[CINN] Removed 0d-to-1d pass PaddlePaddle/Paddle#62612
2. 研究CINN后端TileFirstGeneralTactic在处理reduce算子时访存不连续的问题

下周工作

1. 在TileFirstGeneralTactic中实现global memory coalescing策略

详细周报链接：

• [WeeklyReport] lshpku 2024.04.06~2024.04.19 #227

[NKNaN]

姓名

Github ID: NKNaN

本周工作

1. 针对 paddle.argsort 和 paddle.sort 的功能增强
2. 分析修改 kaiming initializers 后，所有仓库存量代码中的可能出现的不兼容问题

下周工作

1. 验证 paddle.distribution.Categorical 中 sample、entropy、log_prob 的底层计算逻辑是否和 PyTorch 一致
2. 计划修改 paddle.nn.initializer.TruncatedNormal：增加参数 a, b
3. 计划修改 paddle.nn.Layer 中的 named_sublayers：增加参数 memo

详细周报链接：

[zhaojiameng]

姓名

赵加孟

本周工作

1. paddlescience代码转换
2. 前向精度对齐

下周工作

1. 后向精度对齐
2. 训练代码debug

详细周报链接：

• [WeeklyReport] zhaojiameng 2024.04.06~2024.04.19 #228

[gouzil]

姓名

田川

本周工作

1. PIR 动转静理想态单测推全验证任务（二期）
2. PIR 0 维单测适配结项

下周工作

1. PIR 动转静理想态单测推全验证任务（二期）

详细周报链接：

• [WeeklyReport] gouzi 2024.04.06~2024.04.19 #231

[zeroRains]

姓名

卢林军

本周工作

1. 新增reduce_as op并修复其BUG

• [Prim] add reduce_as op for paddle PaddlePaddle/Paddle#63064

2. 解决test_sub_graph_78中，开启with_prim=True会导致单测报错的BUG

• [Prim] Fix the bug in test_sub_graph_78 when open prim setting PaddlePaddle/Paddle#63251

3. 补充组合机制开发文档中的动态图支持部分

下周工作

1. 尝试对reduce_as完成complex64/128和int8的支持
2. 补充reduce_as的中文文档
3. 完善之前尚未merge的PR

详细周报链接：

• [WeeklyReport] zeroRains 2024.04.06~2024.04.19  #232

[AndSonder]

姓名

卢畅

实习项目

静态图半自动并行训练性能优化

本周工作

本周工作主要是编写 ZBV 编排所需要用到的显存估计功能

1. 显存估计工具编写

在 Llama2 模型上与实际跑模型时候的显存进行对比，目前发现和实际显存还有一定的差距，需要进一步定位问题。

相关 PR：

• [Auto Parallel] Add Pipeline Memory Estimator PaddlePaddle/Paddle#63402

2. 定位 Forward 阶段显存逐步增加的原因

3. 排查 Backward 阶段的显存增长问题

4. 排查 Backward 阶段峰值显存估计差距的原因

目前 1F1B 场景下显存估计和实际显存基本一致，但是 Backward 阶段的峰值显存估计和实际峰值显存还是有一定的差距。这个问题还在排查中。估计 backward program 的峰值显存与实际运行时候的峰值显存差了 10% 左右。

下周工作

进一步排查 Backward 阶段峰值显存估计差距的原因，尽快解决这个问题。在显存估计功能完成后，开始着手编写 ZBV 的编排功能。

详细周报链接：

• [WeeklyReport] AndSonder 2024.04.06~2024.04.19 #233

[ZelinMa557]

姓名

马欣楷

本周工作

1. 修复paddle.mean接口cinn编译失败的部分case
2. 进行paddle.mean cinn性能测试，发现性能问题和一些bug

下周工作

1. 分析和解决paddle.mean接口的各种问题

详细周报链接：

• [WeeklyReport] ZelinMa557 2024.04.06~2024.04.19 #229

[huangjiyi]

姓名

黄济懿

本周工作

本周请假

下周工作

待安排

[silverling]

姓名

凌少鹏

本周工作

• 对 “支持 Clang/LLVM 编译 Paddle” 工作进行收尾：
  • [HACKATHON 6th] move distributed unit tests PaddlePaddle/Paddle#63381
  • [HACKATHON 6th] Specify nvcc host compiler when using clang PaddlePaddle/Paddle#63382
• 抽离 PHI 模块下的 GPU 算子部分，单独编译为 libphi_kernel_gpu.so（以 Linux 为例），从而使 Paddle 可以编译 6 个 CUDA 架构。
  • [HACKATHON 6th] Split GPU kernels in PHI PaddlePaddle/Paddle#63712

下周工作

• 完善模块抽离工作

详细周报链接：

• [WeeklyReport] silverling 2024.04.06~2024.04.19 #235

[yulangz]

姓名

Github ID: yulangz

实习项目

CINN子图鲁棒性和性能优化

本周工作

1. CINN 故障修复

   1. 添加 ExpandAsOpInferSymbolicShape，同时修复遇到的 add_broadcast_to_elementwise_pass 中的问题，PR：support ExpandAsOpInferSymbolicShape PaddlePaddle/Paddle#63576
   2. 添加 Clip、CrossEntropyWithSoftmax InferSymbolicShape，修复遇到的 reduce op 问题，修复遇到的 dynamic fusion 问题，PR：[PIR+CINN]Support some OpInferSymbolicShape PaddlePaddle/Paddle#63713

下周工作

1. 继续依据子图 CE，修复 CINN 的实现。

详细周报链接：

#236

[Yang-Changhui]

姓名

杨昌辉

本周工作

1. 基本完成对earthfromer的复现工作
2. 复现了neuraloperator中的tfno和uno网络

下周工作

1. 完善earthformer的技术文档
2. 对sfno网络进行训练，以及精度对齐

PR：

• [Hackathon 6th Code Camp No.15] support earthformer PaddlePaddle/PaddleScience#816

详细周报链接：

• [WeeklyReport] Yang-Changhui 2024.04.06~2024.04.19 #237