Support 0-size tensor in parameter creating, forward and backward

[HydrogenSulfate]

PR Category

Operator Mechanism

PR Types

New features

Description

Pcard-75624

相关issue：deepmodeling/deepmd-kit#4514 (comment)
0-size Tensor的支持需要满足前反向机制改造 + 前反向 Kernel 改造，本PR在框架的前反向相关机制上进行了适配：“放宽”了部分代码执行分支的判断条件，将0-size视为正常Tensor而不是非法Tensor抛出异常，从而让0-size Tensor能够进入某些分支进行一些预期的操作。前向、反向kernel适配见相关PR集合：paddle Tensor 规范化第二期

从端到端的角度来看，本PR的改动体现在以下三个方面：

1. 支持创建0-size的parameter
2. 运行机制上支持0-size的前向计算（视具体计算场景，可能需要额外依赖涉及的所有前向kernel均支持0-size输入）
3. 运行机制上支持0-size的反向传播，包括有/无梯度累加的case（视具体计算场景，可能需要额外依赖涉及的所有反向kernel支持0-size输入，如使涉及tanh_grad，那么需要tanh_grad kernel支持0-size输入）

import paddle


def test_zero_param():
    class Model(paddle.nn.Layer):
        def __init__(self) -> None:
            super().__init__()
            self.w = self.create_parameter(shape=[0, 4], dtype="float32")

    model = Model()
    print(f"model.w.shape = {model.w.shape}")
    print(f"model.w.data_ptr() = {model.w.data_ptr()}")
    print(f"model.w.place = {model.w.place}")
    print(f"model.w.strides = {model.w.strides}")
    print(f"model.w.is_contiguous() = {model.w.is_contiguous()}")


def test_zero_forward():
    x = paddle.randn([0, 2])
    y = x + 1
    print(y.shape)


def test_zero_backward():
    x = paddle.randn([0, 2])
    x.stop_gradient = False
    y = x.tanh()
    g = paddle.grad(y, x)[0]
    print(g.shape)


if __name__ == "__main__":
    test_zero_param()
    test_zero_forward()
    test_zero_backward()

[paddle-bot]

你的PR提交成功，感谢你对开源项目的贡献!
请关注后续CI自动化测试结果，详情请参考Paddle-CI手册。
Your PR has been submitted. Thanks for your contribution!
Please wait for the result of CI firstly. See Paddle CI Manual for details.

[zyfncg]

这里建议保留一个抛出异常的else分支

[zyfncg]

has_allocation内部有defined的判断，应该可以合并

[HydrogenSulfate]

1. 已将所有paddle::Tensor相关的defined() && has_allocation()改为has_allocation()
2. 移除了几处分布式相关的修改（本PR只修改单机，暂不修改分布式相关逻辑）

[XiaoguangHu01]

LGTM