Support bw invoke fw

[heavyrain-lzy]

PR types

Others

PR changes

OPs

Describe

本PR解决如下问题：
支持对backward_op调用forward，并且forward含有int_array和scalar的Op自动生成static graph的代码，并修改scale，sign算子。
如scale的yaml配置：

- op : scale
  args : (Tensor x, Scalar scale=1.0, float bias=0.0, bool bias_after_scale=true)
  output : Tensor(out)
  infer_meta :
    func : UnchangedInferMeta
    param : [x]
  kernel :
    func : scale {dense -> dense},
           scale_sr {selected_rows -> selected_rows}
    data_type : x
  inplace : (x -> out)
  backward : scale_grad

scale_grad描述：

- backward_op : scale_grad
  forward : scale (Tensor x, Scalar scale, float bias, bool bias_after_scale) -> Tensor(out)
  args : (Tensor out_grad, Scalar scale=1.0)
  output : Tensor(x_grad)
  invoke : scale(out_grad, scale, 0.0f, true)

可以看出，scale_grad调用scale，并且scale算子含有Scalar类型参数。
对应自动生成scale_grad的代码如下：

template <typename T>
class ScaleGradOpMaker : public framework::SingleGradOpMaker<T> {
 public:
  using framework::SingleGradOpMaker<T>::SingleGradOpMaker;

 protected:
  void Apply(GradOpPtr<T> grad_op) const override {
    grad_op->SetType("scale");

    grad_op->SetInput("X", this->OutputGrad("Out"));

    grad_op->SetOutput("Out", this->InputGrad("X"));

    if (this->HasInput("ScaleTensor")) {
      grad_op->SetInput("ScaleTensor", this->Input("ScaleTensor"));
    }

    grad_op->SetAttr("scale", this->GetAttr("scale"));
    grad_op->SetAttr("bias", 0.0f);
    grad_op->SetAttr("bias_after_scale", true);
  }
};

可以对齐手写scale_grad实现。

[paddle-bot]

你的PR提交成功，感谢你对开源项目的贡献!
请关注后续CI自动化测试结果，详情请参考Paddle-CI手册。
Your PR has been submitted. Thanks for your contribution!
Please wait for the result of CI firstly. See Paddle CI Manual for details.

[zyfncg]

这个动态图下的yaml配置有什么区别吗？

[heavyrain-lzy]

scale_grad的invoke有一点不同：原始：invoke : scale(out_grad, scale, 0.0f, bias_after_scale)，现在：nvoke : scale(out_grad, scale, 0.0f, true)

[heavyrain-lzy]

已修改动态图和静态图scale的yaml文件一致

[jiahy0825]

这个新建的文件没有 op ？是预留的接口吗？

Why no op in this new file?

[heavyrain-lzy]

预留接口文件，后续pr会立即用到

[jiahy0825]

为什么此处用 generated_static_op，其他地方用 generated_op?

Why use generated_static_op here and use generated_op in other places?

[heavyrain-lzy]

已修改为generated_op

[jiahy0825]

Two small questions.

[zyfncg]

这里是不依赖的还是generated_op？

[heavyrain-lzy]

是的，已经吧generated_static_op删除。

[zyfncg]

这里按说也是generated_op

[heavyrain-lzy]

下个PR把这个注释改过来

[jiahy0825]

LGTM

[XiaoguangHu01]

LGTM