Lazy nn.Graph FeedInputOpExpr

[chengtbf]

Lazy nn.Graph 所依赖的 FeedInputOpExpr： 将该 job 的所有 input tensor （EagerTensor）转化成 InputOp，并生成对应的 LazyTensor

• LazyInterpret::ApplyImpl(FeedInputOpExpr)
• 导出FeedInputOpExpr
• 为每个 Functionnal 的 OpExpr 分配 job 内的独立唯一 op name
• 调通最小测试样例

解决的 BUG 进度：

• 根据环境变量启动 MultiClientSession 获取 BUG （关联 : multi client launch #5372 ） @daquexian
• MultiClientSession 里的多处 BUG （关联： MultiClientSession #5407 ） @leaves-zwx
  - [ ] OpExpr 中，ArgTuple 的解析没有考虑到非 UserOp： （关联：ArgTuple #4795） @hjchen2 代码： TODO

https://github.com/Oneflow-Inc/oneflow/blob/master/oneflow/core/framework/arg_tuple.cpp#L26

[chengtbf]

这里是调用 FeedInputOpExpr 的示例。注意：由于现在 Python 端的 Tensor 并不是 C++ 里的 Tensor 直接导出的类，所以这里拿到的 Python 端的 Tensor 需要做一些处理之后取到内部的 C++ Tensor 才能传给 OpExpr：

x = flow.Tensor(2, 4)
type(x) # => tensor
if not x.is_determined:
    x.determine()
tensor_in_c = x._local_or_consistent_tensor
type(tensor_in_c) # => oneflow._oneflow_internal.Tensor

[strint]

非consistent的就是dynamic的么？

[chengtbf]

是的，Local 永远是 Dynamic