Dev bcewithlogits loss

[MARD1NO]

1. 增加 BCEWithLogitsLoss 算子
2. 去除了 原始 BCELoss 引入的sigmoid 运算,但是缺乏对数值范围的检查,需要保证数值在 0-1, 后续到C++后端重写算子

BCEWithLogitsLoss 相当于 sigmoid + bceloss, 但是Pytorch为了更好的数值稳定性, 没有直接使用sigmoid运算, 而是做了一些数学操作, 下面是其源代码

Tensor binary_cross_entropy_with_logits(const Tensor& input, const Tensor& target, const Tensor& weight, const Tensor& pos_weight, int64_t reduction) {
    Tensor loss;
    auto max_val = (-input).clamp_min_(0);
    if (pos_weight.defined()) {
        // pos_weight need to be broadcasted, thus mul(target) is not inplace.
        auto log_weight = (pos_weight - 1).mul(target).add_(1);
        loss = (1 - target).mul_(input).add_(log_weight.mul_(((-max_val).exp_().add_((-input - max_val).exp_())).log_().add_(max_val)));
    } else {
        loss = (1 - target).mul_(input).add_(max_val).add_((-max_val).exp_().add_((-input -max_val).exp_()).log_());
    }

    if (weight.defined()) {
        loss.mul_(weight);
    }

    return apply_loss_reduction(loss, reduction);
}

使用了大量数学操作,以及inplace操作

为了更清晰的表示整个计算思路,相关计算的python版本,会在单测中体现

[Ldpe2G]

推导了一下，知道 pytroch 的公式为什么是这个形式的了：

下面是带 pos_weight 的版本：

文档说是用到了 log-sum-exp 这个 trick，查了下资料
https://www.xarg.org/2016/06/the-log-sum-exp-trick-in-machine-learning/

[MARD1NO]

推导了一下，知道 pytroch 的公式为什么是这个形式的了：

下面是带 pos_weight 的版本：

文档说是用到了 log-sum-exp 这个 trick，查了下资料
https://www.xarg.org/2016/06/the-log-sum-exp-trick-in-machine-learning/

之前看过几个基于softmax的，现在好像更清晰了， 为了避免负数 在 计算 e^(-x) 出现溢出情况， 先反转，取到max，再间接通过

log-sum-exp 这个小技巧来避免了数值溢出