coefficients_sgd函数中w的梯度更新公式

[CyrilZhao-sudo]

void coefficients_sgd(double ** dataset, int col, double *coef, double l_rate, int n_epoch, int train_size) { int i; for (i = 0; i < n_epoch; i++) { int j = 0;//±éÀúÿһÐÐ for (j = 0; j < train_size; j++) { double yhat = predict(col,dataset[j], coef); double err = dataset[j][col - 1] - yhat; coef[0] += l_rate * err * yhat * (1 - yhat); int k; for (k = 0; k < col - 1; k++) { coef[k + 1] += l_rate * err * yhat * (1 - yhat) * dataset[j][k]; } } } for (i = 0; i < col; i++) { //printf("coef[%d]=%f\n",i, coef[i]); } }

coef[k + 1] += l_rate * err * yhat * (1 - yhat) * dataset[j][k]
上面的梯度更新公式式改进的?

[JianxGao]

你好，我们写代码的时候参考了这本书《machine learning algorithms from scratch》，书中使用了这个公式
b = b + learning_rate * (y-yhat) * yhat * (1 - yhat) * x，其中yhat是预测结果，y是lable。
（书中对应的公式是9.3在P71）