线性回归的从零开始实现

https://zh.d2l.ai/chapter_linear-networks/linear-regression-scratch.html

如果数据大小不能被batch_size整除怎么办?

(indices[i: min(i + batch_size, num_examples)]):不被整除,余数小于bitchsize,就把剩下的数组组成一个新的数据集进行迭代

初始权重设为0的时候,为什么我也得到结果了 :melting_face:

1 Like

我觉得是因为对于线性回归来说w全部初始化为0不会对后续的优化过程有影响,因为线性回归没有隐藏层,w_i会因为组合的x_i不同有不同的更新值;
但是对于深度神经网络,全部初始化为0是不行的,因为这样会导致每一层计算后w的更新是一样的,神经元之间的权重始终相等(对称性),无法拟合复杂的模型