Contents

Lec3-Manual Neural Networks Backprop

Manual Neural Network I

回顾一下通用近似定理

/lec3-manual-neural-networks-backprop/image.png

注意事实上多项式、Nearest Neighbor等都是基于通用近似定理的。

非线性ReLU函数新理解

/lec3-manual-neural-networks-backprop/image-1.png 画图折线

反向传播

/lec3-manual-neural-networks-backprop/image-2.png no one else can do this awful math happily 😀

so here comes the backpropagation algorithm & autograd /lec3-manual-neural-networks-backprop/image-3.png /lec3-manual-neural-networks-backprop/image-4.png 潜在的模块化和自动求导🤔