Neural Networks 线性不可分怎么处理？ 怎么encode不同的信息？ 王朝落幕 Neural Networks Architecture data -> input layer -> hidden layer -> output layer data driven, non-linear 😋 😄 ? ReLU, 通用近似定理 详细证明看一看官方给出的课本 凸优化 牢NN当然是进行非凸优化 😀

Optimization grad check 解析计算后数值计算梯度验证之 1 2 3 4 5 import torch torch.autograd.gradcheck(func, inputs, eps=1e-6, atol=1e-4, raise_exception=True) torch.autograd.gradgradcheck(func, inputs, grad_outputs=None, eps=1e-6, atol=1e-4, raise_exception=True) # numpy allclose np.allclose(a, b, rtol=1e-5, atol=1e-8) 梯度下降法 略 蒙特卡洛 把期望转化为数值求解，上图的等式两边求导也可，从而得到梯度 混合优化方法 Adam = RMSprop + Momentum 😮 为什么只是一阶函数优化？

Final Project: The Game of Life ? about the title: well, umm, this title just pop up in the cursor and I don’t mean to write that… it just feels like a good idea to write something about the game of life ==> 61B or 61C must have a project on this topic 🤔 Trees Processing def里面def的风格感觉是CS106里面提到的递归helper function的风格 😮 Recursive Accumulation using static variables to accumulate the results of recursive calls 😮