基础
什么是 Deep Learning?
- AI: 让计算机模仿人类行为，实现方式可以是编写程序让计算机执行规则，或者给数据让计算机学习规则。
- ML: 让计算机从数据中学习规则。
- DL: 使用神经网络从数据中学习规则。
感知机 Perceptron
感知机是神经网络的最小单元，一个神经网络由感知机组成。
感知机的计算过程
- 点积
- 偏置
- 非线性激活函数
激活函数
现实是非线性的，激活函数的存在是为了为神经网络引入非线性的因素
从感知机到神经网络
损失函数
训练和梯度下降
反向传播
训练神经网络
渐进式学习
Minini-batches
Regularization
- dropout
- early stopping