反向传播，要存储每一层的导数

卷积层

由多个卷积核组成

每个卷积核与输入数据卷积运算生成新的特征图

有几个卷积核就会生成几个卷积图

卷积核和输入的矩阵对应，一维，二维，三维；

卷及核大小用户定义；

卷积核深度 由输入数据而定；

卷积核的值就是卷积神经网络的参数

卷积核初值随机生成，通过反向传播进行更新

注意卷积后得到的是一个1*1的pixel

卷积核：

奇偶选择：奇数是有个中心的，偶数也是可以的

覆盖范围：全部的特征图；有时候会只是扫描一个小的区域（比如说人脸，眼睛区域，只受这个区域进行loss和update，识别率会更好）

步长

对输入特征图的扫描间隔，会影响输出图的大小

数目n

为了方便gpu运算，

例如64,128,256

与传统神经网络相比，参数变少，运算变多了

正向传播

反向传播

功能层

非线性激励层

relu函数

池化层

输入图片过大时用

归一化层

Batch Normalization

做探测的时候用

切分层

在某些应用中，独立对某些区域单独学习的好处：

学习多套参数，更强的特征描述能力

融合层

级连

运算融合：例如ResNet 的融合

先设计一个模型，试一下，再回归理论，调整

一维卷积一般是文本分类或者语音识别

增维

生成图片的时候用