deeplearning
浅谈深度学习训练中数据规范化(Normalization)的重要性 - Oldpan的个人博客
各个框架下Tensor中的通道顺序
N: batch;
C: channel
H: height
W: width
Caffe 的Blob通道顺序是：NCHW; dim
Tensorflow的tensor通道顺序：默认是 N*H*W*C， 也支持NCHW，使用cuDNN会更快;
Pytorch中tensor的通道顺序：N*C*H*W N×D×H×W
TensorRT中的tensor 通道顺序： N*C*H*W
————————————————
版权声明：本文为CSDN博主「凌风玉」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/oLingFengYu/article/details/88033668
feature map 特征 map:图
在每个卷积层，数据都是以三维形式存在的。你可以把它看成许多个二维图片叠在一起，其中每一个称为一个feature map。
在输入层，
如果是灰度图片，那就只有一个feature map；
如果是彩色图片，一般就是3个feature map（红绿蓝）。
层与层之间会有若干个卷积核（kernel），上一层和每个feature map跟每个卷积核做卷积，都会产生下一层的一个feature map。
一张图（矩阵）经过卷积核（kernal）卷积运算之后得到的一张新的图（矩阵），就是feature map。
feature map 由卷积核(Fliter) 和输入做卷积运算得到一个 Fliter
对应卷积后得到一个 feature map不同的Filter (不同的 weight, bias) ，
卷积以后得到不同的 feature map，提取不同的特征（得到对应 specialized neuro）
举例：
同一层：
Fliter1 的w1,b1 运算后提取的是 形状边缘的特征： feature map1
Fliter2 的w2,b2 运算后提取的是 颜色深浅的特征： feature map2
下一层：
Fliter3 的w3,b3 运算后提取的是 直线形状的特征： feature map3
Fliter4 的w4,b4 运算后提取的是 弧线形状的特征： feature map4
Fliter5 的w5,b5 运算后提取的是 红色深浅的特征： feature map5
Fliter6 的w6,b6 运算后提取的是 绿色深浅的特征： feature map6
一句话的CNN： 如何理解feature map在逐步缩小，feature map的channels在逐步增多的合理性（LeNet-5流程）
feature map的 channels 增多，我们希望复杂特征的数量也在越多越好，越多我们对图片了解越多；
feature map的 长与宽要越来越小，因为我们希望每个特征都是精炼简洁的，去除不必要的噪音；每个特征，都是前一层feature map 上的多个特征融合而成，本身的信息量充足，无需在长和宽上增加信息量；
作者：深度碎片
链接：https://zhuanlan.zhihu.com/p/36286985
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
如何理解空洞卷积（dilated convolution）
增大感受野 https://www.zhihu.com/question/54149221
1.卷积操作
假设有一个5*5的图像，使用一个3*3的卷积核（filter）进行卷积，得到一个3*3的矩阵（其实是Feature Map，后面会讲）