deeplearning


原文链接: deeplearning

浅谈深度学习训练中数据规范化(Normalization)的重要性 - Oldpan的个人博客

各个框架下Tensor中的通道顺序

N: batch;
C: channel
H: height
W: width

Caffe 的Blob通道顺序是:NCHW; dim
Tensorflow的tensor通道顺序:默认是 N*H*W*C, 也支持NCHW,使用cuDNN会更快;
Pytorch中tensor的通道顺序:N*C*H*W N×D×H×W
TensorRT中的tensor 通道顺序: N*C*H*W

————————————————
版权声明:本文为CSDN博主「凌风玉」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/oLingFengYu/article/details/88033668

feature map 特征 map:图

在每个卷积层,数据都是以三维形式存在的。你可以把它看成许多个二维图片叠在一起,其中每一个称为一个feature map。
在输入层,
如果是灰度图片,那就只有一个feature map;
如果是彩色图片,一般就是3个feature map(红绿蓝)。
层与层之间会有若干个卷积核(kernel),上一层和每个feature map跟每个卷积核做卷积,都会产生下一层的一个feature map。

一张图(矩阵)经过卷积核(kernal)卷积运算之后得到的一张新的图(矩阵),就是feature map。

feature map 由卷积核(Fliter) 和输入做卷积运算得到一个 Fliter
对应卷积后得到一个 feature map不同的Filter (不同的 weight, bias) ,
卷积以后得到不同的 feature map,提取不同的特征(得到对应 specialized neuro)
举例:
同一层:
Fliter1 的w1,b1 运算后提取的是 形状边缘的特征: feature map1
Fliter2 的w2,b2 运算后提取的是 颜色深浅的特征: feature map2
下一层:
Fliter3 的w3,b3 运算后提取的是 直线形状的特征: feature map3
Fliter4 的w4,b4 运算后提取的是 弧线形状的特征: feature map4
Fliter5 的w5,b5 运算后提取的是 红色深浅的特征: feature map5
Fliter6 的w6,b6 运算后提取的是 绿色深浅的特征: feature map6

一句话的CNN: 如何理解feature map在逐步缩小,feature map的channels在逐步增多的合理性(LeNet-5流程)

feature map的 channels 增多,我们希望复杂特征的数量也在越多越好,越多我们对图片了解越多;
feature map的 长与宽要越来越小,因为我们希望每个特征都是精炼简洁的,去除不必要的噪音;每个特征,都是前一层feature map 上的多个特征融合而成,本身的信息量充足,无需在长和宽上增加信息量;

作者:深度碎片
链接:https://zhuanlan.zhihu.com/p/36286985
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

如何理解空洞卷积(dilated convolution)

增大感受野 https://www.zhihu.com/question/54149221

1.卷积操作
假设有一个5*5的图像,使用一个3*3的卷积核(filter)进行卷积,得到一个3*3的矩阵(其实是Feature Map,后面会讲)

`