对于卷积神经网络，硕士博士不需要懂原理，只要会应用就行了，是这样吗?（纯经验）
任何知识都必然会有深浅之分，最底层的必须学会。你说你懂卷积层，那这些内容你是否完全清楚？
[*]图像处理领域经典卷积核以及其作用；
[*]卷积层的反向传播推导；
[*]卷积层的快速实现；
如果你不是做底层的，不关注底层实现，那你是否清楚这些呢？
[*]特殊卷积核如1*3和3*1卷积核作用；
[*]特殊卷积如空洞卷积的实现与作用；
[*]卷积神经网络的可视化分析；
如果你不关注具体结构设计，只关心怎么把它用到一个通用场景，那么：
[*]在设计图像增广的时候你是否清楚网络本身具备哪些特？
[*]在设计loss的时候，你是否清楚网络的输出范围，是linear还是normlinear?多标签分类还是单标签分类?要加softmax还是sigmoid?
[*]在调整学习率的时候学习率大了会出现什么情况，学习率小了会出现什么情况?
如果你连网络结构都不想设计，就想拿来套用一下，那么：
[*]该场合是否满足你用的网络的先验假设?这个假设的意思和上一点的1相似，指网络本身存在的性质。
[*]若场合中出现了运算量的限制或是flops的要求，你是否清楚你调用的模型具有多大的参数量?
[*]场合中如果存在其他先验信息，你是否可以通过简单修改结构或是修改loss或是其他来实现你的需求?
一个卷积就可以拓展出这么多内容来，而这也只是深度学习的冰山一角而已。不够话又说回来，这些东西也不需要大家全懂，只需要知道最基本的，比如每一行 pytorch的代码代表的操作是什么意思，优化器是如何根据梯度计算参数更新的，两个 tensor 相乘到底是 element-wise 还是矩阵乘法，sparse tensor 是如何转换成 embedding 向量的，那这个确实需要弄懂，弄不懂的话，很难写出来自己想要的模型。在基本语法掌握以后，你还需要了解了解业务，掌握一些基本的"直觉"，比如卷积可以用在CV，比如搜广推的样本只适合学一次，比如DIN 定涨点，超多层网络需要配残
页:
[1]
