花书笔记 卷积网络（9.4卷积与池化作为一种无限强的先验）

卷积操作可以看成全连接网络但对这个全连接网络有一个无限强的先验指1.一个隐藏单元的权重必须和它邻居的权重相同。2.除了处在隐藏单元的小的空间连续的接受域内的权重之外其余的权重都为0.对第一条解释一下这里说的权重不针对同一个输出单元。如上图x_2和x_3共享 a,b,c 这三个权重值但输出单元不同比如 x_2*b -- s_2, 而 x_3*b -- s_3使用池化也是一个无限强的先验每个单元都具有对少量平移的不变性。但当任务目标与先验的假设冲突时使用卷积和池化就有可能导致欠拟合。比如如果一项任务依赖于保存精确的空间信息那么在所有的特征上使用池化就有可能增大训练误差。因为池化“模糊”了细节又比如当一项任务涉及到要对输入中相隔较远的信息进行合并时使用卷积就不太好。因为卷积操作一次只针对一小块连续空间无法合并距离远的信息