选自TowardsDataScinc
作者：MukulMalik
机器之心编译
参与：Pdro、思源
信息论在机器学习中非常重要，但我们通常熟知的是信息论中交叉熵等模型度量方法。最近很多研究者将信息论作为研究深度方法的理论依据，而本文的目标不是要去理解神经网络背后的数学概念，而是要在信息论的视角下可视化与解读深度神经网络。
「Information:thngativrciprocalvaluofprobability.」—克劳德香农
编码器-解码器
编码器-解码器架构绝不仅仅是组合在一起的两个卷积神经网络或者循环神经网络！事实上它们甚至都可以不是神经网络！
最初从信息论的概念来说，编码器仅仅用于压缩信息而解码器可以扩展编码过的信息（白癜风山东哪家医院好白癜风哪里能治好