信息论计算实战：从香农熵、互信息与信道容量到霍夫曼编码、汉明纠错与率失真理论的完整工程链路 信息论不是通信工程师的专利，它是所有"从噪声中提取信号、从冗余中压缩信息、从不确定性中做决策"系统的共同数学底座。本文沿着香农 1948 年的原始脉络，把信息论拆成可运行、可验证的工程零件：先建立熵与互信息这套信息度量的"语言"，再落地信源编码（霍夫曼）、信道容量（香农极限）、信道编码（汉明纠错）、率失真（有损压缩极限）四条主线，最后把每一块映射回 AI/深度学习——你会发现交叉熵损失、VAE 正… 数学 2026年10月11日 0 点赞 0 评论 6 浏览
