香农定理，又称信息熵定理，是由美国科学家克劳德·香农提出并生长完整的一种信息量度方式。简朴来说，香农定理告诉我们，信息的数目可以用“比特”来器量。
比特指的是信息的基本单元，一个比特可以形貌一个信息的二元选择。好比，在一个问卷考察中，一个问题只有两种选项，那么这个问题就可以形貌为一个比特。若是这个问题有四个选项，那么就需要两个比特。
香农定理的现实应用异常普遍，好比在数字通讯、数据压缩、密码学等领域都有着普遍的应用。在通讯领域中，通过对信息信源举行熵编码便可有用地压缩信息传输的带宽，提高数据传输效率。而在加密领域中，实现平安通讯的条件即是降低信息传输的噪声和提高信息的熵值。
