我是斜杠青年，一個熱愛前沿科學(xué)的“雜食性”學(xué)者！

信息是什么，是真的嗎？克勞德·香農(nóng)認識到元素成分令人驚訝。

如果有人告訴你一個你已經(jīng)知道的事實，他們基本上什么都沒告訴你。然而，如果他們泄露了一個秘密，可以公平地說，有些事情真的被傳達了。

這種區(qū)別是克勞德·香農(nóng)信息理論的核心。它由1948年一篇劃時代的論文《通信數(shù)學(xué)理論》介紹，為量化準確發(fā)送和接收消息所需的信息量提供了一個嚴格的數(shù)學(xué)框架，這取決于預(yù)期信息可能表達什么的不確定性程度。

也就是說，舉個“栗子”吧……

在一個場景中，我有一個詭計硬幣——它兩邊都有頭。我要翻兩次。傳達結(jié)果需要多少信息？根本沒有，因為在收到消息之前，你完全可以肯定兩個翻轉(zhuǎn)都會出現(xiàn)。

在第二個場景中，我用普通硬幣翻轉(zhuǎn)兩次——一邊是頭，另一邊是尾巴。我們可以使用二進制代碼傳達結(jié)果：頭部為0，尾巴為1。有四條可能的消息——00、11、01、10——每條消息都需要兩位信息。

那么，這有什么意義呢？在第一個場景中，你對消息的內(nèi)容完全確定，并且傳輸它需要零位。在第二場景中，你有1比4的機會猜出正確的答案——25%的確定性——消息需要兩位信息來解決這種模糊性。一般地說，你對信息表達什么了解越少，傳達的信息就越多。

香農(nóng)是第一個使這種關(guān)系在數(shù)學(xué)上精確的人。他在計算消息所需的最小位數(shù)（后來稱為香農(nóng)熵的閾值）的公式中捕獲了它。他還表明，如果發(fā)件人使用的位數(shù)少于最小值，消息將不可避免地被扭曲。

加州大學(xué)圣地亞哥分校的信息理論家塔拉·哈維迪表示：“他也有這樣的直覺，即當(dāng)你對學(xué)習(xí)某事最驚訝時，信息就會最大化?！?/p>

“熵”一詞來自于物理學(xué)中，熵是紊亂的衡量標準。云的熵高于冰立方體，因為云比立方體的晶體結(jié)構(gòu)允許更多的方法來排列水分子。在類似的情況下，隨機消息具有很高的香農(nóng)熵——如何排列其信息的可能性很大——而遵循嚴格模式的消息具有較低的熵。在物理學(xué)和信息論中計算熵的方式也存在形式相似之處。在物理學(xué)中，熵公式涉及對可能的物理狀態(tài)進行對數(shù)。在信息論中，它是可能的事件結(jié)果的對數(shù)。

香農(nóng)熵的對數(shù)公式掩蓋了它捕獲內(nèi)容的簡單性——因為思考香農(nóng)熵的另一種方式是，平均而言，確定消息內(nèi)容所需的是或否問題的數(shù)量。

例如，想象一下兩個氣象站，一個在圣地亞哥，另一個在圣彼得堡。每個人都想將自己城市的七天天氣預(yù)報發(fā)送給另一個。圣地亞哥幾乎總是陽光明媚，這意味著你對天氣預(yù)報會的傳播充滿信心。圣彼得堡的天氣不確定——晴天的機會更接近50-50。

發(fā)送每個七天的預(yù)測需要多少個是或否問題？對圣地亞哥來說，有利可圖的第一個問題可能是：所有七天的天氣預(yù)報都是晴天嗎？如果答案是肯定的（而且可能性是肯定的），那么你已經(jīng)在一個問題中確定了整個預(yù)測。但對于圣彼得堡，你幾乎必須一天一天地完成天氣預(yù)報：第一天陽光明媚嗎？第二天呢？

消息內(nèi)容的確定性越高，平均而言，你確定它所需的是或否問題就越少。

要再舉一個例子，請考慮兩個版本的字母游戲。首先，我從英文字母表中隨機選擇了一個字母，我想讓你猜猜。如果你使用最好的猜測策略，平均需要4.7個問題才能得到它。（一個有用的第一個問題是：“字母在字母表的前半部分嗎？”）

在游戲的第二個版本中，你不是猜測隨機字母的價值，而是試圖猜測實際英語單詞中的字母。現(xiàn)在，你可以調(diào)整你的猜測，以利用一些字母比其他字母出現(xiàn)得更頻繁的事實（“它是元音嗎？”）了解一個字母的值有助于你猜測下一個字母的值（q幾乎總是跟著u）。香農(nóng)計算出，英語的熵為每個字母2.62位（或2.62是或否問題），遠遠低于每個字母隨機出現(xiàn)時所需的4.7位。換句話說，模式減少了不確定性，這使得使用相對較少的信息進行大量通信成為可能。

請注意，在這樣的示例中，你可以提出更好或更糟糕的問題。香農(nóng)熵設(shè)置了一個不可侵犯的底線：這是傳達信息所需的絕對最小位數(shù)，或是或否問題。

“香農(nóng)展示了光速之類的東西，這是一個基本的極限?！薄跋戕r(nóng)熵是我們可以壓縮源的根本限制，而不會冒失真或損失的風(fēng)險?！?/p>

今天，香農(nóng)熵是許多應(yīng)用環(huán)境中的尺度，包括信息壓縮技術(shù)。例如，你可以壓縮大型電影文件，這要歸功于像素顏色具有統(tǒng)計模式，就像英語單詞一樣。工程師可以為從一幀到下一幀的像素顏色模式構(gòu)建概率模型。這些模型可以通過為模式分配權(quán)重，然后根據(jù)像素可能出現(xiàn)的所有可能方式獲取權(quán)重的對數(shù)來計算香農(nóng)熵。該值告訴你“無損”壓縮的極限——在你開始丟失有關(guān)其內(nèi)容的信息之前，電影絕對可以壓縮。

任何壓縮算法的性能都可以與此限制進行比較。如果你離它很遠，你有動力更努力地工作，找到更好的算法。但如果你接近它，宇宙的信息定律就會阻止你做得更好。

了解更多信息科學(xué)，關(guān)注我就是你最好的選擇！