吳軍信息論40講完整版

吳軍信息論40講吳軍，約翰霍普金斯大學(xué)計算機科學(xué)博士、計算機科學(xué)家、硅谷投資人、著名自然語言處理和搜索專家，他師從于著名的信息論專家賈里尼克和數(shù)學(xué)家?guī)斓┢眨�還是信息論中最大熵算法的改進者。

吳軍信息論40講內(nèi)容

發(fā)刊詞：信息時代每個人的必修課

面對不確定性世界的方法論，利用信息消除不確定性(香農(nóng))

信息時代的最大特征是不確定性

01：影響世界的三比特信息

對一個未知系統(tǒng)所作出的估計和真實情況的偏離，構(gòu)成信息損失，偏離越多損失越大

信息量和不確定性有關(guān)，大家都知道的事，就沒有信息量

信息作用的大小和信息量有關(guān)

02：解開世界之謎的三篇諾貝爾論文

信息是我們世界固有的屬性

世界上最關(guān)鍵的信息(知識)其實是非常簡潔的，信息量與信息長度無關(guān)

03：大數(shù)據(jù)思維的科學(xué)基礎(chǔ)

發(fā)現(xiàn)未知規(guī)律：互信息理論

動態(tài)調(diào)整做事策略：足夠多的數(shù)據(jù)可以幫助我們動態(tài)匹配最佳結(jié)果

精準服務(wù)：從重研究方法到重數(shù)據(jù)收集的轉(zhuǎn)變

解決人工智能問題：利用數(shù)據(jù)(信息)消除不確定性

04：信息度量，世界上有穩(wěn)賺不賠的生意嗎？

信息量的大小不在于長短，而在于開創(chuàng)多少新知

復(fù)雜交易背后通常都用到了信息的可度量性

充滿可能性的系統(tǒng)(信息源)，當中的不確定性(信息熵)，“信息”是用來消除這些不確定性的，需要的“信息量”就等于黑盒子里的“信息熵”

信息可以衡量，但不是用重要性，而是用信息量，單位是“比特”(香農(nóng))

05：信息編碼：數(shù)字和文字是如何誕生的？

只要編碼設(shè)計得足夠巧妙，就可以找到最短編碼(香農(nóng)第一定律)

由于它們是等價的，因此一個編碼系統(tǒng)解決不了的問題，換一個系統(tǒng)同樣解決不了

各種編碼系統(tǒng)，其實都是在編碼復(fù)雜性和編碼長度之間作平衡，它們在數(shù)學(xué)上是等價的

數(shù)字和文字，都是人類用來消除信息不確定性的編碼手段

06：有效編碼：10個手指能表示多少個數(shù)字？

如何組合信息，保證它高效傳遞，還不違背第一條原則，需要我們主動思考

有效編碼，就是讓理論最佳值在應(yīng)用中落地

采用大量用戶反饋信息決定產(chǎn)品的設(shè)計和技術(shù)方案

信息編碼的第二個基本原則——有效性

清晰表達的五個原則——明確、誠實、勇氣、責任和同理心

信息編碼的第一個基本原則——易辨識

07：最短編碼：如何利用哈夫曼編碼原理投資？

風(fēng)險投資的霍夫曼編碼應(yīng)用——分幾部分逐步投入，每一次投資呈指數(shù)減少，而金額倍增，實現(xiàn)大部分資金集中到最優(yōu)投資項目上

一條信息編碼的長度和出現(xiàn)概率的對數(shù)成正比

針對信息組合的信息壓縮，會產(chǎn)生更高壓縮比

哈夫曼編碼原理——MIT教授哈夫曼發(fā)明

08：矢量化：象形文字和拼音文字是如何演化的？

象形文字和拼音文字的形成和進化代表了兩種不同的信息編碼方式

讓問題變得簡單，但會丟失信息，而平衡便利性和信息的完整性，就成為了藝術(shù)

信息的矢量化原理

09：冗余度：《史記》和《圣經(jīng)》哪個信息量大？

善用“廢話”側(cè)面詮釋想法，利用冗余便于理解

觀點一致性，不要補充可能與主要思想相矛盾或無關(guān)的冗余信息

大腦存儲信息要壓縮，明確主線，過濾細節(jié)

信息冗余對溝通的應(yīng)用

冗余度的問題：信息中混有噪音，過多沒用的信息可能導(dǎo)致錯誤

冗余度的好處——易理解、消歧義、容錯性

信息的冗余度——對信息“密集”和“稀疏”程度的描述：(信息的編碼長度-一條信息的信息量)/信息的編碼長度

10：等價性：信息是如何壓縮的？

善用等價信息，是這個時代必須掌握的工作技巧

信息壓縮的基本原理：找到周期性信號的等價信息、對等價信息進行壓縮、如果要使用原有信號，通過壓縮后的等價信息復(fù)原原有信號

11：信息增量：信息壓縮中的保守主義原則

保守主義(總體原則不變，不斷作微調(diào))是由世界漸變的特征決定的

善用信息前后的相關(guān)性，對后面的信息做增量編碼，達到大幅度壓縮信息冗余的目的

12：壓縮比和失真率：如何在信息取舍之間作平衡？

沒有標準答案和最佳答案，只是針對某個場景好的答案，一切都是妥協(xié)的結(jié)果

失真率與壓縮比直接相關(guān)，壓縮到哪種程度，通�？淳唧w應(yīng)用場景

信息的壓縮分為有損和無損兩種，有損壓縮在復(fù)原后會出現(xiàn)一定程度的失真

13：信息正交性：在信息很多的情況下如何作決策？

信息處理的兩個方法——一是不斷疊加，二是不斷刪除

不同的信息要來自不同的信息源

避免反復(fù)使用相互嵌套或者相互包含的信息

看問題要刻意改變一下觀察的角度，從不同角度看

如何找到正交的信息

在使用信息上，要選用彼此垂直的正交信息

14：互信息：相關(guān)不是因果，那相關(guān)是什么？

高手用互信息工具進行預(yù)判，而言感覺

世界上大部分相關(guān)的信息未必有因果關(guān)系，它們之間只是一種動態(tài)的相互關(guān)聯(lián)的關(guān)系

互信息：衡量兩條信息之間相關(guān)性的新工具，尋找和利用強相關(guān)性

15：條件熵和信息增益：你提供的信息到底值多少錢？

第一個發(fā)表意見，以及能夠發(fā)表與眾不同的意見，對提高自己的影響力至關(guān)重要

信息增益：定量衡量每一條信息價值的尺度

條件熵：概率分布的信息熵——大眾已知的信息對投資和其他決策其實都沒有意義

16：置信度：馬斯克犯了什么數(shù)學(xué)錯誤？

世界上有很多道理其實都很難驗證，大到歷史事件，由于很難多次重復(fù)，總結(jié)經(jīng)驗其實是非常難的

提高置信度的辦法通常是增加所統(tǒng)計的樣本數(shù)量

置信度：自己有多么確定這件事也量化地衡量

17:交叉熵：如何避免制訂出與事實相反的計劃？

猜測和真實情況完全一致，將不損失任何東西，但只是不一致就會或多或少有損失

猜測和真實情況相差越大，損失越大

自大的人非常容易遺漏本應(yīng)考慮的事情

過分防范各種情況，患得患失，也將存在損失

在信息論中，任何硬性的決定(全力以赴對賭)都要損失信息

庫爾貝勒交叉熵：信息誤判時的損失

18：復(fù)盤：如何識別誤導(dǎo)人的錯誤信息？

以聳人聽聞的信息刻意引起你注意——放在更大的時空來考量、看信息的一致性、抽取信息要看失真率

沒有出處——信息溯源

缺乏上下文——對信息背景限定條件

誤導(dǎo)人的信息有哪些特征及應(yīng)對？

19：信噪比：歷史有真相嗎？

歷史的細節(jié)是不準確的(而且無法準確)，但歷史的輪廓是可以看清楚的

信號和噪音的相伴存在的——現(xiàn)實中我們不能希望找到全是優(yōu)點沒有缺點的人

信號與噪音的能量疊加，具體到每一個信號點，其置信度是受到干擾的

理解信號和噪音的關(guān)系：

信噪比：信號和噪音的比例，決定了我們是否能夠有效地獲取信息

20：去除噪音：如何獲得更多更準確的信息？

利用信息的冗余和比對過濾噪音——最可貴的意見不是所謂客觀的而是真正反映自已想法的主觀意見

換一個角度看問題——將有噪音的信息分解到不同的維度過濾噪音

如何去除噪音

能夠找到噪音來源VS不清楚來源

有規(guī)律噪音VS隨機噪音、固定頻率噪音VS白噪音

噪音分類

21：信道：信息通道的容量有邊界嗎？

信息的傳播是有成本的，其成本就源于信道容量

某一范圍內(nèi)的無線電波，其所能承載的信息也是有限的

量化度量是重要的

信道與生活的關(guān)系：

信道容量：當信息傳輸所用的信道一旦固定，能承載的信息量是有限的，其決定了有效的傳輸率

22：香農(nóng)第二定律(一)為什么你的網(wǎng)頁總是打不開

在邊界內(nèi)做事情的重要性，如果先天信道容量不足，唯一的方法就是降低速度

香農(nóng)第二定律：如果誰要試圖超越信道容量傳輸信息，不論怎樣編碼，出錯的概率都是100%(R≤C)

23：香農(nóng)第二定律(二)到底要不要扁平化管理？

帶寬是由通信雙方的互信息決定的，這在人際交流中就是信任

拓展帶寬是今天我們所有人都需要做的事情

扁平化管理是香農(nóng)第二定律的應(yīng)用，保證一定帶寬內(nèi)的溝通效率或者利用科技提高帶寬

職級和部門之間的壁壘將人與人通信的帶寬變得非常窄，信息傳輸率非常低

24：糾錯碼：對待錯誤的正確態(tài)度是什么？

通過增加信息冗余，增強檢驗甚至糾正錯誤的能力

考慮到錯誤的必然存在，通過巧妙的信道編碼保證有了錯誤能夠自動糾錯

在解決任何問題前，都要考慮世界的不完美和不確定性

不確定性是世界自然的屬性，不要高估自己的仔細，以及自己通過努力做到最仔細后，能夠達到的效果

25：信息加密：韋小寶說謊的秘訣

如果想讓人知道你的觀點，就要明確表述

無法減少你傳遞信息的不確定性

密碼的精髓在于，對方拿到你的密文，得不到額外的信息

26：極簡通信史：從1G到5G通信，到底經(jīng)歷了什么？

單位能量的信息傳輸率越來越高

網(wǎng)絡(luò)不斷融合

設(shè)備的輻射越來越小

每一代都會有新的主導(dǎo)型公司：1G摩托羅拉；2G諾基亞；3G、4G蘋果、谷歌和高通；5G是華為

移動通信的發(fā)展要點

一是對信息的發(fā)送和接收的描述

二是對信息編碼的方式

通信標準的核心：

27：通信趨勢：5G和IOT的商機在哪里？

判斷的標準是：能否以更少的能量傳輸來處理更多的信息

每一代互聯(lián)網(wǎng)都有掌握產(chǎn)業(yè)鏈的龍頭公司，未來是由掌握核心芯片、操作系統(tǒng)和通信標準公司占據(jù)龍頭

第三代互聯(lián)網(wǎng)是萬物互聯(lián)，會在聯(lián)網(wǎng)設(shè)備、帶寬及市場規(guī)模上有指數(shù)級增長

28：復(fù)盤：世界不完美，我們該怎么辦？

對世界的態(tài)度是，承認噪音的存在，爭取在有噪音的情況下，準確傳遞信息

29：交叉驗證：電信詐騙為什么能成功？

跨界的意義 不在于同時做很多不同的事情，而是從另一個領(lǐng)域回望所在領(lǐng)域的問題

交叉驗證中，垂直正交信息的組合最有效，因為共同作用能最大程度降低信息熵

大數(shù)據(jù)的重點不在于數(shù)據(jù)的體量大，而是數(shù)據(jù)的多維度

交叉驗證：生活中絕大部分時候，一個維度的信息很難消除所有不確定性，解決這個問題的最好辦法，不是把那個維度的信息搞得更準確，而是用其他維度的信息進行交叉驗證

30：等價性：如何從等價信息里找答案？

等價信息和相關(guān)信息不同，后者的要求寬松得多，但是可靠性也差很多

很多時候 無法直接獲取某種信息，可使用等價信息解決問題的方法

31：大數(shù)據(jù)(一)：從四個特征把握大數(shù)據(jù)的本質(zhì)

有數(shù)據(jù)、有技術(shù)、有應(yīng)用場景(騰訊、阿里巴巴、今日頭條等)

有數(shù)據(jù)、無技術(shù)(移動通訊運營商、銀行、零售業(yè)等)—需要專業(yè)人士

缺乏數(shù)據(jù)、有技術(shù)(數(shù)據(jù)公司等)—可為第二類企業(yè)解決實際問題

大數(shù)據(jù)時代受益的三類企業(yè)：

消除數(shù)據(jù)間矛盾，亦需要領(lǐng)域知識

在特定應(yīng)用場景還需要具有實時性

大數(shù)據(jù)的特征：數(shù)據(jù)量大、多維度(最好正交)、數(shù)據(jù)完備性(不是抽樣)

32：大數(shù)據(jù)(二)：大數(shù)據(jù)思維的四個層次

第一層：從大量、混亂的數(shù)據(jù)中總結(jié)出相關(guān)性

第二層：不事先作假定，從大數(shù)據(jù)出發(fā)得到結(jié)論，再分析原因

第三層：利用大數(shù)據(jù)準確把控宏觀規(guī)律的同時，精確到每一個細節(jié)

第四層：通過幾個維度的強相關(guān)性，替代過去的因果關(guān)系

大數(shù)據(jù)思維是一種全新的思維方式和做事情的方法

33：互聯(lián)網(wǎng)廣告：為什么GOOGLE搜索的廣告效果好？

使用正交、可疊加信息的作用(如FACKBOOK)

用信息熵來定量衡量個性化服務(wù)，但通常喜好上的差異程度比我們通常想的要小很多

GOOGLE的廣告系統(tǒng)利用的是用戶主動輸入的信息，它最為有效

34：幸存者偏差：如何避免被已知信息誤導(dǎo)？

通識教育的重要性：避免思維習(xí)慣帶來的盲點

幸存者偏差：要不斷淘汰不好的項目，在生活中要止損，將利益最大化

35：奧卡姆剃刀法則：最簡單的往往是最有效的

奧卡姆剃刀法則的應(yīng)用——做減法、不要制造偽需求、可提高判斷力(找到基函數(shù))

世界本身的規(guī)律在形式上并不復(fù)雜

過于復(fù)雜的描述常常是騙局

奧卡姆剃刀法則有實踐驗證

奧卡姆剃刀法則有科學(xué)依據(jù)——找到這個領(lǐng)域支撐點的關(guān)鍵信息

簡潔的往往是正確的，越是復(fù)雜，越容易犯錯

36：最大熵原理：確定的答案找到之前，我們該做什么？

光滑——不會遇到黑天鵝事件，方方面面都考慮得很周全

不要把雞蛋放在一個籃子里

一個“光滑”的模型，可以讓預(yù)測的風(fēng)險最小

最大熵原理：當我們需要對一個隨機事件的概率分布進行預(yù)測時，我們的預(yù)測應(yīng)當滿足全部已知條件，而對未知的情況不要作任何主觀假設(shè)

37：麥克斯韋的妖：為什么要保持系統(tǒng)的開放性？

對于個人而言，引入負熵的方法是：行萬里路、讀萬卷書

一種是直接與外界進行人的交換(能量熵)

另一種是接受外面新的思想(信息熵)

任何一個封閉系統(tǒng)都是越變越無序，要想變得有序，就要引入“負熵”，即能量和信息

38：復(fù)盤：如何把信息論學(xué)以致用？

需要知道如何把自己領(lǐng)域中的問題，描述成一個信息處理的問題

39：控制論：要不要成為變色龍？

要做變色龍(不斷應(yīng)對環(huán)境變化作出調(diào)整)

不要做恐龍(架子大，很唬人，但適應(yīng)性差)

控制論三要點：突破牛頓絕對時間觀、系統(tǒng)與外界環(huán)境刺激有相互影響、通過反饋回路實現(xiàn)自我調(diào)節(jié)

40：系統(tǒng)論：如何讓整體效用大于部分之和？

發(fā)展：空間上作整體考慮，時間要還要考慮影響力，最終決策

科學(xué)：分析問題要遵循科學(xué)方法，而非簡單的經(jīng)驗，方可獲得可重復(fù)成功

綜合：參考IPHONE的方法論

整體：任何局部改進，需要放回到整體中去考察