The Information: A History, a Theory, a Flood / Gleick (2011)

Citation - Gleick, J. (2011). The Information: A History, a Theory, a Flood. NY: Pantheon.

中譯本 - Gleick, J.(2011)。資訊:一段歷史、一個理論、一股洪流(The Information: A History, a Theory, a Flood)(賴盈滿譯)。新北市:衛城。

Keyword - information

Content

  • 前言
    • 1948, Claude Shannon 發表《通訊的數學理論》一文,提出的可計算的資訊概念(information)與單位(bit)。
  • 傳遞意義
    • 01. 非洲說話鼓:傳遞訊息。摩斯代碼(點、劃、空白)。卡靈頓(John F. Carrington)。聲調。資訊贅餘、脈絡
    • 02. 書寫文字: 文字不等於記憶與思想。故事>概念>邏輯,蘇格拉底>柏拉圖>亞里斯多德。數字符號與邏輯。口語與文字的矛盾。
    • 03. 字典:Cawdrey 的字彙表“;不固定的拼寫。字母順序。牛津英語字典。
  • 計算與理論
    • 04. 計算: 巴貝吉(Charles Babbage)。數值表與計算機器。艾妲(Ada Lovelace)。分析機概念。
    • 05. 電報與電報語言:telegraph(電訊、遠距書寫)。1793, 夏普(Claude Chappe)的傳訊塔。1844, 摩斯與維爾,電報服務。電報與新聞報紙。資訊傳播速度與同步。區分有意義的訊息(intelligent)本身與承載訊息之物(紙或電)。訊息、編碼、秘密代碼,密碼學。
    • 06. 邏輯:1937, Shannon 由電機工程所轉到數學所,透過數理邏輯研究資訊(intelligence)傳輸的基本問題。羅素,符號處理與邏輯,悖論。哥德爾(Kurt Godel)不完備定理。
    • 06. 電話: 電話網絡,電話雜訊。布朗運動。貝爾實驗室,1924, 奈奇斯特(Harry Nyquist),雜訊,電報的資訊(intelligence)傳輸速度公式。1927, 哈特雷(Ralph Hartley),資訊(information)量公式;包含意義的資訊無法被量化,只能量化不包含意義的符號。貝爾系統科技期刊。
    • 07. Tuning 的通用計算機思想實驗,證明並非所有數字都是可以被計算的。戰爭與密碼學。1945, Shannon , 《密碼的數學理論》;模式就是贅餘;英文的贅餘度大約50%;定義資訊:與不確定關係密切。
  • 洪流

Quotes

摩斯代碼

為了提升速度,摩斯和維爾明白一件事,將較短的點劃留給最常用的字母,就可以節省時間。但哪些字母最常用? 當時對字母的使用頻率所知極少,為了找出答案,維爾靈機一動,想到造訪紐澤西州莫里斯敦的報社去看活字盤,他發現報社有一萬兩千個E和九千個T,而Z只有兩百個,於是他和摩斯便按鉛字的數量排列字母。他們原本用「劃一劃一點」代表T,之後改用單劃代表這個第二常用的字母,讓後世的電報操作員手指少按了千百億次。多年後,資訊理論學家針對字母與代碼的各種對應方式在英語文件的電報傳送效率做過計算,發現摩斯和維爾所採用的方式名列前茅,位於最佳的前百分之十五之內。(p.29-30[台])

資訊贅餘、脈絡

「多加的鼓聲一點也不無關緊要,而是提供上下文。每個含混的字一開始都朦朦朧朧有許多可能的解釋,但是不相干的可能解釋隨即消逝。」「定型化的長句子跟在單字之後,用贅餘去除了歧義。」(P.33[台])


「航空無線通話…由於通話頻繁,而且攸關生死,因此會用特殊化的字母降低歧義。字母B和V的讀音容易混淆,改說bravo和victor比較保險,M和N則是變成mike和november。數字方面,英文的five和nine特別容易搞錯,因此唸成fife和niner。多加的音節就和說話鼓的贅語一樣,擁有相同的功能。」(P.34[台])

訊息內容與載體的區分

概念轉換過程中,心靈必須調整才能理解電報為何。困惑鬧出許多趣間,往往和常用字彙的古怪新含義有關,有些是很簡單的字,例如送出( send) ,有些意思本來就多,例如訊息(message)。德國卡爾斯魯爾一名婦女端著一盤酸菜到電報室,希望將菜「送到」拉旭塔給兒子,因為她聽說部隊被電報「送去」前線。緬因州班格市一名男子拿著一張「訊息」到電報室,操作員按壓機器,之後將紙掛在鉤上,男子抱怨訊息沒送出去,因為他看見它還在鉤子上。一八七三年《哈潑新月刊》報導這則趣事,強調就連「聰明博學之士」也覺得這類事物難以理解。由於我們在面對陌生的新事實的同時,還必須使用舊有詞彙表達和過去不同的新意義,導致對於這個主題更難有清楚的概念。訊息在過去似乎是具體存在的事物,但這只是幻覺。如今看待訊息必須將訊息本身和承載訊息的紙張區分開來。《哈潑新月刊》解釋道,科學家說電流「承載」訊息,但我們不能想像真的有東西(不管那是什麼)被傳送,發生的只有「一種無形力量的作用與反作用,以及藉由它在這端產生有意義的(intelligent)符號」。難怪民眾會被誤導。(P.144[台])

1641: 差異是資訊最純粹的定義

威金斯(John Wilkins)用「差異」兩個字肯定讓讀者(雖無人數很少)覺得奇怪,但他是別意選擇這個詞,充滿了意義。威金斯正在觸及資訊最純粹、最普遍的定義,書寫只是其中一個特例。「我們必須明白,一般而言,任何能表現差異並讓感官察覺者,或許都足以表達思想(cogitation)。」差異可能是「音調不同的兩個鈴聲」或「任何可見的事物,例如火焰和煙霧等等」,也可以是喇叭、大炮或鼓聲。任何差異都是一個二元選擇,而任何二元選擇都能表達思想。在這本一六四一年匿名出版的晦澀小書裡,資訊理論的基本原理首次呈現在人類意識之中,只可惜稍縱即 逝,四百年後才又出現。 (P.154[台])

1945, Shannon 對「資訊」的定義

「在本文中,資訊一詞雖然與其慣常的詞義有關,但不應該與之混淆。」跟前人奈哥斯特和哈特雷一樣,他也想撇開心理因素,只專注於「物理」層面。但資訊抽去語意,還剩什麼?有幾個可能,但乍聽之下都很弔詭。資訊是不確定、意料之外、困難和熵:
● 「資訊和不確定關係密切,」不確定可藉由計算可能訊息的數量來度量。假設只有一個可能訊息,就沒有不確定,也就是無資訊。
● 有一些訊息比其他訊息更為可能,而資訊意味著意料之外。意料之外(surprise)是機率的另一種說法,在英文之中,若字母t之後是字母h,資訊量就不高,因為h在t之後出現的機率極高。
● 「有意義的是訊息從A點傳送到B點的困難度。」聽起來有一點顛倒,又像是廢話,跟定義「質量」為推動某物體所需的力量一樣。但話說回來,質量確實可以如此定義。
● 資訊是熵。(P.203-4[台])

熱力學定律

有了熵,熱力學的「定律」就能簡潔表達為:
第一定律:宇宙的能量恆定不變。
第二定律:宇宙的熵值永遠增加。
熱力學定律還有許多別的表述方式….例如:「第一定律:你贏不了。第二定律:你也平不了手。」 (p.250[台])

資訊是熵或負熵

  • 資訊是熵: Shannon, 西勞德(Leo Szilard)
對物理學家而言,熵是某個物理系統的狀態的不確定程度:當下這一個狀態相對於其他所有可能的狀態。…
對資訊理論家而言,熵是一個訊息的不確定程度:一個訊息相對於其他所有可能由通訊源發出的訊息。….

* 資訊是負熵: Wiener

威納的角度則有一點不同。… 夏農說資訊是熵,威納說資訊是負熵。威納說資訊代表秩序,但有序的事物不一定含有大量資訊。夏農指出自己和威納的不同,努力減小差異,強調他們的差異只是一種「數學雙關語」,兩者會算出同樣的數值:我思考的是從一組集合中挑出一個,這樣的程序製造了多少資訊,結論是集合越大[即不確定性約大,熵越大],[單一訊息內的]資訊越多。你[Wiener]認為集合越大,不確定性越高[整體無秩序,封閉系統內熵越高],表示對狀況越不瞭解,因此資訊越少[無限大熵的封閉系統不含任何資訊]。(p.258[台])


布里魯昂問:「拿一份《紐約時報》,一本討論模控學的書和一疊同樣重量的廢紙,三者的熵會一樣嗎?」如果扔進火爐,熵值就一樣,但要是拿起來讀,熵值就不同了。墨點的排列是有熵值的。(p.262[台])

Note

file link - Google Schloar, XXC