读书笔记:万物皆比特——读《信息简史》(二)

1948年美国应用数学家克劳德。香农在<通信中的数学理论>一文中提出信息熵的概念，为信源编码奠定了理论基础(无噪信道编码定理，又称香农第一定理)。1949年香农在<有噪声时的通信>一文中提出了信道容量的概念和信道编码定理，为信道编码奠定了理论基础(有噪信道编码定理，又称香农第二定理)。

通俗来讲，香农从定义信息开始，认为信息是不确定*，是出人意料，是困难程度，是熵。信源可表示成一种随机过程，通过利用不同的概率生成讯息，不确定*的大小决定了讯息包含信息的容量。反过来说，即讯息越有规律，就越可预测；越可预测，就越冗余；越冗余，含有的信息就越少。讯息中的模式、规律和秩序等因素使得讯息可压缩。

在香农的信息理论架构中，信息可被视为从无序中获取有序。若剥离信息所包含的意义，信息传递的基本问题转变为在一点精确地或近似地复现在另一点所选取的讯息。根据香农理论框架，剥离意义和具有不确定属*的信息能够被更为有效的编码，以便于传输或存储。如果一个字母能够更具先前的内容猜测除了，那么它就是冗余的，在储存或者传输过程中即可加以编码压缩，以提升信息传递容量。

这就是几乎所有的现代通信理论的基础。

香农通信理论基础上衍生的编码理论使得火箭和人造卫星通信的远距离通信成为可能。同时，随着纠错编码和数据压缩技术的齐头并进，编码理论也成为了计算机科学的关键组成。没有编码理论，就不可能有调制解调器、光盘和数字电视等。

随着信息论的广为传播，信息论不仅在通信领域产生了**的影响，信息论的各种概念和度量方法还给诸如量子物理学、分子生物学、实验社会学、行为心理学提供了全新的视角。以往，物理学讨论的是定律，分子生物学到现在为止讨论的是机制，或许我们现在应该开始讨论其算法。

[初有信息，而后才有道(word)"。

詹姆斯-格雷克的<信息简史>为简洁明了的语言向我们呈现了波澜壮阔的信息之史。而现在，我们需要思考的是:是人类在选择信息，还是信息在选择了人类?这对于我们如何面对眼前的信息洪流具有重要意义。

• 《万物简史》读书笔记

  科学是一扎无字书卷，在素*的纸上，人们将一点一点历史写下，一点一点智慧写下，一点一点执着写下。当书卷成华章时，我知道，这便是人生。厚厚的一本《万物简史》被翻开，被开封的同时还有积淀于人类历史中已久的智慧。我渴望读它，读懂它是如何“为万物写史...

• 万物简史读书笔记1300字

  看到这书的名字，给我的第一印象是这本书的内容一定很庞杂。因为以前也有读过好些科普类的书，能够将书的名字写成“万物简史”的，这就是第一本了。大学以前有看过好几本霍金的书，总体上，他的书传说中很浅显，但是要是认真读下去，会发现还是很复杂的，并不...

• 《万物简史》读书笔记

  《万物简史》主要讲述了人类一切科技成果的来源。小编整理的《万物简史》读书笔记，欢迎大家前来查阅。最初从同事那看见这本书，我一点兴趣都提不起来。因为根据认识，某某简史，总是一堆的乱七八糟词汇加深奥难解或者是屁话一堆。既然他推荐说不错，我就拿回...

• 《万物简史》读书笔记

  《万物简史》主要讲述了人类一切科技成果的来源。小编整理的《万物简史》读书笔记，欢迎大家前来查阅，喜欢的不错过啦！最初从同事那看见这本书，我一点兴趣都提不起来。因为根据认识，某某简史，总是一堆的乱七八糟词汇加深奥难解或者是屁话一堆。既然他推荐...

• 读万物简史

  读有感 物电1107 刘伟 171107059读完厚厚的一本，我感到意犹未尽。这真是一本最打动人的科普书。作者比尔·布莱森自称这本书是[为万物写史，为宇宙立传"。他用清晰明了、幽默风趣的笔法，将宇宙大*到人类文明发展进程中所发生的繁多妙趣...