开通VIP，畅享免费电子书等14项超值服
首页
好书
留言交流
下载APP
联系客服
今天我们来讲信息论。对于信息时代这个词，我想大家已经听腻了，这个时代年轻人谁没有听说过类似”信息过载、信息爆炸、信息量”这些词，但大部分人意识里把信息和信息产业，甚至是互联网行业画上了等号，这是一个很大的误解。
什么是信息？
信息是宇宙固有的组成部分，和力、运动等概念一样，宇宙大爆炸那一刻开始，信息就和能量一同出现，然后才会一生二，二生三，三生万物，即世界上几乎任何的事物都可以用信息的方式来量化。
几年前我听过著名物理学家张首晟教授的一个讲座。他说对于人类文明来讲，有三条最重要的公式。
1.1 质能转换公式
E=mc^2
我们上面讲过整个宇宙最主要的两个概念就是能量和信息。
有人会问“不应该有物质吗？”
这是第一条公式解决的问题，E=mc^2就是把物质和能量统一在了一起。
你看左边的 E 是能量，右边的 M 是物质， C 是光速。
这套公式最神奇的地方就是让我们意识到能量和物质是相通的。
这个应该是科学思维最让人震撼的地方之一，它可以把两个完全不同的东西通过抽象的数学公式简化成一个东西进行衡量和测算。通过化繁为简，人类可以更好抓住改变世界和理解世界的杠杆。
如果总结人类科学界最知名的公式，我想 $$E=mc^2应该是比牛顿力学的 F = ma 还出名。
1.2 信息熵公式
跟它对比，第二条描述信息的公式可能除了学相关专业的同学之外，几乎无人知晓，这让人非常遗憾，我们今天讲这节课信息论也是希望弥补这个遗憾的。
第一条公式和第二条公式加起来，已经涵盖了能量、物质和信息了，那么世界上最重要的东西应该都讲完了，怎么还有第三条公式呢？
1.3 不确定性原理不等式
这第三条公式“海森堡测不准原理”属于量子力学的范畴，它实际上是在告诉我们科学的边界在哪里。
我们本来认为我们的仪器越来越好，那么理论上应该可以把基本粒子的位置和速度测算得越来越准确，最终完全掌握它的行踪，但第三条公式就告诉我们，不论科学怎么发展，我们永远都不可能精确测算基本粒子的状态。
因为我们观察粒子这件事情本身就会改变它的行为。
这在宏观世界里比较费解，比如我站在五层楼顶观察路上的车辆，理论上讲如果天气够好，视力没问题，我可以非常清晰地看到每一辆车的行进轨迹、颜色和大小。不可能说这辆车我不看它时到了第一个车道，一看它就变成第二个车道了，不看它又回到第一个车道，这听起来好恐怖。
但在微观世界里面，如果我们观察一个基本粒子，我需要把一个光子打在它身上。
就这一个行为，可以改变基本粒子的行进轨迹，因为这个粒子会吸收光子的动量，在瞬间改变自己的运动状态。通俗点说——
我们的观察改变了客观世界。
启发
第三条公式给我们的启发是——我们生活的这个世界的确是没有绝对客观存在，人类观察世界的方式和角度，和这个世界对待我们的方式和方法，会从物理学的层面影响彼此。
我们真正能观察到的东西是客观世界和主观想象之间的结合体。
1.4 能量&信息的差别
我们知道能量和信息是人类最重要的两个基础，那么这两者之间有什么最明显的差别？
能量守恒但信息不守恒。
能量守恒定律是自然界最普遍的规律。能量不会凭空产生、凭空消失，只会从一个形态转化成另一个形态，或者从一个物体转移到另外一个物体。一边能量多了，另一边能量就少了，这就叫守恒。
人类之间分享知识是一件可以为这个世界创造纯粹增量的事情。
说起来很奇怪，既然我们所处的信息时代，那么信息论应该是非常必要了解的知识。
要知道信息论自诞生以来，并不只被运用到信息产业，过去半个多世纪里它在统计物理、计算科学、投资学甚至哲学等很多学科里都是奠基性的贡献。可以说信息论是当代科学重要的一块基石。
那么为什么信息论没有成为每一个人的必修课呢？
因为信息论实在是太抽象了。
我大二不知天高地厚，找同学借了几本信息论的入门书籍，准备花两周时间了解一下，结果两天我就放弃了。因为这门科学需要掌握其它学科的基础知识非常多，比如统计学、概率论、微积分、线性代数、计算机科学、物理学……这里面涉及到的数学，连我这种读数学系的人都觉得很晦涩。对于非理科类的同学来说，肯定更难理解。
所以今天我们尽量绕开所有的数学公式，只讲核心原理。
要说信息论，第一个绕不开的话题肯定是信息怎么衡量？
比如我们想衡量物质，用质量就可以衡量。对于人类来讲非常好理解，谁还没有称过体重？
所以衡量信息也跟用信息量这个词。
衡量物质→质量
衡量信息→信息量
但是对于信息量的衡量方法，大多数人就不知道了。
这就要说到我们上面提到那个第二条公式，整个信息论的基础——
信息熵(informationentropy)公式
信息熵，简单来说就是描述一个东西不确定程度的量。
换言之，信息熵就是说你要搞清楚一件事情的难度。
2.1 举例 抽奖
假如你去抽奖，红色球代表中奖，如果你知道盒子里面只有一个球，而且它是红色的，这就意味着你要搞清楚是否中奖毫无难度，所以你面对的信息熵就是 0 。
但如果盒子里面有 1 万个球，其中只有 1 个红色球，那么不确定性就非常大了。此时你要搞清楚能否中奖难度极大，这意味着抽奖盒里的信息熵非常大。
假如我们有个盲盒，这个盲盒在外观上就已经印了里面装的皮卡丘的样子，那么它不确定性就很小，所以它的信息熵也接近于 0 。
但如果盲盒系列一共有 12 个娃娃，而且有的娃娃出现概率高，有的娃娃出现概率低。那么你要搞清楚打开会看到哪一款，难度就陡然增大了。这个盒子的信息熵就远大于皮卡丘盒子的信息熵。
从盲盒这个例子我们可以得出几个影响信息熵的因素。
1 可能出现的娃娃款式数量越多，信息熵就越大。
2 在娃娃款式数量不变的情况下，如果每一款娃娃出现的概率是一样的，此时信息熵最大。
3 如果其中某个款式出现的概率很大，比如 10 次里面有 9 次都是它，那么会大大降低信息熵。
这里第一条就跟彩票一样，中奖人数不变的情况下，发行彩票数量越多，中奖概率越小，中奖就越难，信息熵也就越大。
2.2 信息熵函数
第二条、第三条就没那么直观了，我们再举一个例子来说明。
回看一下刚才皮卡丘的那个例子，假如有 100 个盒子分别装着蓝色和黄色皮卡丘，那么有三种情况：
A：100 个盒子装的都是蓝色款。
B：50 个盒子装黄色，50个盒子装蓝色。
C：100 个盒子装的都是黄色款。
那么这三种情况对应的信息熵函数就是这样的。
A 、C 信息熵都为零，因为 100% 装都是同一种颜色，所以任意拿一个盒子拆开前，都已经确定知道自己将会拿到什么颜色，此时没有不确定性。
B 不确定性达到最高，信息熵最大，因为你拿任何一个盒子，蓝色、黄色的概率都是 50%
那么在这个函数上，我们看到的除了这三种极端情况，还有中间状态。
比如有 60 个是蓝色、40 个是黄色，它的信息熵会比 50% 的情况低一点。
以此类推，可以看到函数是一条抛物线的形状——可能性越不平均，信息熵就越低。
那我们再延展一下，理解了信息熵也就理解了跟它对应的另外一个概念——
信息量(Amount of information)，消除信息熵所需要的能量。
那香农也定义了一个衡量信息量的基本单位——比特。
今天比特已经跻身到跟公斤、英镑、毫米、厘米、分钟这样的单位一样，成为世界通用量纲一员了。
上面我们说过，可能性越不平均，信息熵就越低。
在日常生活中模棱两可的态度是最没有信息量的。
比如都出去吃饭，别人问你吃什么，你说随便。这就是你给出去的可能性正处于信息熵函数的正中间位置，创造了信息熵的最大值，消除它需要对方提供最大的信息量。
而如果你能说不吃辣，那么立马就可以把函数在横轴上右移，减少信息熵。
进一步，你还能够直接说自己想要吃哪家店、什么菜，那就等于把横轴推到了信息熵最小的那边。
熵与热力学在一个封闭系统里，按照熵增定律，本来应该越来越趋向于混乱和无序，但正因为系统里面有一个小人在不断做选择，日积月累就可以使整个系统变得越来越有序。
可以发现，无论是信息论还是热力学，都从不同的侧面说明一个道理——
不做选择、随波逐流或平均分配注意力，会增加整个系统的无序性。
那么如何聪明地分配我们的资源和注意力呢？
下面为大家介绍信息论里几个模型。
它是一种编码方法，指如果我们可以把较短的编码分配给高频出现的词汇，而把较长的编码分配给低频出现的词汇，那么整体而言我们用编码来表达语言时，就可以实现效率最优化。
用最短的信息量来表示完整的内容
3.1 举例 指令旗
古代战场上，一个传令兵只能用两种旗传递指令——红旗&绿旗
这里最简单的指令是单举一次红旗、单举一次绿旗，或者同时举起两者。
所以按常理，3 种情况应拿来表示战场上最经常出现的 3 种行动方案
不应该是反过来用这 3 种最简单指令去代表类似盾牌手原地待命、骑兵绕到敌军后方攻击、步兵进行埋伏等相对不常见、特别复杂的行动方案，否则传令过程太麻烦了。
3.2 举例 摩尔斯电码
摩尔斯电码编码原理借鉴了以上思路，发电报的信号由点和长线两种信号组成，用这种复杂的方式拼写单词非常费劲，为了减少发报员、传输设备以及接收员的的工作量，就必须精简指令代码的长度，把简单的代码分配给最高频使用的字母。
对 T、E、I、S、N、A 这样的使用频率很高的字母，要分配最短的编码方式，比如 E 是●， S 是●●●；
对 Q、Y、X、V、L 这样使用频率比较低的字母，则分配相对复杂的代码资源，比如 L 是●—●●
这种分配方式比 26 个字母从头到尾的顺序安排代码资源要合理得多。
为了提高效率，我们应该把生活中最重要的资源分配给人生中最高频出现的场景
这个原理对我安排家居时有了很大启发，我在家从来不看电视，家里的电视和沙发的空间对我而言就是极度低频的场景，但我的工作区和阅读区非常高频。
我以前租房时经常发现传统出租屋都把工作区设计得很小甚至没有，总是把电视区搞得大大的，于是我住进去后通常第一件事是把电视区改造成工作区+阅读区，这样就把最重要的资源分配给最高频的场景，呼应了信息熵的内容。
信息论反复在告诉我们，模棱两可、平均用力是一种相对无效的资源配置方式。
信息论还侧面印证 14 世纪提出来的一种哲学——
4 、奥卡姆剃刀定律
这个词大家应该比较熟悉了，意思是“如无必要，勿增实体”。
奥卡姆剃刀和霍夫曼编码结合起来，可以得出安排人生效率的好方法——
大刀阔斧地做减法 + 围绕关键领域饱和配置资源
这是我本人采用的一种生活哲学。在霍夫曼编码的启发下，我曾花了一年时间多非常认真的研究自己生活中最高频的场景，比如吃饭、睡觉、运动、呼吸、工作、娱乐、排便。
这些是我们每天都要做但大多数人只是出于本能而没有刻意安排它们，这些东西常常隐藏了大量的 bug ，这是一个巨大的资源浪费。
比如经过深度反思，我发现在最普通的日常生活里，有很多地方都可以用奥卡姆剃刀。
4.1 举例 吃饭
现在一日三餐是人类的基本常识，那么这件事情有没有改进空间呢？
我经过对自己的身体长期实验就发现，我一天可以只吃两顿，一顿早餐、一顿午餐，而不吃晚餐。
这种饮食里面在古代东方历史上是有一些记载的，比如道家说“过午不食”。
如果追溯到更古远的时代， 2 万年前我们的原始人祖先也没有一日三餐的习惯，我们现在的身体结构跟他们当时的结构差不多，所以一日三餐显然是不必要的。
这是典型的围绕关键领域饱和配置资源的例子。
不过我也得提醒一下，这个方法可能对大多数人不适用，因为很多人习惯晚上安排大量工作，精力消耗非常大，就必须吃晚餐。所以大家不要被我这个早睡党误导了，还是按照自己的身体节奏来。我举例是为了说明霍夫曼编码配合奥卡姆剃刀在生活中有很好的应用。
4.2 举例 资源配置
再比如，由于工作和生活原因，我在手机和笔记本电脑这两个设备上从来都是饱和攻击，尽我所能购买质量最好的产品，因为这两样东西对我来说使用频率实在太高，想一想我每天打开手机的次数和使用电脑工作的时长，就明白在这两件东西上花钱是非常值得的。
但与之相对的是，在衣服上配置过多的金钱对我来说是一种资源浪费，因为很多衣服一年就穿几次，是典型的低频场景。当然很多女性不这么想，因为服装鞋帽对她们来说不仅是一种工具，还是一种美的信仰，或是自我表达的需求，这涉及到心理学、社会学、美学，就不在这里展开了。
在影像领域中所谓的帧，就是影像动画的最小单位，也就是单幅静止画面，把它们连续播放起来，就会形成今天我们看到的视频。
视频是一定要压缩的，否则我们今天的网络和带宽根本承受不了。
假设一个两小时未压缩的高清（1920 X 1080） 电影视频。
由于人眼特异性，大概每秒要能够刷新 20 帧以上才会感觉流畅，电影这个数字一般是 24 ，为了方便计算我们这里按 25 帧算；RGB 三原色，一个像素占 3 个字节。
计算公式：
2小时×60分钟×60秒×25帧×1920×1080像素×3（每像素字节数）=11,198GB (B代表字节，1B=8b)
由此可见，两小时未经压缩的高清视频至少上万GB，所以现在网络上的视频都必须经过压缩。
一个视频可以压缩到成千上万倍，但看起来还很流畅，这不是很神奇吗？
能做到这一点蕴含着非常深刻的哲学——
通过关注信息增量，而不是关注信息存量来极大的提升效率
帧间压缩算法就是这种哲学的体现。
看下面这张图
上面是一个人招手的画面，分解成每一帧的样子。这里面的很多信息是重复的，比如这个人身体除了右手在变化，其他部位基本不变
我们只需要对第一个图进行整体处理，然后在接下来的几张图里面只处理那只变化的手的信息，就可以大大的减少工作量，这就是帧间压缩算法的精髓。
关注变化，忽略重复，可以使我们的学习效率提升 N 倍
经常有同学问我如何读这么多的书？
天下武功，唯快不破，我通常在休息日每天可以读 2-3 本新书，这样如果刻意想读很多书，一周的休息时间大概能读 10 本新书，大约是普通人一年的阅读量，我的最高阅读速度可能是常人的 50 倍。但这并不是故事的全部。
我读书的关键原则是不平均用力：
基础的知识在很多不同书籍里都会出现，所以是高频场景，应配备大量的资源去搞定，这种读书方法可以说是霍夫曼编码&帧间压缩算法的结合。
随着你已经啃下来的基础知识越来越多，就发现很多书籍能够提供的新增信息量并没有那么多，所以我们只需要集中精力把每本新书提供的最重要的新增信息量全部消化即可。比如
快速阅读的前提是你的基础知识一定要先打牢，如果你对关键的学科知识都建立了认知框架，那么新书的增量阅读也就会非常快。
通常对于每一个细分领域，统领全局的第一帧都是必须认认真真处理好，你处理得越好，基础越扎实，后面做增量的工作量也就越小。
如果跳出读书，应用到生活的更多方面，我们就知道做任何的事情，起步的时候，先花时间把基础功练扎实非常重要，因为你的基本功很扎实，后面不断前进就可以只关注增量，大大提升效率。
假设有两个独立发生的随机事件，
事件A 信春哥，信息熵是 h(x)
事件B 不挂科，信息熵是 h(y)
那么这两个代表信息熵的圆圈之间的交集就是两者的互信息。
即便我们真的发现信春哥和不挂科之间有着非常高的相关性，也不代表信春哥就是不挂科的原因，反之亦然。从信息论的角度，它只关心“信春哥”这件事情到底能够给“不挂科”这件事情消除多大的不确定性，减少多少信息熵。
两个独立事件之间的相关性是可以通过严格计算得出的，只要它们之间的互信息比较高，我们就可以确信它们有相关性，而不需要寻找它们的因果性。
这是数据科学给人类非常重要的一种思考方法，因为我们人类是一种非常喜欢寻找因果的生物，从孩童时期了解世界的最重要的方式就是去寻找原因。
回忆一下我们启蒙读物《十万个为什么》我们没有把它叫做《十万个互信息》、《十万个相关性》，是因为研究相关性放弃因果性，非常不符合人类的本能。
但在这个世界上，大部分事物之间的联系都是相关联系，而不是因果联系。
比如现在抖音、 B 站给我们推荐视频时，通常会给不同的用户群打个性化标签，比如宝妈、学生党、数码爱好者、军事迷等，使用的就是互信息。
因为你打开了一个军事题材的视频，不能说明你是个军迷。即便你一直在看军事题材，也有可能你根本不是军迷，只是这段时间写论文需要用到，也可能是你表弟经常使用你的电脑。所以你的浏览行为并不能说明你就是谁，但它就可以说明这个账号和某一类题材有高相关系。
比如很多人会说：“当年之所以进入这个领域，之所以做某件事情，是因为我觉得 xxx 。”
比如过去 30 年，很多中国企业家觉得自己成功是因为勤奋吃苦，有战略够勇敢。
有没有关系呢？有。
是不是因果关系？不见得。
毕竟有的重要原因是很多人都没有意识到的，中国本身有整体的高发展红利，国家长期通过汇率控制，增发货币，投资基础设施，这实际上为大量企业主创造了远胜于其他发展中国家的生存环境。所以很多人的成功原因其实非常复杂，无法追溯，这就是真实世界里很多事物因果关系的常态。
很多事情我们永远无法解释它的成因。但是我们可以使用信息论和数据科学去分析万事万物之间的关联性，这就是科学最迷人的地方，因为
科学可量化、可证伪，清楚自己干不了什么，也清楚自己能干什么。
6.2 信息等价
高互信息的一个极端情况是信息等价，只要知道了事件 A 发生的信息，就等同于知道事件 B 发生的信息。上面皮卡丘的盒子，它把里面的皮卡丘的形象非常清晰地印在盒子外面，它就是一个比较接近于提供等价信息的例子。这个例子不够等价的地方在哪里呢？
盒子上印出来的是二维的动画照片，而不是真实的三维照片。
比如我们日常对话中所谓的说废话，也是因为前后两句话提供的是等价信息，或者说互信息很高。
比如我说：“今天天气真好，蓝天白云，风和日丽，阳光明媚。”
一起来分析一下这句话 4 个词之间彼此的互信息。
天气好，很大概率就是阳光明媚，所以这两者之间几乎等价；
阳光明媚，很大概率就是风和日丽，这两者之间也几乎等价。
所以这三个词之间的互信息就很高，说一堆对互信息很高的词就会让听众觉得是废话连篇。
相对而言，蓝天白云这个词提供了额外的信息量，因为天气好也有可能是万里无云，“蓝天白云”进一步界定好了天气好的细分情况，也就减少了我们了解真实天气情况的信息熵。
通过说废话这个例子，我们再引入一个信息论的概念——
这个词很直观，如果你说话废话多，那么你添加了很多的冗余度。我这么一说，大家好像认为冗余度不太好，其实不然。这个概念不只是在信息论里的出现，在计算机科学、工程学里面也会出现。简单来说它讲的是资源的重复度。
计算机科学里冗余技术是通过增加多余的设备或者备份来保证系统更安全可靠工作的一种方法。
注意，在这里冗余很明显是故意实施的策略，比如淘宝和微信这样的软件。他们的数据中心为了保证运行顺畅，通常都会有额外备份的服务器或者备用电源等，而冗余备份最经典的例子是区块链，为了保证不可篡改，他们把冗余这件事做到了极致。
在我们的世界里故意安排冗余的例子也有很多，比如
在我们传达信息的过程中，废话或者重复信息是一种必要的存在。因为冗余度如果太低，就会增加人类接收信息的难度。我们的大脑设计并不是用来接收高密度信息的。
我们需要呼吸，会走神，接收信息的过程经常需要停顿。所以如果我们接触的信息完全没有冗余度，就会导致一旦走神，马上会丢掉必要信息，只能不断回头去重新阅读，带来额外的痛苦。比如
7.1 举例 标点符号
最经典的是标点符号，我们停下来想两秒钟，你觉得标点符号提供的信息量大不大？
肯定是不大的。你不能说它没有提供任何信息量，比如感叹号！提供额外的情绪信息，但最常出现的逗号和句号，信息量非常小，要知道机器读文章不需要标点符号的，但是人类却很难接受完全没有标点符号的长文章。
所以冗余信息的存在就是为人类设计，但冗余度不是越高越好，应该有个度，这个度因人而异。
比如我们经常在网上看一些知识科普视频，一开始总爱讲背景知识，花费大量时间 10 分钟视频一两个核心观点，看了半天也没有看到这个观点的实质内容，这就会让我们感觉内容兑水很严重。
但是同一个视频如果一个年纪很大的阿姨去听，可能会听得津津有味，而且还觉得讲得很有道理。这种差异跟代际更迭有很大的关系。
我们这一代人出生在信息时代，在童年阶段就接受了大量的信息训练，所以大脑前额叶皮质负责分析和理解信息的脑区是比前几代人都要发达的，这意味着我们能够接受更高密度的信息内容。
随着信息科技的发展，人类对冗余的容忍度也在变得越来越低，这也能解释为什么年轻一代沟通过程中，类似 yyds，xswl，zqsg， nbcs 这种高信息密度的简写会这么流行。
了解冗余度的概念对我们有什么启发呢？
1 冗余并不是坏东西
2 时代在进步，人类习惯接受的冗余度也在减少，所以我们越来越需要掌握去除冗余度的方法。
那么我们如何成为高密度信息的掌握者呢？
前面已经通过压缩算法的例子解释了快速阅读的方法.
这里我们再补充一点去除冗余信息的方法——画分析框架。
我这里说的分析框架并不是常见的脑图，脑图只是一种偷懒的框架，它的默认结构就是只有金字塔结构。但我们在11语言表达 讲过，结构是多种多样的，比如递进循环、四象限，所以我们的确应该掌握更多的框架模型。
我画分期框架通常使用这样三步法
step1 先把关键概念零散列出来，这种罗列不需要顺序，只需要你觉得重要就写上去，这一步类似于建立了很多概念的卡片。
step2 寻找概念卡片之间的关联，对它们进行分类、连接，同时拿掉一些信息等价的卡片。
step3 回忆我在大脑中已经建立的一些思维模型，然后对他们进行套用和矫正，最后形成一个属于这次阅读内容的新的分析框架。
通过这个方法，我可以把一份几十页的研报简写成一张大图，让记忆的效率提高很多。
而进一步来讲，这张大图又能够成为未来解读更多研报的底层基础。
就像前面讲过的关键第一帧，有了它我就可以加速理解相关行业的其他研报，因为我只要重点关注这些研报的增量信息就行了。
今天我们讲了人类最重要的三条物理公式，信息熵的概念，把资源分配给高频场景的霍夫曼编码，能极大提高阅读和学习效率的帧间压缩算法，描述相关性的互信息，还有冗余度的概念，希望对大家有所启发。