《信息论40讲》精读笔记

1. 导论

• 1.1. 01.影响世界的三比特信息
• 1.2. 02.解开世界之谜的三篇诺贝尔奖论文
• 1.3. 03.大数据思维的科学基础

2. 第一模块： 信息产生

• 2.1. 04.信息度量：世界上有稳赚不赔的生意吗
• 2.2. 05.信息编码：数字和文字是如何诞生的？
• 2.3. 06.有效编码：10个手指能表示多少个数字？
• 2.4. 07.最短编码：如何利用哈夫曼编码原理投资？
• 2.5. 08.矢量化：象形文字和拼音文字是如何演化的？
• 2.6. 09.冗余度：《史记》和《圣经》哪个信息量大？
• 2.7. 10.等价性：信息是如何压缩的？
• 2.8. 11.信息增量：信息压缩中德保守主义原则
• 2.9. 12.压缩比和失真率：如何在信息取舍之间做平衡？
• 2.10. 13.信息正交性：在信息很多的情况下如何做决策？
• 2.11. 14.互信息：相关不是因果，那相关是什么？
• 2.12. 15.条件熵和信息增益：你提供的信息到底值多少钱？
• 2.13. 16.置信度：马斯克犯了什么数学错误？
• 2.14. 17.交叉熵：如何避免做出与事实相反的计划？
• 2.15. 18.复盘：如何识别误导人的错误信息？
• 2.16. 问答：高盛是如何两头通吃的？

3. 第二模块： 信息传播

• 3.1. 19.信噪比：历史有真相吗？
• 3.2. 20.去除噪音：如何获得更多更准确的信息？
• 3.3. 21.信道容量：信息通道的容量有边界吗？
• 3.4. 22.香农第二定律(一)：为什么你的网页总是打不开？
• 3.5. 23.香农第二定律(二)：到底要不要扁平化管理？
• 3.6. 24.纠错码：对待错误额正确态度是什么？
• 3.7. 25.信息加密：韦小宝说谎的秘诀
• 3.8. 26.极简通信史：从1G到5G通信，到底经历了什么？
• 3.9. 27.通信趋势：5G和IoT的商机在哪里？
• 3.10. 28.复盘：世界不完美，我们该怎么办？
• 3.11. 问答：群体共识等于客观事实吗？

4. 第三部分： 信息应用

• 4.1. 29.交叉验证：电信诈骗为什么能成功？
• 4.2. 30.等价性：如何从等价信息里找答案？
• 4.3. 31.大数据（一）：从四个特征把握大数据的本质、
• 4.4. 32.大数据（二）：大数据的四个层次
• 4.5. 33.互联网广告：为什么Google搜索的广告效果好？
• 4.6. 34.幸存者偏差：如何避免被已知信息误导？
• 4.7. 35.奥卡姆剃刀法则：最简单的往往是最有效的
• 4.8. 36.最大熵原理：确定答案找到之前，我们该做什么？
• 4.9. 37.麦克斯韦妖：为什么要保持系统的开发性？
• 4.10. 38.复盘：如何把信息论学以致用？

5. 第四部分： 信息论外传

• 5.1. 39.控制论：要不要成为“变色龙”？
• 5.2. 40.系统论：如何让整体效用大于部分之和？
• 5.3. 41.问答：精通各种语言才能做好语言搜索吗？
• 5.4. 42.问答：从信息论角度看科技发展的方向