00:00/00:00
外链地址
https://www.eemp3.com/audiofile/91beffbca664296fe0c69e5c8daa4586.mp3
点击复制
本字幕由TME AI技术生成
本清频为您解读的是信号与噪声
听这个名字
好像是讲信息技术的书
其实呢
他说的是预测这件事儿
所谓信号
就是真相
而噪声是掩盖了真相的虚假信息
我们说的预测
其实是从噪声之中分辨信号的过程
我们每天都在预测未来
从天气预报到买卖股票
其实呢
都是在做出预测
只不过
在大多数领域
人们的预测能力实在不敢恭维
信号宇噪声这本书就是在研究怎么正确的做出预测
从金融危机到恐怖袭击
从德州扑克到国际象棋
预测准确
能让我们一夜暴富
预测失败
则可能是生灵涂炭的大灾难
人们从求神拜佛到求助科学
动用了各种办法来预测
那么
哪些办法真的有效呢
怎样才能提高预测的准确性呢
本书的作者纳特
希尔弗就是一位预测大师
他分析了人类在多个领域的预测能力
给出了非常重要的建议
他都预测过什么呢
他在自己的网站五三八上
经常对美国的体育比赛和政治选举进行预测
准确率非常之高
根据他的方法
在二零零八年的美国总统大选中
成功预测了五十个州中的四十九个的结果
而在二零一二年大选中
他的结果则是五十全中
有着这样骄人的战绩
人们自然想知道他有什么手段
其实
本书中的办法并不神秘
但是呢
一定能引人深思
我会分四个重点来为你解读这本书
第一
为什么预测会失败
第二
为什么预测动态系统如此困难
第三
希尔福推荐用什么方法进行预测
最后
我们来思考这些方法怎么应对当今时代的重大问题
好
我们先进入第一部分
看一看预测为什么会失败
错误的预测经常会在媒体上出现
像是美国的总统大选
球队的输赢等等
在最终结果出来之前
听那些预测好像也挺靠谱的
但是呢
结果往往不尽如人意
那为什么会出现这种情况呢
作者用一个大家耳熟能详的事件来举例子
就是二零零八年的金融危机
从这个例子当中
你也能看出其他预测系统容易出现的漏洞
当年的这场危机
给社会经济带来了严重冲击
不仅在美国造成很多人失业甚至倾家荡产
也冲击了世界经济
导致这场危机的关键就在于
人们对房地产贷款市场的风险预测失败
而且对其中埋下的隐患视而不见
这是怎么回事呢
美国的房地产价格在二战后多年都是相对平缓的
没有多少投机的空间
但是到了九十年代
房价开始飞涨
买房炒房成为一门投机的生意
吸引了很多人买房炒房
在这种环境之下
原本是帮助人们买房居住的购房贷款
性质发生了变化
大家呢
产生了这样一种心态
只要现在能凑钱买房
就算欠债也无所谓
未来通过房子升值来还贷
还能赚上一笔
但是如果不尽快入手房产
就和发财无缘了
面对大量希望贷款的人群
房贷本身也在改变
过去呢
发放贷款要看一个人能否还贷
如今放宽门槛了
甚至出现过造假帮助人们申请贷款
这些容易违约的房地产债务风险很高
但是又被金融机构打包成了各种复杂的衍生品从中获利
总之啊
在好几年的时间里
大家不断的借钱买房
哪怕还贷困难
哪怕多付利息
金融机构也乐意把钱尽快借出去
几年下来呢
就形成了一个次贷市场
所谓次贷
简单来说就是质量比较次的贷款
也就是那些借给低收入低信用的借款人的贷款
这其中蕴含的风险应该显而易见
但美国的金融机构和政府机关却没有提前发现
在大家的预测当中
房价是会不停上涨的
那为什么这么多人的预测都失败了呢
作者分析了三个因素
首先是让人信服的权威机构失去了作用
在金融市场上
作为看门狗的评级机构
他们的工作就是对债券
股票的风险打分
他们本来应该是最热衷于精确预测市场风险的人
有着金融侦探一样的能力
能对可能存在的风险明察秋毫
也能对各公司利益中立客观
这样才可能出具有公信力的评级报告
嗯 投资者呢
也确实是这么相信他们的
但实际上
许多评级机构自己也参与投资
加入了房地产债券业务
因为利益关系
只要房地产市场的泡沫不破
评级机构就可以赚的盆满钵满
于是金融市场成了一场击鼓传花游戏
所有人都不希望股声停滞
预测失败的第二个原因是我们在分析数据时容易过度简化
房地产泡沫本来不缺乏前车之鉴
在日本等国都发生过
两千年以来
许多经济学者也发表了关于警惕泡沫的分析
但是
如果我们回顾当时的预测
就能发现
人们更喜欢预测房地产价格会上不封顶的走高
也就低估了泡沫的风险和影响范围
作者分析说
这种错误的预测主要是因为人们用了大量的旧数据和被简化的模型
但二十一世纪初的房地产市场和过去相比发生了很多变化
这样的预测当然就不能反映真实世界的问题了
同时
复杂的金融衍生品
把各种债券拆散包装之后售卖
乍看起来呢
这些都是不同的金融产品
但是一旦出现房地产违约
他们的泡沫全都会同时破灭
人们在预测时
把这些相关的风险看成了彼此独立而不是相互关联的风险
因此忽视了可能的连锁反应
作者还分析了当时的专家预测
发现公开发表的预测有一些只是模棱两可的文字游戏
其他那些预测的正确率接近百分之五十
但是这个概率
你想一想
跟抛硬币来决定没有什么区别
那是不是说
这些所谓的专家都是一群徒有虚名的骗子呢
也不能说的这么绝对
作者发现
专家可以分为两类
刺猬型和狐狸型
自慰型专家固执己见
希望用简单的方法做出判断
而狐狸型专家办法多多
善于适应
也能接受自己的预测不准确这个事实
会更多依赖经验而不是理论
听我这么一说呢
你一定有了判断
狐狸型专家的预测往往更为准确
但是媒体更喜欢那些说话斩钉截铁
喜欢给出明确预测的刺猬型专家
那结果就是电视上的预测正确率极低
这也是预测会失败的第三个因素
你看评级机构的失职
分析数据时过度简化
媒体为了追求传播效应的选择
最终导致了我们对于金融危机的预测大错特错
用了将近十年的时间消化危机的不良影响
如果说发生在我们身边的例子
比如买股票
你是不是更愿意相信权威专家的指导呢
会不会以某只股票以往的涨势来判断接下来的走向呢
哎
这就是犯了预测的打击
那有没有什么办法能够避免呢
作者给出了几个避免错误的建议
首先是要用概率的方式思考问题
什么意思呢
这个世界不存在刺猬型专家眼中的一定如此
我们需要判断各种情况发生的概率
运用统计学原理
发现看似独立的事件之间存在的相关性
第二是要敢于修正自己的预测
新的更准确的数据不断出现
人们应该积极修正过去的预测
不要认为否定过去的自己是软弱的表现
是不是跟大家意见一致
跟准确率有关
摆出唯我独醒的姿态
并不能让预测是对的
最后
也是最显而易见的
如果负责预测的人并不是第三方
本身有利益纠葛
那么他的可信度自然就大打折扣了
总结一下这部分
作者通过金融危机的案例
分析了错误预测的问题所在
分别是权威机构的失职
过度简化分析数据
媒体追求传播效应的影响
想要避免预测错误
作者也给出了这些建议
避免盲目自信
利用真实数据预测
要做狐狸型专家
善用概率
乐于修正预测
保持中立可观
但是
即便考虑了这些预测的方法
很多领域的预测还是困难重重
作者把这类领域称为动态系统
他们构成了如今预测领域最大的难题
接下来
我们第二部分就来说一说预测动态系统为什么很困难
先来说一说什么是动态系统
动态系统在生活中非常常见
天气系统就是最典型的例子
这种系统呢
有一个特点
只要稍稍改变条件
最后的结果就可能发生巨大的变化
气象学家给这种效应起名蝴蝶效应
一只蝴蝶在巴西煽动翅膀
就可能在一个月后的德克萨斯州引发一场龙卷风
我们对不同的动态系统
预测能力也是不同的
这其中最成功的例子就是天气预报本身
我们知道
在几十年前
可以提供参考的天气预报还不存在
但就在两代人的时间里
人类对于天气预报的能力已经取得了巨大的进展
如今只要打开手机
就可以查看一周左右的天气
对于灾害天气呢
我们的预警能力也大大提升了
比如说
三十多年前
美国还没有飓风预警系统
而现在
则是可以提前几天发出警报了
这是因为我们掌握了正确的预报方法
在各个地区都有气象站收集数据
这些数据在超级计算机中汇总计算
加上经验丰富的天气专家的帮助
天气预报的准确程度就越来越高
但是
错误的产生有可能不是计算机
而是人为的结果
我们刚刚说
稍微改变一点点条件
结果就会发生巨大的变化
嗯
人类观察周围事物的精确度是有限的
可能输入的观测数据只差了零点零零零一
计算机导出的结果就会完全不一样
而且
如果预测的时间跨度太大
比如你提前九天预测天气
那计算机算出来的专业结果
可能还不如你根据气候学规律预测的要准
比如海洋性气候的地区
天气是什么样
大家都有个概念
但是计算机算出来的结果
可能完全不符合这个规律
天气之外
有一种动态系统还夺去了许多人的生命
那就是地震
和天气现象不同
我们至今对预测地震束手无策
二零零九年
意大利的拉奎拉地区的地震造成了三百多人丧生
六万余人无家可归
地震之后
紧接着是一场闹剧
二零一一年
七名科学家和公职人员被告上法庭
罪名是没有告知民众发生地震的过失杀人罪
还好最后被无罪释放了
这场审判引发了另外一场科学争论
那就是我们到底能不能预测地震
地震呢
跟天气系统一样
也是一个典型的动态系统
不同之处在于
我们已经能很方便的检测气象数据
但是呢
对于地球的活动知之甚少
也没有什么检测手段
结果科学家尝试用过往地震的数据来预测未来的地震
结果根本不可靠
只靠现在人类的技术水平
只可能在一定程度上预测地震发生的概率
比如我们可以说
未来三十年内
南加州有百分之六十的概率发生地震
这种预测虽然正确
却没有办法用于防灾
所以科学家一再强调
那些宣称某时某地一定发生地震的预言纯属欺骗
因为目前我们根本没有这种精确预测的能力
通过这些例子啊
我们就能发现
预测动态系统虽然非常困难
在大量数据和超级计算机的帮助下
也能计算出他们的发生概率
但是必须承认
我们对许多动态系统还缺乏研究手段
承认我们无法预测他们
况且
这些动态系统的预测还会受到社会因素的影响
比如地震的例子中
学界对于失败的预测心有余悸
政治因素对于正确的预测往往不是好事儿
作者指出
做出正确的预测
就要忠实于数据和方法
预测者的职责是忠于真理
总结一下这部分的内容
作者分析了常见的两个动态系统
天气和地震
他们都跟生活息息相关
我们不断努力
希望得到预测的办法
有一些已经比较成功了
比如天气预报
但因为动态系统的特性
还有人类的观测不能特别精确的限制
可能导致和现实情况差异比较大的预测结果
另外
对于另一些动态系统
比如地震
我们也需要承认
目前还缺乏有效的预测手段
动态系统这么难预测
那我们应该怎么样提升预测能力呢
这就到了我们要说的第三部分
我们先来说一说作者最推崇的统计方法
叫做贝叶斯方法
贝叶斯方法的名字来自于发明人托马斯
贝叶斯
他是十八世纪的一位英国牧师
也是皇家学会会员
他的生平记载很少
但是有一部很重要的著作叫机会的学说概论
他的思想被法国概率论学家拉普拉斯等学者发扬光大
最终形成了统计学中的贝叶斯方法
这种方法呢
有点颠覆
跟经典的统计学方法差异很大
有什么差异呢
作者给我们举了一个癌症筛查的例子
来说明他们之间的不同
我们知道经典统计学计算一件事的概率
最直观的方法就是观察它究竟会发生多少次
比如我们不断扔出一枚硬币
次数多了之后
正面朝上的比例就会接近百分之五十
这就是硬币正面朝上的概率
我们也可以计算一种疾病检测手段的正确率
比如一位四十岁的妇女
如果乳腺癌x光检测呈阳性
有多大可能真的患癌呢
按照经典统计学
我们可以计算x光检测的正确率
正确率是百分之七十五
那么这名妇女患癌的风险就很高
但是贝叶斯主义者有着完全不同的判断方法
他们会考虑一件事的先验概率
然后根据新的数据得出后验概率
这两个概率是什么意思呢
先验概率
顾名思义
就是在我们进行实验之前
对一件事概率的判断
还是说乳腺癌的例子啊
科学家发现四十多岁的妇女患有乳腺癌的概率只有百分之一点四
这个数字说的就是先验概率
那后验概率呢
就比如你把这个数据带入贝叶斯公式
加上x光检测的概率再计算时
得出的结果就是后验概率
比如得出的结果是百分之十
那也就是说
这名妇女真的患上乳腺癌的概率只有百分之十
看起来可以松一口气了
贝叶斯方法的特点就在于这个先验概率到后验概率的过程
在很多例子中
没办法得到一个准确的先验概率
有些人认为
甚至一个主观判断的概率也可以充当先验概率
正是这种想法遭到了信奉经典统计学学者的反对
把主观判断的概率带入公式
算出来的结论不是很不靠谱吗
但是贝叶斯方法的生命力可以说是十分的顽强
在现代生活中发挥了越来越大的作用
比如上面的例子中
考虑到五十岁之前患上乳腺癌的风险本来就很低
医生索性建议不需要在这个年龄段做x光癌症检查
除了贝叶斯方法
如今的预测也离不开计算机的帮助
这个很好理解
但是作者提醒说
在借助计算机的运算能力之后
预测者自己的判断会变得更加重要
这是什么意思呢
作者给我们分析了计算机和国际象棋的例子
下棋和预测有什么关系呢
其实啊
他们的过程非常的相似
都是不断获得新的信息
再根据信息做出判断
计算机和人类的第一场世纪之战就发生在二十世纪九十年代
当时的国际象棋世界冠军是卡斯帕罗夫
一九八八年
IBM制作的超级计算机深思和他比赛下棋
结果计算机被他杀的一败涂地
仅仅九年后的一九九七年
局势逆转
新的计算机深蓝就反败为胜了
这是怎么做到的呢
在当时的比赛当中啊
运气和卡斯帕罗夫开了一个残忍的玩笑
深蓝并没有今天的计算机强大
但是他的程序漏洞随意走了一步棋
扰乱了这位国际象棋大师的心理
让卡斯帕罗夫非常紧张
以为计算机有什么无法判断的妙招
怪气因为误判计算机
深蓝最终胜利了
赛后
卡斯帕罗夫指责深蓝团队欺诈
而最终团队也承认
深蓝其实学习了大量卡斯帕罗夫的走法
是一台专门为战胜他定制的计算机
可以说
在当年
计算机战胜了人类
是深蓝作为卡斯帕罗夫的克星险胜而已
如今计算机的能力已经和九十年代不可同日而语了
但是作者反而忠告我们
我们不应该期待机器能代替我们进行思考
在卡斯帕罗夫的例子里
计算机的超级计算能力正是通过和研究团队中人类的精巧思维结合
才战胜了国际象棋大师
而卡斯帕罗夫因为失去了自己的判断
才被计算机牵着鼻子走
那计算机就只能是人类偏见和错误的放大器
所以作者也说
人类的进化远远落后于科技
我们自己已经成为了最大的技术障碍
好
总结一下这部分的内容
在作者看来
我们可以用什么方法来提高预测的准确率呢
善用贝叶斯方法
结合计算机和人的力量
这就是作者对正确预测提出的方法
贝叶斯方法是一个具体的统计学方法
他考虑了一个先验概率
又能用不断丰富的事实修正预测
得出后验概率
作者认为
这是如今预测这个复杂世界的关键方法
作者最后奉劝大家
不要迷信计算机的力量
超强的计算能力加上分析师的智慧
反而更为可信
这些朴素的道理
就是作者针对当前的预测提出的建议
那如果面对现在复杂的社会
这些办法是不是确实有用呢
在最后一部分
作者分析了一些最难预测的领域
这些领域的预测如同地震一样
还没有可见的方法
但是值得我们深入思考
有没有 没有
第一个领域是气候变化
我们刚刚说到了技术上我们怎么预测天气
但是呢
气候预测不仅是一个技术问题
作者的分析回到了偏见和政治对预测的影响上来
联合国气候变化委员会有这么两个观点
第一
地球存在温室效应
它让地球气温升高
这是不应该出现的
第二
随着温室气体的浓度升高
温室效应加剧
全球气温会进一步升高
但是针对这两个观点
可以问出很多问题
气温究竟升高多少
为了防止升高
我们到底要如何减少温室气体的排放
该减少多少
和天气预报不同
预测全球变暖成为了一个政治议题
有许多不同的节能减排方案
各个国家为此争论不休
生怕这些方案影响了自己的国民经济
一些怀疑论者索性否定气候变化
自然也有人因为自身利益不愿意承认问题
作者认为
最需要重视的是其中的一些科学的怀疑论者
他们同样是气候科学家
但更像是作者说的狐狸型专家
他们中的大多数人并不怀疑气候变化
而是反对用当前的方法来预测未来
他们认为不能通过投票的方式来做科学预测
这不是科学方法
面对气候问题大量的不确定性
各种复杂的预测模型可能力不从心
这种怀疑呢对于做出更好的预测是大有好处的
数据显示
很多预测短期内气温升高的科学家都失败了
结果就是气候科学受到了更多批评
作者认为
气候变化不是天气预报
精准的预测暂时还做不到
但是目前的讨论常常滑向政治闹剧
他建议学者应该保持对科学的忠诚
不要陷入党派政治的偏见和混战中
另一个领域是股票市场
这是一个典型的动态系统
在一个理性的股票市场中
有人需要套现而兜售股票
有人认同这一价格
所以买入股票
双方呢都是理性的
但是在真实世界中
股票的买卖反映的是人们对于价格的不同预测
像我们刚才的分析
人们在预测时
经常会受到偏见的影响
当出现非理性的繁荣时
投资者宁愿跟着下注
哪怕损失金钱
也不愿意独善其身
因为一旦预测失败
错过发财机会
可是要承担责任的
但是随大流的失败却可以免责
正因为这样
股票市场的泡沫非常难以预测
更难以清除
哪怕会损失金钱
人们就是乐意追涨杀跌
如果我们认为市场是完美无缺的
价格是公正的
就会导致可怕的错误
不过
类似于股票市场这种所有人一起预测的方法
还是一种有效的工具
作者反复强调
群体预测的结果经常好于单个预测者
如何让人们一起对一件事做出预测呢
有人运行了虚拟股票游戏
比如让很多人对几部电影的虚拟股票投资
预测电影的票房
结果发现这种预测的准确率很高
结以
尽管股票市场本身难以预测
我们却可以打造一些股票游戏
鼓励大家一起参与预测其他事件
这就是我们要说的最后一部分
通过分析股票市场
气候变化等重大问题
作者首先指出
这些领域都是典型的动态系统
非常难预测
正因为这样
才需要再次重申科学的独立性
防止党派
利益等因素掺入预测过程
让偏见蒙蔽双眼
虽然预测股票市场的泡沫非常困难
但是股票市场群体预测的特性
让它成为一种调动群体智慧的工具
我们不能用投票代替科学预测
但是不妨利用更巧妙的虚拟股票工具
调动群体智慧
做出更好的预测
好 说到这里
这本书的内容就为你讲的差不多了
最后再来为你总结一下
我们回答了四个问题
第一
为什么预测会失败
作者通过金融危机的例子向我们说明
有这样三个原因
那就是权威机构失去了作用
人们在分析数据时过分简化数据
媒体过分追求传播效应
那就会导致我们的预测和实际情况大相径庭
第二个问题
为什么预测动态系统如此困难
拿天气预报举例子
虽然技术发展很快
但是因为动态系统的特点
一点小小的数据差异就会引起结果的大不相同
人类的观测精确度又是有限的
所以预测动态系统才很难
预测天气系统还好说
到现在为止
我们还没有精准预测地震的能力
第三个问题
作者推荐用什么办法进行预测
作者认为
贝叶斯方法是预测这个复杂世界的关键方法
在利用它进行预测时
我们还要注意不要迷信偶然因素
并除偏见
另外
计算机的力量能让人类如虎添翼
但是在这样的时代
我们更要注意预测人员本身的判断能力
否则计算机只会成为放大我们偏见和错误的机器
嗯嗯 最后
我们来思考这些方法预测怎么应对当今时代的重大问题
预测不只是一个技术问题
更是社会问题
比如全球变暖这个预测
因为触碰到了各个国家的利益
所以一直在争论不休
股票市场也是一样混乱
人们为了避免承担责任
宁可牺牲金钱也要随大流
信号与噪声这本书出版于二零一二年
在当时
作者刚刚成功预测了奥巴马第二次当选总统
并且准确预测了两位总统候选人在每一周的胜负
但是在二零一六年的大选中
作者的网站一直预测希拉里更有可能当选
却预测落空
看来
即便是利用经过验证的预测工具
在政治预测中依然有可能遭遇失败
但是
正如本书中推崇的方法
一个好的预测者应该客观中立
不受政治偏见影响
不断修正自己的预测工具
用新的数据补充原有数据
大方承认自己的缺陷和不足
作者分析的领域横跨体育比赛
赌博
金融系统
灾难和恐怖袭击等诸多领域
从中我们不仅可以了解现今人类预测能力的发展
他提出的建议对于我们应对这个剧烈变化的世件也非常值得参考
也许
我们都应该学习一下他的方法
成为自己领域的狐狸型专家