00:00/00:00
外链地址
https://www.eemp3.com/audiofile/e830a07386f1f9d87cbfa7aaa4f42fef.mp3
点击复制
本字幕由TME AI技术生成
听众朋友们大家好
欢迎收听云上的中国之巨变中的AI时代
本期的主题是
反向传播算法
解冻神经网络
进入二十一世纪
半导体技术像摩尔定律预言的那样飞速发展
为人们提供了越来越强大和便宜的算力
另外
人类社会正式进入数字化时代
大量知识的线上化和数据化
给世人提供了前所未有的数据量
如果我们将任何人工智能的应用也看作是由算法
算力和数据三个引擎所驱动的话
那么此时
人工智能的研究者终于获得了足够强大的工具
人工智能的漫长寒夜终将结束
黎明即将到来
而首先解冻的
是尘封已久的神经网络
再次带领神经网络崛起的人就是辛顿
如今被大多数人尊称为深度学习之父
也许是受到作为生物学家的父亲影响
辛顿从年轻时起就对人脑的结构和工作原理着迷
他坚信模拟人脑的构造是通向人工智能的正确道路
但是如上文所述
在二十世纪七八十年代
对于神经网络的研究几乎进入冻结状态
大部分人认为模拟人脑是天方夜谭
根本不可能实现
辛顿的研究方向四处碰壁
斯坦福和卡内基
梅隆等AI研究重镇都对他的研究不感兴趣
辛顿最终落脚加拿大
因为当时只有多伦多大学愿意资助他的人工智能研究
真理也许真的是常常掌握在少数派手中
辛顿对神经网络的研究多年来不断遭受同行的质疑和嘲讽
连多伦多大学本校的教授都认为神经网络是科研炼金术
让学生离这个课题远点
辛顿却不为外界所动
一直坚持不懈的发表了大量研究成果
直到在二零零六年发表论文
提出了深度学习的概念
这里的深度学习
实际上就是多层神经网络的机器学习法
深度学习属于机器学习的范畴
也是机器学习最为重要的一个分支
之前我们提到
神经网络之所以长期没有得到发展
其中一个重要的原因是人们没有找到训练多层神经网络的方法
而新顿的主要贡献就是破解了这个难题
提出了反向传播算法
假设一个深度神经网络要解决的问题是识别图片里的猫
一开始神经网络没有经过训练
给出了一个非常离谱的答案
是大象
大象和猫肯定有天差地别
这个巨大的差别就是成本函数
反向传播就是通过喂给网络无数张猫的图片
不断调整网络中无数个参数的权重
直到网络能够每次都正确识别出猫
大象到猫的过程
就是深度学习网络训练的过程
在机器学习的术语里
又被称为梯度下降
由于神经网络生成的结果是由百亿甚至千亿个参数之间相互作用产生的结果
人类根本无法预测和掌握这个过程的因果关系
这也是大模型不可解释性的根本来源
这与人脑工作原理的不可解释性在本质上是一致的
深度学习最厉害的地方是
它理论上可以解决任何可以用函数表示的问题
只要有正确的输出数据
那么神经网络就可以通过无数次的训练来调整其神经元权重
获得正确的答案
这就是深度学习的过程
有了反向传播算法
理论上机器可以自主学习任何需要人类智能的任务
因为在计算机的语言里
所有数据都是由零和一组成的
包括图片
文字 语音
音乐和视频
举例来说
神经网络可以分辨图片
那它就可以分辨语音和文字
可以说
这完全打开了一个新世界
人们看到了无限的可能性
机器不再依赖一条条编程工作
而是通过训练来学习任何知识
此前神经网络的研究之所以会长期停滞
是因为深度神经网络这个算法在二十世纪五六十年代的发现
实在是远远超前于时代
当时既没有足够快速的CPUGPU来计算海量神经元的参数
也没有足够多的高质量的标注数据来训练模型
计算机硬件在摩尔定律下的快速发展
加上全球互联网化带来了数据大爆炸
再加上新顿这样执着的天才提出深度学习的概念
人类才能走出迈向通向人工智能的第一步
本集内容结束
AIGC塑造者如何看待未来生成式AI将怎样赋能各类企业
敬请收听下一集