本节目由生动活泼制作播出。
哈喽,
大家好,
我是生动活泼的联合创始人丁绛,
今天是我们硅谷早知道和硅谷101CROSSOVER的一期,
主播是刘红军,
硅谷101的主播,
嘉宾是徐浩哈卫徐,
硅谷的连续创业者和投资人,
也是经常做客我们硅谷早知道的好朋友。
今天我们要聊的是openAI刚刚发布的一个AI模型,
叫做GPT3,
这个模型它不仅仅可以自己写出非常有深度的文章,
而且还能自动编程写代码。
openAI的背景大家可能都有所耳闻,
它是由1MASKouttman,
也就是前的CEO等硅谷大佬支持的一个公司,
红军和一起调戏了GPT3,
所以下面就请大家收听他们的分析和讨论。
欢迎来到生动活泼传媒旗下硅谷。
早知道第4季这个世界因科技创新而巨变,
那就请和我们一起在最前线观察科技创新所带来的变化、
影响和机遇。
这一期跟我们坐在一起聊的嘉宾是hallway、
徐徐浩。
hallway是一位连续创业者与投资人,
他曾经创建了人工智能的网络安全公司tpas,
在PAS被硅谷云计算安全上市公司zgall并购以后,
他现在是负责人工智能与机器学习的副总裁。
同时呢,
Hoy也是硅谷老牌风险投资机构grlock的入驻企业家。
Helloho,
伟你好,
嘿,
红军你好,
我们今天要聊的这个话题其实很技术,
很烧脑,
我之前很想做这个话题,
但是其实我一直都不知道该怎么去切入,
直到我看到了你的朋友圈,
不然我们先从你朋友圈发的那4张图的一个DEMO去说吧,
大概是两个月前吧,
OpenAI他讲了他要releaseGPTthree的一些功能,
直到大概两个星期前,
他把正式的用户界面给一小部分的那个用户去试用了,
虽然说一直有说这个模型数据模型大概是怎么样的,
也就是最近两个星期有少部分的人开始用了,
陆陆续续有一些文章也好,
或者说结果也好就出来了,
比较让我非常震惊的就是他写的一些文章都很不错,
然后我就想,
哎,
我就在朋友圈里面试一下,
看看大家是不是能够看出来是人工智能把它给写出来的,
还是。
人给写出来的,
这是我发朋友圈的大致的意思,
对对对,
因为我看见他的这个论文其实是5月29号openAI公布的下一代文本生成神经网络gPTthree的研究论文,
一直到这两周开始,
大家才开始非常热的讨论,
不然我先给听众简单的介绍一下你的那个朋友圈,
就是你大概是发了四张图,
有四篇文章对吧?
嗯,
对,
你说其中有三篇是人工智能机器人瞎编的,
然后有一篇是人话,
然后这四篇都分别是,
第一篇是说GPthree是区块链之后最大的技术进步,
第二篇是说联合为理工会不允许神职人员主持同性婚礼,
由此可能造成社会分裂,
第三篇是说川普总统和亲戚们讨论国务院是个真插不进去的独立王国,
一个亲信觉得国务院需要来个文化大革命。
第4篇是川普对穆斯。
领和媒体的批评,
做了这样一个实验以后,
就我非常想知道一个结果,
就是有多少人猜对了,
对,
大概是一天吧,
一天不到一点的时间,
有33个朋友拆了,
你是要我公布正确答案吗?
其实如果你想设一个小悬念也可以,
那我们这个样子吧,
回头我把你的朋友圈里的那四张图放在我们这档音频的公众账号硅谷101上,
大家可以去猜一下那三张是机器写的,
哪一张是人写的,
那如果是想要玩一玩这个游戏的朋友,
大家可以在微信上搜索硅谷101,
我们下周会公布答案,
好的好的,
还有一个可以澄清一下的,
其实在朋友圈里有的朋友就问他说,
诶,
到底给了机器什么,
然后机器来写这篇文章,
其实你刚才读到的就是我们给机器的,
比如说联合会里,
工会不允许神职人员主持同性婚礼。
由此可能造成工会的婚。
点,
这就是他给机器的那句话,
下面洋洋洒洒写的所有的话都是那个人工智能机器人给写的,
所以他其实相当于我们给机器一个开始的话,
他会去续写,
接下来的话,
对来怎么去阐述,
发生了什么,
或者说怎么样,
那我们先把这个悬念留在这里,
正式开始介绍一下我们今天的gPTthree的新技术,
不然你先给大家讲一下这个GPT它是什么,
为什么它的出现会让大家眼前一亮。
对,
最近自然语言处理这一个方向已经热火了很多年了,
至少5~10年吧,
自然语言处理其实是一个几十年的一门学科,
但是真正的长足发展也就是最近大概10年左右,
因为最近十年人工智能各个领域都在发展,
这里面其中一个比较大的领域就是自然语言的处理,
那自然语言处理经过了很多个阶段,
以前比如说是先用一些逻辑来告诉你,
诶人的语法是怎么样子的来。
抗出你那是几十年前到最近一段时间,
或者最近十年来讲,
那基本上就是靠机器学习了,
那在靠机器学习在之前大概10年,
或者说是5~10年之前吧,
大家主要依赖的还是一个,
我们叫监督学习,
就是说我告诉你,
诶从中文翻到英文这个词到那个词,
我来给你1000个1万个样本,
告诉你这是怎么来翻译的,
然后你看多了,
你就知道怎么去翻译了。
如果是光是从翻译的角度,
基本上是你有很多样本的,
对吧,
有很多人已经中文翻成英文了,
或者英文翻成了法语了,
或者说翻成意大利语了,
有很多已经被标注的数据了,
那这比较容易,
但是如果说我只是问你一些问题,
比如说就像问你3+3等于几,
如果我不告诉你逻辑这个东西是很难翻译的。
在过去来讲,
但是一个比较大的进步,
GPT这个model这个数据模型比较大的一个进步,
几年前或者三年吧,
过去三年左右的一个大的进步,
就是用无监督学习,
所谓的无监督学习就是没有标注的数据,
我就给你一堆的英文,
自己能够感知到这个英文应该是大概怎么写,
因为我给你大量的数据,
给你成千上万上亿的数据量,
然后你自己去琢磨出来,
诶,
这东西英文的东西放在哪里,
中文放在哪里,
但是我并不告诉你这一段英文匹配这一段中文,
这一段英文匹配这一段法语,
这我不告诉你,
但是。
上我就放一堆东西,
你看多了以后,
你自然而然就会学会了,
那这个gpdmodel,
它主要其实就是学的互联网,
互联网基本上是可能他把所有的互联网的那个跟文本有关的东西都抓进去了,
抓进去以后他也不告诉你这些是怎么翻译,
但是你想如果一个聪明的人,
他把互联网的东西都看透了,
然后都记住了,
下一次他有可能自然而然就会去说,
哦,
因为我知道什么样的内容跟什么样的内容,
经常我在哪里看到或者放在一起,
我就自然而然琢磨出来,
这些东西比较大的进步就是一个无监督的学习,
那这一次gPTthree或者GPT3这个第三代的模型,
它的一个比较大的一个突破,
从技术上来讲,
很多人其实有批评的,
从算法上来讲没什么大的突破,
但是他的算力特别大,
他用的算力大约是我们这一次,
他5月份他宣布的时候,
大多数人呢,
估计是大约花了1200万。
的美金,
呃,
训练这么一个模型,
就光训练一次就花了1200万,
那训练出来以后,
他用了大概是1750亿的参数,
那也就是说它有大量的互联网所有的数据,
然后这些数据用什么样一个特征去展示出来呢?
你可以用10个,
100个,
1000个,
它用了1750亿个参数去来表达,
这我所有的大概400亿个文字,
他就是那个word从互联网面抓下来的,
这样子他就能够理解,
相当于是一个机器人,
他就对这个互联网的理解的深刻程度就比以前大概要高很多嘛,
这一次比较大的进步就是说,
哎,
我以前如果说告诉你是怎么去翻译的,
从英文翻到中文,
中文翻到英文,
可能还要做一些优化,
这一次他基本上就是说把这个400亿的文字,
互联网上的文字把它吞进去。
花了1200万美元去计算,
就是去那个训练这个模型,
后来发现他可以做一些很惊人的事情。
举一个很简单的例子,
我们从来没有在标注数据里面教过他去怎么做加减乘除,
他居然能够做两位数三位数的啊,
加减乘除基本上两位数的告诉你78+56大概是几,
你就用语言去问他,
他基本上能够做到正确,
即使是三位数的,
他能够做到大约80%的正确。
所以说有几个突破,
第一个突破是大概几年前是一个无监督的学习,
我不需要标注的数据就能够给你答案,
但是呢,
这需要有一些做一些局部的优化,
比如说我来告诉你,
诶你怎么去做加减乘除,
那我给你一些有关加减乘除的一个数据,
那这一次就是说基本上没有做任何的优化,
局部的优化为某一个task或者某一个任务去做优化,
它就能够做一些非常那个通用的一些任务,
他5月份发布了以后,
7月份他开始让非常少量的人去有一些局部的开始用这些API,
其实我觉得可能每天每周我们都发现有一些新的应用场景在用,
对根据你说的,
我可不可以理解成,
比如说以前我们觉得3+3=6是一个很简单的加减乘除,
是因为它是一个特定领域的人工智能,
就是相当于大家比如说我去告诉你这一套机器是怎么算的,
但是GPT。
但它的不一样是,
它是一个通用性的人工智能,
它并不是针对数学算法去做的,
而你去问他,
比如说法国的首都在哪里,
巴西的首都在哪里,
或者问他狗有几条腿这样的一些问题的时候,
他其实都能做,
就是它相当于不是针对于一个特定领域,
而是一种通用型的、
更加广阔意义上的人工智能,
所以他的想象力是更大的,
对他的想象力更加大,
其实我们还在处于想象的阶段,
但是有一点也能够理解,
他学习到的那些知识还是基于互联网上面看得到的,
互联网上面如果从来没看到过,
那还是可能会比较难。
举一个例子,
比如说2020年发生了很多新的事情,
最近一周也好,
一个月也好,
或者三个月也好,
发生了很多,
大家很难以想象的,
不管是政治上的,
经济上的,
还是我们那个公共卫生上的一些新的事情层出不穷,
那它这个数据量,
据我所知,
基本上。
可是到大约是今年年初,
大约1月份左右为止的,
所有的互联网那一月份以后的,
包括5月份、
6月份发生的事情,
互联网上面从没有发生过的事情,
他不一定知道这个东西,
不一定是取决于具体是什么样的事情,
就像我说的一些政治上的事情,
如果说是按照以前的事情能够推理,
它有可能能推理,
但是有一些事情是很难想象,
但是发生了,
然后你让这个机器人去判断,
其实可能也是比较难的。
我当时在看到GPT3的时候,
我就发给了一些我的朋友,
收集到一些反馈,
就有人说他们当时看到这个技术的感觉是一个超级电子对撞机的发明,
还有一个朋友说,
简单来说,
你去理解它可以做什么,
你差不多可以理解成机器就可以自动去续写红楼梦的后40回了,
对对,
不知道这样准不准确,
呃,
我觉得刚才你说的这两个都是。
很不错的一个想法,
至于说红楼梦,
我是这么想的,
他能够写出来红楼梦后面两回、
40回,
或者说多少回都有可能,
而且有可能写的出奇的好,
但是也不排除他写的有漏洞也好,
或者说讲的故事是太离谱,
让人家觉得可信度减低,
都是有可能的,
是这样子,
因为包括我的朋友圈里面发的几篇文章,
其实都是选他写的比较好的文章,
我没有发他写的不好的,
所以说我们有的时候在判断事物的时候,
一般容易是把好的东西拿出来吹,
不代表这个机器人所有的文章都是好的,
但是我觉得从方向上面来讲,
你想他如果能够十篇文章里面写出来两篇特别让人惊诧的,
已经是非常不容易的,
随着时间的推移,
随着技术的往前走,
随着算力越来越便宜,
我觉得从10篇里面有2篇特别好到5篇特别好到甚至于9篇、
10篇。
都应该是很快的,
有可能是的,
是的,
我看见在这个事情出来以后,
大家就是其实对他还是有一个质疑的,
就是因为他现在API的测试邀请,
他现在还是一个邀请制的,
而不是说任何人放在网上,
大家都可以去免费的去调用,
直接的去调用的,
因此在没有用的一些人看来,
他们就觉得我们普通人很难去验证这样的结果,
可能你看到的是他们的工作人员或者他们的首批试用者测试出来的最好的一个结果,
但是比如说如果你让他去做翻译,
他翻译的怎么样,
我随便给一句话,
他是不是都能翻译出来,
就是他的这个准确率达到了一个什么样的程度,
现在还是不太知道的,
就是我们只能看见一部分的极少数的一个DEMO,
对,
我个人倒并不怀疑,
比如说我朋友圈里面发的那个为你工会那篇文章,
其实算是里面比较优秀的一篇范文,
拿出来作为机器人。
写的,
我并不质疑他写出来这些文章的是不是有造假什么,
我是一丁点都不会疑,
我觉得是100%是事实,
而且我相信有很多很多这样非常好的文章,
但是我们人都是有一些selectionBI是选择性的歧视也好,
或者怎么样也好,
就是有的时候看到几篇文章觉得诶,
他就是这个程度了,
不一定能够概括成为机器人,
现在写的所有的文章都好,
这个我觉得是唯一是可以说去debate,
或者去有争论的,
刚才你说有些你的朋友也,
你说是不是他只给少部分人在用,
他给少部分人用,
我觉得他的主要的出发点并不一定是说他的东西是真是假,
我觉得主要是有几个考量吧,
第一个我觉得主要是openAI这个组织,
它虽然说它有非盈利的那一部分,
但是这个组织他要往前走,
其实还是一个盈利那一部分也是非常重要的。
所以说它其实是也是想从给。
大部分人用,
然后给他一些启发,
然后看看这样的一个机器人也好,
或者说模型也好,
可以在哪一些应用场景,
给人类能够带来很大的进步,
我觉得这是可能是从他的角度来讲,
他也是想学习,
学习并不是说给所有的人,
然后一下子有那么多的那个负担,
而是他是只是想学习,
我觉得这是一个另外一个,
其实从安全性角度来讲,
因为AI或者人工智能到底是给谁用,
怎么用,
其实是可能会产生很大的影响,
其实我们可能还没有聊那个openAI的历史,
OpenAI其实创始的时候,
它的一个很重要的一个宗旨,
就是说怎么让人类能够比较安全的去用人工智能,
所以说它也是非常顾及到,
诶,
我这东西不能说是人人都用,
你要告诉我你怎么个用,
我来想一想,
诶,
我是不是能够让它成就商用的价值,
对对对,
我觉得你说。
到openAI的时候,
我们其实有必要给听众补充一下这个gPTthree,
他的论文背后的研究机构openAI是马斯克联合硅谷大佬投资十亿美元成立的一家非盈利组织,
然后他最开始说他成立这家组织的目的就是说他要防止人工智能去毁灭世界,
所以呢,
这个组织也汇聚了硅谷很多最有诠势跟名望的人,
比如说硅谷的孵化器Y的创始人Sam姆al特、
manSam姆奥特曼,
还有前stripCTOGRblockman,
格雷格布劳克曼,
还有linkedin,
被称为硅谷人脉王的联合创始人RIHoffman,
以及大家都很熟悉的硅谷的知名投资人Petertr,
包括像wabe特,
还有特斯拉,
还有微软、
亚马逊,
他们都愿意,
就比如说VI跟特斯拉愿意去开放数据给openAI,
微软跟亚马逊也是openAI在。
方面的合作伙伴,
好像这一次他们的整个的训练也是在微软云上进行的,
他跟deepmind有什么样的区别呢?
这两家机构其实都是主要是从研究为主,
Deepmind本来是一家独立的公司,
被Google啊,
几年前收购了,
所以说它其实算是Google的一部分,
OpenAI实际上是EllamaskSamyc的创始人,
这一波人他们给大概2015年的时候给创立的,
他们当时候的一个想法,
其实伊朗mask一直是有一个比较强烈的观点,
就是人工智能如果我们不小心的话,
有可能getcontrol都有不可控制,
当所谓的不可控制,
尤其是它这个技术落到有不良企图的人的手里,
它有可能对人类造成甚至于毁灭性的打击,
那从他的角度上来讲,
他想来影响AI人工智能这个技术的发展,
那所以说这是。
他的初衷,
但是实际上从这个角度上来讲,
从执行上来讲,
你看因为deepmind是Google的一部分,
所以说它不可能仅仅或者说只做研究,
他还是有一点压力,
要给Google这家公司产生一定的商用价值,
他多多少少可能对商用价值的思考要更加深一点,
这个压力是有的,
相对来讲openAI它其实也有两部分组成,
一部分完全是没有盈利性的机构,
另外一部分是有盈性这方面的考量的,
但即使如此,
因为他的公司,
其实你看他大概有一年多前从微软他的十亿美元的那个资金注入,
呃,
其实相对来讲这方面压力比较小,
所以说他更加能够天马横空的去思考,
诶,
我怎么样能够对社会有些贡献,
所以说你看这次GPTthree出来其实也一样,
他做了这么大的一个模型,
让人觉得哇,
那么的impress。
但是。
商用价值到底在哪里,
其实他自己没思考清楚,
或者说他也还没有来得及思考清楚,
这是两家侧重点会相对来讲不一样,
当然从口号上来讲,
其实这两家都差不多,
都是想说,
诶,
我把那个我不只是呃为商用,
我是想把研究作为一个很重要的一方面,
OpenAI相对来讲对社会因素的考量可能会更加多一点,
这次它有这样一个GPT的API接口,
你有去申请接口的使用吗?
对,
我有申请啊,
但是还没被批准,
他是这样子的,
其实每个人都可以去申请,
你也可以去到openAI,
然后去申请,
然后你要给出自己的用途,
写一个用途就可以了。
我觉得他一方面他也是想知道,
因为他的那个目前的接口,
他目前还是属于测试阶段,
他不可能给所有的人用,
他至于以后是不是会给所有的人用,
我觉得一方面他可能自己规定已经决定了,
另一方面也是随事态的发展。
我觉得也是会改变的,
所以说目前来讲只是给少部分的开发者在用,
那给少部分开发者用,
他就想一方面他自己也想学习一点应用的场景,
但另外一方面他也想知道你到底是坏人还是好人,
所以他也要做一个过滤,
所以说目前来讲是这么一个阶段。
同时因为openAI的现在的CEO是以前YC的总裁SamSam他其实前一段时间给他的Y的一些下面公司的一些CEO发过邮件啊,
问他们是不是有兴趣来测试,
我有一个朋友,
他其实是有API的接口,
我还让他问了一个问题,
初衷是这样子的,
GPTthree有这么强大了,
都已经能够编程了,
当然了,
今天他编的程序可能还简单一点,
有可能五年、
10年以后能够编非常复杂的程序。
我的问题就是说,
今天是不是90%的那些程序员做的事情,
在10年以后就被AI给。
取代了,
他给我的回答是基本上这是一个已经不可逆转的一个事实了,
尤其是一些简单的编程会被AI取代,
你看其实我就是问了一个是不是这么一回事情,
让他来拓展,
然后他给了充分的理由来告诉我,
其实还是能够显示出来这个GPT还是强大的,
他还引用了一些例子啊,
还要去看看他引用的例子到底是不是靠谱。
但是有一点我觉得也是从他的回答当中,
我发现也有gpdthree还是有一点相对来讲有点漏洞,
他虽然说能够论证一件事情,
非常的看上去蛮缜密的,
但是实际上有一些比较深的思路,
我觉得他还是匮乏的,
比如说我们说程序员,
呃,
90%的工作是不是能够取代掉,
表面上可能是90%的工作,
可能是确实是简单的,
但你要知道,
对于一个程序员来讲,
我们其实花的10%的时间在做这些简单的事情。
百分。
之90的时间是在做一些非常复杂,
或者说是在调一些bug也好,
或者怎么样也好,
并不是说是90%的事情能够被取代掉啊,
有可能90%的扣的被取代掉,
但这个并不代表难的东西能够被取代掉,
GPT他没有去思考,
就是说写程序到底是哪一部分难一点,
哪一部分容易一点,
然后要思维两层或者三层以上去思维的可能还浅一点,
当然了,
这也是2020年到了2022年二三年,
我觉得他可能会思考的更更深入一点,
这个问题我刚刚看到你之前问gPTthree的那个问题,
还有回复了,
我的第一反应是他其实是在顺着你的意思去说,
我当时还在想,
如果我们给他一个相反的意思的表达,
就比如说做一个判断,
AI在未来的10~20年只能取代少量的程序员的工作,
就像你说的,
可能程序员只会花10%的精力去做写程序的,
他还有更多。
多的更深层次的工作的内容,
我其实还挺好奇他会怎么说的,
就是我不知道他这个说的是他自己已经有的一个判断,
还是他基于你的上文的一个举的例子去往下,
顺着你的话去说的,
他会不会批判性思维啊?
我觉得你这个问题很好,
等到节目以后我问一下gPTthree吧,
嗯,
好的好的,
对,
我想这个会非常有意思,
我们刚刚提到了现在它的API接口,
它其实是可以做这种提问回答模型的,
然后我看见在一些介绍的文章中提到他还可以做翻译模型和写作模型,
现在他总共能做的事情是不是就是这么多?
对,
其实主要的就是像你刚才说的这三件事情,
翻译其实人工智能早就能够做的比较好了,
这一次比较能够有比较大提高的,
更多的可能是写作,
写作不只是写一点没有头脑的,
他可能写的东西还是让你看上去是非常像人类写出来的。
东西一样,
就好像这一次问那个为理工会怎么样了,
其实为理工会他说要分裂,
或者说然后还有板有眼的说昨天开了会怎么样,
这个有板有眼的能够写出来是蛮令人惊讶的,
因为确实是为理工会,
大约在2020年的一月份有过这个讨论,
当然了,
他列举的那个数字或者引用其实是假的,
因为华盛顿邮报并没有说这些话,
但是他能够有板有眼的说,
诶,
华盛顿邮报报道了过去两天他们开了一个什么会,
因为什么样的原因学会分裂,
其实显然他是捕捉了互联网上的那么多信息,
你来给我一个话题,
我就能够确实能够展开,
所以这篇文章写的是特别的好,
多数的人都没有判断出来这是一篇机器人写的文章,
还有一个就是问答,
诶问你现在疫情下面你应该做什么事情,
类似这样的问题,
对之前我们有讨论,
就是我。
没有半开玩笑的说,
VC看到这个模型以后,
担心自己会被取代,
为什么?
对,
从表面上来讲,
我觉得这个担心是非常可以理解的,
这是推特上面,
最近几天推特上面的一个人给VC提的问题,
因为VC做的很多事情,
就是我一年可能见个成百上千个创业者和公司,
等到见到下一个公司的时候,
我就看,
诶,
这个人是不是靠谱,
是不是有可能成为独角兽,
是不是能够以后成为一个上市公司的CEO,
就做这些判断,
他之所以能够做这些判断啊,
有一个很重要的原因就是我看了成百上千个,
每年能够看成百上千个创业者和公司,
我来做这么一个匹配gPTthree,
他其实做的事情是一样的,
他看了互联网,
几乎所有的互联网的网页,
他学习到了,
你今天来提问他一个问题,
我今天出门是不是要戴口罩,
他大概知道是什么情况,
或者是怎么样的社会环。
环境,
然后来回答你也是做一个这么一个匹配,
但是实际上今天的GPDC我觉得是远远到不了取代VC,
因为VC要做的事情不是太一层,
还要去推,
譬如说诶,
为什么人家不能做这件事情,
为什么你的竞争者不能做这件事情,
你的竞争者在想什么,
然后你的竞争者是怎么来,
如果你你怎么去做一件事情,
他会怎么做,
这还不像下围棋或者象棋,
还有一个规则,
你可以自己左手跟右手可以去互相的去比赛,
那在VC或者说创业环境规则并不明显,
今天还没有到这么一个程度,
机器人可以去推演啊,
没有规则的场景,
看现在最近一两年,
两三年自然语言处理的一个能力的飞速发展,
我是一点都不奇怪,
等到两年、
三年、
四年以后,
它能够做很多一信能够做的事情,
投资人能够做的事情,
对你说到这个,
其实我也想到有一个例子,
有一个Twitter特的网友叫。
娜,
他也是家风险投资公司的创始人,
他就用gPTthree做了一个问题的开始,
就是说如何召开董事会的会议,
他自己是输入了一些怎么开会的,
相当于前一段或者前三段gPTthree他就根据他输入的前几段列出了剩下的,
比如说你要具体怎么操作你的目标清单,
怎么从自己的朋友跟同事入手资格清单,
什么样的人可以进董事会,
最后就是怎么去沟通。
gPTthree自己写了一个这样的文本,
他自己看了演示的结果以后,
他就说gPTthree呈现出的结果是远超他的预期的,
他自己把gPTthree形容成它就像一个iPhone,
将全世界的知识装进了你的口袋,
相当于是GPT给你提供了一万个可以回答任何领域的专家,
然后我当时看到这个的时候,
再结合你的朋友圈发的他的一些写作模型,
我当时都在想他是不是都可以取代一个稍微深度一点的记。
折了,
因为比如说像我们的工作也是在热点新闻出现以后,
去跟各行各业的专家聊,
来把它总结成一篇深度的文章,
可能说它短期还达不到这样的智力水平,
或者说就像我们刚刚说的引用华盛顿邮报,
但是它华盛顿邮报可能也没有说过这个华会产生一些假新闻,
但是长期如果不再训练的话,
我觉得这个趋势也是有可能的。
对,
我觉得这个推特这篇写的蛮不错的,
他那个做董事会,
因为大家都知道在美国董事会并不是一个橡皮图章,
还是蛮复杂的,
他能够让他感觉到,
诶,
我在董事会做些什么事情,
能够让他感觉到蛮吃惊的,
就从另外一方面也说明这一次的gPTthree的影响力还是蛮大的,
就是说像你刚才问到的,
是不是能够取代记者,
我觉得今天目前还是停留在归纳已经有的知识上面,
比如说作为一个记者,
你想去采访百度过去发展怎么样。
我觉得有可。
嗯,
机器人记者能够写出来一篇很深度的报道,
为什么呢?
因为对百度的采访网上已经有很多了,
李彦宏是怎么样一个CEO,
他的性格怎么样,
他内部发生过一些什么事情能够写出来,
确实个机器人记者能够写出来蛮深度的一件事情,
但是对一些正在发展一些新鲜的事物,
这就并不一定是这样子了,
就好像疫情是最近几个月的事情,
主要对吧,
GPTV的数据,
它主要是到1月份为止,
可以总结一下来说他在总结人类的已有知识的这种提问回答模型跟写作上还是有经验的,
但是对人类的未知领域,
现在互联网上没有数据的新的知识,
他就不是那么了解了,
对对对对,
他还是从互联网上面给你什么样的数据,
你能够学到什么样的知识?
他的学习能力很强,
他的归纳能力很强,
他的表达能力很强,
这是这一次GPTthree给我的感觉。
对,
我们可以来畅想一下,
未来这个gPTthree,
它可以应用到哪些领域,
会诞生哪些创业类型的机会呢?
对这个话题也是最近推特上面不断的在在争论或者思考,
我的想法很简单,
我的想法就是说并不是说他能做什么,
我的想法是他不能做什么,
其实很少有事情他不能做,
当然了,
他今天还是一个自然语言的处理的一个系统,
他不能做一些物理世界的,
或者说化学世界的一些事情,
但他实际上因为你想人的大脑很多时候还是在思考,
他如果能够思考,
他还是能够做很多事情的,
包括从写文章我们已经说了很多遍了,
但是除了写文章之外,
还有你刚才说的,
诶,
我建一个初创公司,
我这个初创公司,
我明天需要做什么事情,
我的呃,
侧重点是怎么样,
我写一个市场调研,
如果机器人能够给我写这些报告,
自动的写出来,
这都是非常有用的,
从我的角度来讲。
并不是说只是一个好玩的哦,
这个能不能一个曲子出来,
能不能写一篇文章出来,
而是说我们每天的吃喝住行工作,
每一个moment我都去想,
诶,
我这个moment机器人能不能做,
我觉得gPTthree可能今天让我们看到了一个希望,
但是还不是很完美,
但是我完全能够看到一个机器人能够给我取代很多我的日常想做的事情。
刚才我们提到记者,
呃,
一些报道,
但是我如果说是写程序的,
有多少是可以被取代的,
我觉得还是有蛮大的一部分会被取代,
这个模型它我看见它其实是5月30号发布出来的,
它其实是在这周或者说从上一周开始才成为大家的讨论的热点话题的,
尤其是在推这样的社交网络上,
是因为跟他最近开放API接口,
以及他的很多DEMO出来了有关系吗?
对,
因为很多。
之后大家都是要试一下嘛,
百闻不如一件,
所谓的见,
就是我自己去试一下,
因为我们其实从GPTtwo这个model,
我们已经知道他能够写文章,
而且写的不错,
能够去推断一些句子或者怎么样,
但这一次确实是让大家是更加大的一个惊喜吧,
应该算是觉得,
哇,
这个机器人写出来的东西不只是让我能够感觉到,
让我觉得写的很不错,
那个有很多地方是能够超过了,
有些段落至少是能够超越了绝大多数人类能够写出来的,
像我们去看,
像比如说我在朋友圈发,
我说诶,
这文章人类写的还是机器写的,
大家一看我都写不出这么漂亮的文章,
就有这种感觉,
一下子我对机器人能够做的事情,
想象空间一下子就从事玩玩而已,
变成一个,
哇,
应该是有很多很多事情,
机器学习,
人工智能能够去取代的这个模型。
你刚刚提到了,
之前就已经有gPTtwo,
我看见有很多人在质疑的时候也说到了一点,
就是说现在gPTthree他论文的主要进步是因为他花了很多钱,
花了1200万美元把它训练在了一个更大的数据集,
更复杂的模型上,
因为他有了更多的数据参数。
但是这个跟gPTtwo是否有本质的区别呢?
对,
确实是有些人在批评说gPTthree并不是这么一个飞跃,
你看算法都没有什么太大的改变,
我是这么看的,
首先即使说算法没有改变,
当然也不是一点没改变,
但即使是算法没改变,
但是我如果能够看到这个结果,
是随着我给他的算力能够得到线性增长的更好的结果,
我觉得这本身就是一个论证,
并不是说以前人类是能够有这方面,
并不肯定是能够达到这样的结果的。
因为我们做计算机。
领域的人都知道,
很多时候某一个维度提高了,
算力也好,
提高了呃,
储存空间也好,
提高了数据源也好,
对结果并不是说你提高10倍就有十倍的回报,
往往是有的时候没有10倍或者远远没有10倍的回报,
这其实就是计算机领域当中要解决的很多问题,
当你碰到这些事情怎么办?
这一次我们发现当我提高了算力100倍,
从15亿到1750亿这个参数级的时候,
我发现我确实是我结果是在不断的线性的往上增长,
这个论证本身我觉得就给我们一下子就打开了一扇天窗嘛,
就是本来觉得这是有CE灵的,
或者说很有可能有feeling灵的,
现在我知道我花了1000万美元,
我就能够做这么伟大的事情,
那我相信有1000万美元的人还是有很多,
这是第一个,
第二个这1000万美元随着时间的增长也是在往下走,
所以说大家就发现其实花不了那么多的钱就能做这么。
大的事情,
那我们其实是还是给我们带来很多的惊喜吧,
你刚刚提到就比如说花1200万美元,
1000万美元就可以去做这样的一个模型,
对大公司来说,
或者当大家看到一个更大的商机的时候,
1000万美元其实大公司那儿可能不是一笔很大的数字,
当有一个商机的时候,
风投都可以去支持你,
这是不是意味着以后只要有心,
所有人都可以去用他的这种gBTthree的训练方法去训练一个新的特定领域的模型,
那怎么去防止这个模型去作恶,
或者是防止他有恶意用途呢?
对,
怎么去防止恶意用途被恶人去用人工智能,
我觉得这是一个非常非常大的话题,
我们先放在一边,
先说第一层,
你说的,
如果说我有找到一个好的用途,
其实还是有蛮多公司能够有实力,
这个财力或者说能力去做这么一件事情,
是不是很多人就能。
能够去做了,
相对来讲这是一个伪命题,
今天是一个伪命题,
因为你看人工智能,
虽然说我们长足发展了很多年了,
几十年的发展,
最近10年,
尤其是有这么一个深度学习的一个突破,
确实是蛮不错的,
但是从应用上来讲,
说老实话,
从商业用途上来讲,
还是非常浅的,
就这么说吧,
当然我们也看到无人驾驶的汽车,
还有安保、
安防这些已经在用,
或者说已经在试用了,
但是能够产生很大的商用的价值,
你看世界上的500强的公司,
对这世界上500强公司对它的营收产生正面或者说极大影响的,
其实人工智能今天做到的还是非常浅的,
也许是像GoogleFacebook这样的公司,
他确实用了人工智能,
它使得它的广告的精准投入,
更加精准的能够投放了,
这一点确实是做好了,
那对此些GoogleFacebook那都是加。
起来每年都是千亿以上营收的公司,
那确实是有很大的进步,
但是对其他的,
对多数90%的财富500,
不管是你是gPTthree有没有也好,
或者说其他的一些人工智能方法论也好,
来产生对它的营收产生很大效果,
其实说老实话,
还是在早期阶段,
是不是很多人都会用,
那你要找到一个商业用途,
比如说那个无人驾驶是一个商业用途,
对,
但除了无人驾驶还有什么广告是一个世界上头条,
Google也就这么几个聊天机器人很有趣,
我不觉得聊天机器人跟Google也好,
或者说是百度也好,
或者说微软也好,
对他带来实际的那个营收,
带来太多的那个影响,
比如说那个微软最近把那个他的小兵机器人给spo了,
我觉得有很多原因,
我想其中有一个原因就是这个小兵机器人本身对微软的年营收其实是基本。
它没有什么太大的影响,
呃,
商业变现这一块,
人工智能还是非常非常早,
那GPTthree会不会带来更广的商业用途,
我相信是有的,
但是至少今天或者到昨天为止吧,
是一个伪命题,
会不会今天明天后天或者说明年我们能够涨到一下涨到哇,
用GP我们来解决这么一个问题,
然后商业价值体现出来,
我觉得完全可能,
但是这一天今天还没有到啊,
所以说这是我说的就是商业上面是不是会有巨多的人马上就开始开做,
在你找到这些应用场景的时候,
在找到这个应用场景之前是一个伪命题,
但是你说的另外一点,
怎么能够防止被恶意的或者说是坏人驱动,
这一点我们想的并不早啊,
也许今天就应该想,
或者是昨天就应该想,
因为坏人能够做的事情其实蛮多的。
举一个简单的例子,
做安全的都知道会。
恶意软件也好,
或者恶意钓鱼软件,
或者钓鱼的邮件啊,
我会给你红军打一个邮件,
为你量身而做的一个钓鱼软件,
比如说我知道你大概去年在哪里工作,
或者你去年在哪里做了一件什么事情,
就在网上我能够知道,
或者说我知道你的一些,
不管是家庭的,
朋友的,
工作的一些背景,
我就给你写一个email式,
让你一看,
诶,
这个人他知道我这么多事情,
那你就会对这个邮件的相信程度就会提高,
如果否则的话,
是从一个尼日利亚那个人说,
哎,
你给我5万美金,
你不会打,
你不会付款,
但有一个人对你这么了解,
说诶,
我是有这个痛点,
我为什么要问你,
你给他付钱五千五万块钱可能性就会高很多,
那这个时候你人工可以做,
但很累,
效率很低,
你如果能够用gPTthree来做,
我相信能够写很多很广而且非常精准,
钓鱼的邮件也好,
或者怎么样也好,
这是一个可能潜在。
我们社会对我们安全领域有比较大的一个影响,
所以说我是觉得防止坏人或者防止恶意的使用,
一点都不伪造,
大规模的商业的广泛应用,
我们还在寻寻觅觅,
嗯,
那现在gPTthree,
因为它其实也把一部分的API接口放出去了,
他在放出去的时候,
如果他发现你作恶的话,
他在封锁这个接口是来得及的嘛,
今天肯定来得及,
他肯定是能够跟踪到你大概怎么用,
用了多少,
用一些什么,
问些什么问题,
今天肯定是来得及的,
潜在的来不及的地方是另外一层,
大家已经看到的GPTW天花板很高啊,
能够线性的,
根据我的算力的提高,
数据的提高,
能够线性增长,
哇,
说不定我自己也能去做,
以前我不一定会花个10002000万去论证,
因为这个东西我不知道是不是现在我知道了,
已经有人能做成了,
那我有可能现在有更多的动力去做,
因为。
会,
尤其是GPTthree,
它的算法跟前一代的基本上没什么太大的区别,
那前一代的算法,
GPT的算法源代码其实都是公开的,
潜在的一个危险就是说大家自己去提高,
自己去做,
这是有可能的,
数据好收集吗?
对,
数据其实是标准的,
首先这是Internet互联网上面的这些数据,
大家其实都知道,
互联网现在去C这个整个互联网并不是一件难事情,
难的是其他你收集好数据怎么整理,
怎么去给你一些洞见,
或者说搜索的结果,
这是难的,
一些学术机构都已经有这些数据了,
所以他现在其实他虽然没有公布这个gPTthree的算法,
但是因为gPTtwo的算法已经公开了,
加上互联网上又有这么多的数据,
他还是很有可能会被去恶意使用的,
当人们看到了一个利益点的时候,
对,
是这样子的,
刚才我提到有一个标准的一个数据库。
C,
很多人工智能的项目都在用的一个数据,
这些数据大家都有它的gPTtwo的源代码也有,
算里说实话,
因为云的啊,
有那么多的公有云也好,
就是花钱呗,
说错了,
从这个角度上来讲,
如果说你是恶意的,
应该是有能力自己去做,
或者说做做的八九不离十吧。
我觉得对恶意其实是一方面,
就是在你之前发的那几张图片,
GPTthree自己写的文章中,
我们也提到了,
他写到了华盛顿邮报的一个数据源,
但是他那个数据源是假的,
会不会以后也产生一些用它去写新闻的话,
他可能呃,
新闻材料一部分是真的,
但是他的一部分不管是出于他有意还是无意的,
可能他的理解是错的,
会这样出现大新闻,
对,
我完全同意,
因为这一个怕的不是假新闻,
怕的是有板有眼的假新闻,
然后gpdthree能够做到的。
有板有眼的假新闻,
我觉得这是一个很大的一个危害,
其实有另外一个危害,
不一定是给坏人拿去,
或者说恶意的,
其实有可能是善良的人,
或者说普通的人,
他也有可能GPD还是有一点局限性,
让在一些本来应该是好的一些场景产生坏的作用,
比如说你从互联网上面学东西,
那你从互联网上面学东西,
多多少少根据互联网上面的知识去归纳,
那如果说互联网举个例子,
互联网上面有一些成见,
或者说是有一些那个偏见,
这些偏见都是大家平时也知道,
黑人大概是怎么样,
墨西哥裔的人大概会怎么样,
白人会怎么样,
那他在回答问题的时候,
或者他在制造假新闻的时候,
不管是真新闻假新闻,
如果假新闻,
那肯定就是不好,
但是在他在制造真新闻的时候,
他无意有意的因为他数据源的原因,
他去把数据源的一些偏见。
给放大了,
比如说通常大家对有色人种会有些偏见,
那他的文章也会有些偏见,
我看见推上poorGraham,
他还发了一条推,
他说当这个AI会说一些政治不正确的时候,
大家都可能会疯掉。
所以我们要怎么去阻止AI去说一对当人工智能越来越强大的时候,
这些偏见或者政治不正确,
或者正确的所带来的可能的危害可能越来越大。
为什么这么说?
因为当你的机器模型并不完美,
像比如说GPTtwo,
大家觉得,
诶,
他能写文章,
但是他觉得不完美,
所以说通常来讲,
我在用他写文章的时候,
很多人他会去微调一些参数,
根据一些政治正确或者不正确的一些数据源去增加或者减少,
然后使得写出来的文章相对来讲就更加。
符合常情吧,
那GPTthree大家觉得,
哇,
这个那么powerful那么伟大,
那么不可置信,
就有可能大家在这个调参数或者微调参数的这一部分,
在某一个可能就做的工作就不够多了,
因为觉得他已经那么厉害了,
我为什么要去做,
所以说这个偏见有可能被放大的要比以前一些并不那么智能的,
呃,
模型所带来的危害可能更要大一点。
我们还有一个问题就是现在软件的复杂度是不是已经超过了硬件的增长,
因为我看见这一段话,
他是说当这个语言模型每年在超过10倍的速度增长的时候,
那硬件是不是能跟得过来,
以前大家知道摩尔定律,
那现在摩尔定律是不是正在失效,
就比如说以前硬件是每隔18个月成本减一半,
那现在就是当软件它的增长超过了硬件,
会发生什么?
对这个问题很好,
确实是,
就像你说的摩尔。
定律从某种角度上来讲是在减缓,
所谓摩尔定律就是这个硬件的成本每隔18个月会减半,
也就是说你更加能够负担,
每隔18个月你够负担的算力就会呃增长一倍啊,
但是因为从呃物理的角度上来讲,
你的硅的线的宽度是有限,
你能够把它变细的啊,
是有限的,
现在已经是7nm了,
当然了我们也想达到5nm,
或者但是有一个物理的极限,
我们已经非常接近这个物理极限了,
是不是摩尔定律要到底了,
这是一个确实是一个事实,
但是我觉得从总体来讲担心还太早,
第一个摩尔定律本身大家有各种各样的方式方法去把它给延破,
比如说大家说,
哎,
我不用硅,
我用另外的材料,
说不定能够延展摩尔定律,
这是从物理的角度去思考这些问题,
所以说这个其实都是一个现在进行时都在大家都在思考的一个问题。
另外一个最终我们。
啊,
提高的就是一个效率,
对吧,
我做这些算力,
我的成本是不是减半,
但成本减半可以从很多方面来,
可以从软件来,
可以从硬件来,
可以从软件跟硬件的结合来。
举一个简单的例子,
如果说我做的人工智能的任务,
本来是需要1000个指令来做,
但是我如果说我的经济管的设计的那个density啊,
差不多,
但是呢,
我仍然能够做到,
可能两个指令或者十个指令就能做这一个任务,
而不是需要1000个指令,
那其实一下子啊,
效率提高就会很高,
所以说效率的提高并不只是说是要从硬件这一块来,
其实有很多很多空间,
你看硬件本身其实还有空间,
硬件跟软件的结合,
它的接口有很多空间,
软件本身还有很多空间,
所以说我并不觉得在短期内我们会有一个bottlene这个瓶颈,
就是说哎呀,
我因为硬件不能够提高,
所以说我。
的这个人工智能的上层能够享受到的摩尔定律这么一个红利在减少,
我觉得在短期内我看不到,
相反过去四五十年可能我们更多的是从金气管的密度去来拿到这个摩尔定律的红利,
今后的四五十年,
我可能是从其他方面拿到同样的或者说类似的红利,
但是从其他的纬度去拿到外定律。
所以说我在短期内我并不担心还有一个你做这么多事情,
最终是为什么,
最终还是需要有一个商业的商业价值,
如果说没有一个商业价值去迫使、
去推动的话,
你摩定律、
布摩尔定律其实都是次要的,
今后五年对人工智能,
对GPT,
不管是3还是4还是5,
他在今后几年,
我觉得它的瓶颈可能更多的还是在怎么去找到商业用途,
或者说找到商业用途以后,
怎么去跟他去匹配。
我觉得这是一个。
最近关键的一个问题是的,
刚刚说到硬件的问题的时候,
因为我看到像这次他们训练gPTthree的使用的是因伟达的特斯拉V100的芯片,
仅仅是芯片这一块的成本就超过了460万美元,
所以我在想,
因为也有很多创业者说,
那这个消息出来以后,
其实对英伟达这样的公司是非常利好的,
因为他专门就是做这种GPU的,
这生产的,
对啊,
Nviia这个公司他最近十年吧,
应该说他发现,
诶我我最大的用途并不是说买一张卡给人家打游戏,
可以给人家做人工智能,
这是一个很好的一个用途,
对他来说肯定是一个利好的一件事情,
这也是为什么大概是过去一个月他的市值已经超过了Intel的市值,
这是一件从硬件行业来讲是一个很大的一个里程碑吧,
就是一个以人工智能为主要核心用途的这么一个硬件厂商。
它的市值超。
过了英特尔这么一个以传统的PC通用计算为主要用途的这么一个硬件成的市值,
嗯,
因为前两年在大家提到人工智能的时候,
最火的其实是阿尔法go,
现在gPTthree出来了,
如果从意义上来对比的话,
你觉得gPTthree跟阿尔法go它的意义都分别在哪里呢?
AlphaGo让人或者说是GPT也好,
它其实从算法上面来讲都是有蛮大突破的,
并不是传统的你给我样本,
我来给你训练一个模型,
因为给你样本才能训练模型。
一个很大的一个缺点就是说样本从哪里来,
你说从中文翻成英文,
英文翻成中文,
我可能能够找到很多样本,
但是有很多对话,
有很多比如说董事会里面应该做什么事情,
你哪里找得到那么多的样本,
对吧?
所以说这个是一个过去年10年之前比较监督学习的时候,
年代其实是一个比较一大的缺陷,
那从AlphaGo他说诶,
我能。
能够左手跟右手用强化学习的方法啊,
做一件像像下围棋这么一件事情,
让人家证明,
你看能够以前不认为机器或者说人工智能能够赢过人拿着但是能够赢过了,
这让我们的天窗或者说天花板一下子就升高了很多,
那这一次其实就是发现,
诶,
机器人能够做的事情很多啊,
不只是写一篇文章,
就像你刚才说的董事会在这商业领域里面能够去用到的一些,
呃,
来来回回的一些那个对话也好,
或者决定也好,
人工智能在这一个方面,
在自然语言处理这一方面的,
一下子把这个天花板给升高了很多,
当然了,
具体怎么个去把它商业用途啊,
商业化,
其实还要思考,
因为这里面还是蛮复杂的,
因为即使是你说,
比如说举个例子,
你说我97%的时候都对正确,
哪有30%不正确的,
在商业化的时候,
你是不是能够容忍这个3%的错误,
就举个例子。
那以前我们其实还是做了一些简单的一些商业化,
人工智能到今天为止最大的商业用途的转化,
其实就是卖广告,
广告上面其实是它的一个最大的一个,
从Dollaramount,
从金额上来讲是最大的,
但是做广告相对来讲还简单一点,
为什么?
因为我有3%的错误,
Sowhat不是一件大事情,
但是如果说我在这个30%给医生看片子用啊,
决定开刀应该怎么开,
或者不开刀,
那这个时候你商业化的时候,
你要去思考0.1或者0.01的假阴性,
假阳性的这些案例的时候,
你都要去思考这些问题了,
就要包括其实它如果3%的准确率的话,
用到自动驾驶啊,
这种汽车上这样的场景,
所有跟安全相关的可能都会问题比较大,
对,
这也是为什么人类的角度来讲,
哇,
这个人工智能翻译能够翻译的比人好了,
听语音能够听得比人类好了。
为什么在真正商业落地的时候还是有这么大的缺口,
其实就是因为真的落地的时候你要思考这些,
刚才我们讨论的这些问题,
其实我总体来讲我还是蛮乐观的,
我因为我们在一个比较早期的阶段,
给我5年、
10年我们再来讨论这个话题,
我觉得会有很多问题是迎刃而解的,
只是我们今天所在的阶段是非常非常早期的,
因为我是过去看到,
就比如说像图形图像识别它的一些突破,
带来了很多很多的创业机会,
就带来了安防、
自动驾驶这样的很多的新的产业,
现在自然语言处理它又有一些新的突破了,
我想会有更多的聪明人能够想出它的商机所在。
对,
我觉得这一次GPTthree我的预感是会有很多新的商机出来,
因为以前大家会觉得天花板就这么高,
去想太多干嘛。
现在觉得天花。
板几乎是无限了,
在这个时候还是能够去思考很多东西,
这一次大家就会去想,
我是不是能够取代风头,
我是不是能够取代即使是深度报道的记者。
好的,
那今天谢谢后羿啊,
没事,
谢谢红军,
聊得很开心,
对我也是。
今天的节目就到这里,
这期节目除了主播和嘉宾,
也感谢我们团队的迪卡布里心和look,
他们在最短的时间内完成了节目后期制作,
还感谢小他是每次将音频上传到各个平台的人,
他同时也是生小音这个账号背后的小伙伴,
同时也感谢紫杉和Amanda,
是他们每次将音频整理成了文字,
并发布在我们的微信公众账号上。
如果大家想要长期关注我们,
也可以订阅我们的微信公众号,
搜索生动活泼这四个字就可以找到我们。
也请您支持我们,
例如在您所喜爱的音频平台上点赞打分,
或者通过打赏的方式支持我们,
打赏方式在我们的微信公众账号上以及网站升FM到cnchegfm到CN上都能找到,
当然也可以转发给您一两位朋友们,
让他们也听到这档节目,
也请大家继续关注我们之后的报道。
那我们下次节目再见。