00:00/00:00
外链地址
http://www.eemp3.com/audiofile/4f80385dea35901bdee7ebf93fc003b3.mp3
点击复制
本字幕由TME AI技术生成
我们在**前推出的全新付费播客不止金钱上线仅四周
就收获了相当多听友的认可
销量也大大超出了我们的预期
感谢大家的支持
那新年新气象
我们也将原计划到二月十八日结束的早鸟优惠价九十九元延长到元宵节二月二十六日
再恢复到原价一百二十九元
那希望不止金钱在新的一年里面
也能帮助大家更好的应对工作和学习生活中的变化
让钱包和生活都变得更加确定
那大家可以点击收no查看不止金钱的节目简介
以及收听节目的预告
用声音碰撞世界动活泼
hello
大家好
我是丁调
欢迎收听全新一集科技早知道
hello
大家好
欢迎来到我们今天的科技早知道
这一次是我们在二零二四年龙年的第一期节目
本来不想那么早就开始复更的
但是这个欧魂i又打出了一个王炸的一个新的项目
就是sarasura
sorasuraleapfroggingeveryavailableaivideogeneratorhasthepotentialtorevolutionizethecontentcreationspace
然后相信大家可能也在不同的这些社交媒体上面看到非常非常多的可能原本并不是来讨论科技的一些博主都开始在聊sara了
我们科技早知道也不能不聊这个话题
所以今天我们也请来了两位啊
一位是学术界的这样的专家
然后另外一位是AI
特别是在这个视频领域的创业者
来分析一下sara他的背后的技术
然后以及他的商业化和对未来的一些影响
然后第一位是李从轩李老师
是中国人民大学高陵人工智能学院副教授
博士生导师
hello
李老师
跟我们大家打个招呼吧
丁老师好
大家好
很高兴能参加科技早知道的这个节目
和大家分享
李老师也是专门是在做diffusion方面的研究
非常深入
然后有非常多年的这些经验
然后另外一位是合成YC的alomma
也是AI领域的这个连续创业者者
之前是做这个LP领域的
然后现在的newcast点AI是跟视频AI相关的
然后何成
也跟大家打个招呼吧
hello
大家好
今天非常期待跟大家一块儿聊一聊sara跟视频
我们先来说一下
这个sara出来
我不知道大家觉得有意外和不意外的地方吗
首先就是通过大规模模训训练
然后
呃
用这种transformer的架构
用dispfusion的这种算法去做大规模的视频训练
这个事情本身实际上是不意外的
因为在sara之前
其实大家一步一个脚印的这个视频生成质量确实在慢慢的都在提高
但是意外的地方在于
就是没想到就是能这么快就有这么大的一个突或
特别是在这个
呃
时长视频的生成的质量啊
一致性啊
包括一些人物或者是啊动物的出现有消失
然后这种一致性啊等等
对 我同意
就是说
嗯 有两层
第一层的意外
其实就是跟咱们去年用的比较多的一些开源的文道视频生成模型来比的话
它的确是一致性呀
然后抖动呀
这些问题都已经很好的解决了
更大的一个意外的点就是他们丢出来这样一个概念
就是物理世界的一个模拟器
这个其实是让大家想象空间最大的一个地方
当然也是争议比较大的地方
嗯
其实从去年开始
我们已经看到了非常多的文字生成视频的一些小的项目啊
甚至是一些科技公司他们的涌现
然后包括去年年底我们非常关注的这个皮卡
包括李菲菲教授和顾我做的这样的一个项目
他叫WALT
他们也是基于这个transformermerdiffision的模型来生成的
然后他在自己的x上面也发布了大概有三秒钟的一个视频
但是这一次sara有六十秒钟
这个还是挺令人惊讶的
其实刚刚李老师也在说
transformer加上diffusion这样子的模型
其实是在学术界大家都是已知的
那sara它到底是在哪一些方面是有一些新的突破
然后能让这个我们最后看到的这个效果是这么的令人惊艳
其实很多的情况下
学术界的呃
一些技术上或方法上
或者是原理上的创新啊
都是一小步一小步的
然后呢
在累积到一定程度之后
就是有有人会有公司会把它集成成一个系统
会有一个突出的这样一个demo的展示
或者一个很出圈的一个产品啊
其实从啊
可能阿尔法go
google的工作
包括openi的GPT啊
这些工作啊
都是一些非常典型的代表
从这个里面呢
diffusion的训练和采样的算法
然后包括为diffuition而设计的transformer的架构
包括一些在隐空间去做distribution的生成
然后呢
通过这种cocode的方式
对原来的这种cocorawdata去做压缩啊
这些在近几年的这个呃
学术界的这个工作当中呢
都
其实都提到了
这个技术相对来说是比较成熟的
然后openi非常非常领先的
呃 我认为最 呃
让人印象深刻的第一点
肯定是他们对于这种技术路线啊
或者说这个scaling这一套方法论的一种坚持啊
这肯定是最重要的
就是他们能够去想到啊
别人不敢想的一种结果
或者能相信scaling给大家带来算法或其他的这种突破啊以外的这种更大的这种啊
加成啊
这是一种
然后还有就是它的工程的这种啊
积累啊
包括数据上啊
包括呃
算力上
包括呃
服务器的整个的这个运维上
然后包括呃
大模型的训练上
他们都括很深深深的训累
从GBT到大力three
这些模型呢
他们都会有
就从小训到大
然后呢
甚至在大模型训练之前
它通过一些经验性的规律
能够预测啊
我用多大的模型
然后多少的数据
就应该能达到什么样的效果
所以它是一种相对来说
非常非常
呃 流程化
或者是一种
呃
就是带引号的科学的这种训练的方式
所以导致它的工程能力是断层性的领先的
然后在这里面呢
呃 回到这个 呃
原初的这个问题
为什么能做到六十秒本身这里边可能有些细节啊
就比如说他提出了一种特殊的叫做时空的
叫spacetimepatch
就是时空的分块啊
作为这个transformer的这个单元的这种输入啊
token的输入
包括一些其他的
比如说各种各样纵横比呀
各种各样个像素
各种各样时长
包括图像啊
本身不同的这种视觉数据
统一的认为是啊
视频的这种输入
然后去做训练呀
嗯 在此之前
应该市场上面做的最好的文字生成图像呢
我不知道是不是算是runway这个公司
业界这一块
我觉得还是挺多的
是吧
因为有可能是runway
然后有一些benchwork
包括后来stability出的SVD啊
或者说picker这边
甚至于国内后来也出了一些
呃
类似的文文道视频的模型
但主要是像李教授刚才讲的
从技术架构层面上
它是一个系统工程
它不是说一一个单个模型的一个架构都不一样
当然
我们现在大家都知道
嗯
那个sofa是用的一个diffusiontransformer作为一个backroom
它的核心呢
为什么能生成六十秒
跟业界来去
呃
其他来比的话
就是整体上
除了这样的一个模型以外
它还有一些所谓的刚才说的这种videocompression那个network
它其实就是把一个复杂的一个多维的一些数据
像视频极高程度的压缩到一个隐空间
这就使得它的整个的一个算法
整个的一个推理
包括训练这一块
再到最终的一个视频产出的效率是可以提高
所以这个层面上
你可以通过它这个数据的压缩的一个技术
再结合它那个paper里边提到的
用DOE啊
或者是图像视频到文本描述
用文本描述的方法来去augmd整个的一个训练数据
也是在某种程度上
让他在隐空间中得到了对这些数据的一个编码
进行了一个优化
所以总原来讲
就是他在视频数据据的一个编码
把它投射到一个隐空间去做整个的生成这一块很很大的一个亮点
用了不的方法
这个也是可能就是说现在大家猜它为什么能生成出六十秒的一个原因
嗯 哎
能不能帮我们解释一下
什么叫做隐空间
呃
隐空间可以这么理解
它其实呢
就是一个相对于抽象的概念
但更多的是一个把高维数据在一个低维度空间的一个表示
那在视频压缩或者ssera这个场景里边的高位数据
更多的就是我们输入的视频源
经过这样的一个压缩
把里边的一些特征
就是多维度的一些信息
就比如说画面呀
构图呀
然后一些空间信息以及持续信息
经过这样的一个
呃 压缩
降维到一个更小更讲简洁的一个表现形式上
那更小更简洁的一个表现形式呢
就是我们所谓上的这个隐空间
总结来说
那它其实就是一个把高维度的一个原始数据压缩到一个低维度的一个表征
同时呢
呃
能把一些原始数据里边的核心内容跟结构还有一些特征能保留
当然这里边也会有一些的细节上的一些流失
但是这样的一个高维度的一个压缩到隐空间这样的一个操作呢
能很大程度上减少存储呀
或者说是整个数据传输所需要的一些资源
也可以在整个的隐空间呢
就是便于后面的一个数据处理
尤其是在计算层面上
嗯
对于这种低维度的一些计算密集方面来讲的话
它也可以提高
嗯
它的一个处理速度
降低它的一个能耗
这就是一个隐空间跟sara这边的一个关系
嗯
但是如果我们看他们发布的这个technicalpaper的话
当时我们把高维度的这个视频压缩到一个低维度的一个隐空间以后
后来他们将这些数据呢
转换成一个
也就是类似于我们在语言模型上的一个token
那这样的一些patch呢
就一个一个这样的patch
就是一个一个连续的一个序列
这样的话
可以便于这个模型在这个简化的一个表示层上
嗯
去进行一个学习
从而能让它
呃
像语言模型一样
可以去可以进行规模化
生成更长的视频
然后也不会说是因为计算量过大而变得不切实际
嗯
对整个效果太好
所以大家也都在猜测
然后包括我也看到
像是meta的那个AI的负责人也是在猜测
可能在sara
大家用的这个训练数据
都不是这个真的视频的数据
而是一个这个synthetic
那可能叫做生成的
是从游戏引擎生成出来的数据
所以这样子的这个数据可能能够更容易获取
然后它的这个量可能也会更大
我不知道这块也是现在不管是学界和业界的一个标准做法嘛
还是也是他们的独创啊
这个事情是这样
就是说
在很多的
呃
文道图的生成过程当中
大家会发现
用一些高质量的AI生成的图像
然后加入训练
会对我们的
就比如说其他AI生成的图片啊
加进来
会对一个另外一个模型的训练
有时候会有非常正向的帮助
也包括如果这个游戏引擎
它的产生的形态ddata会非常非常的流畅啊
一致
三维一致性很好
因为它本身是渲染
渲染出来的嘛
然后或者时长上
有很大的这种可能性
就比如它可以搞得很长很长
因为它是生成的
所以它加进来之后
可能会对训练有帮助
然后但这个呢
它的 呃
这个openi的技术报告里面
对数据的啊
保护是非常好的
大家只知道的是什么呢
一定会有不同像素的不同纵横比的数据
然后呢
一定会有image的数据
然后但是呢
没有讲各个数据的量
配比
以及视频数据的来源
是网上找的
还是说请专业的人士去标注的啊
包括这个太太地边
可能有艺术生啊
会
会对这种光影啊之类的这种数据会有很深的这种分析
大家也也只能是猜测了
然后这个事情呢
我感觉跟学术界偏离的会非常远
就于算法原理啊
transformerdiffusion这些啊
我相信大家都知道啊
就但是对于这种大模型的这种训练啊
数据怎么配比
怎么处理啊
这些
其实是真的只有有那么多卡的人去上手去训练
可能才能再发现这个东西的
对 所以 就您的
如果是咱们做一个很大胆的设想或者猜想的话
您觉得它是什么样的一种状态呢
我个人觉得
会有 呃
一定量的真实数据
然后呢
会有一定量的高质量筛选后的真实数据
然后会有一定量的这种伪数据
不管是AI产生的
还是游戏引擎产生的
然后但是呢
它的训练阶段可能会很多
也就是说
他可能会在很大规模的啊
网上采集的和这个很多很多游戏引擎产生的syncDA上先去训练
然后训练完之后呢
呃 到后期
再在比如说筛选的这种质量很高的
比如说时长比较长
或者是这个人物特别清晰
或者是这个光影配比会很好看
再去在上面做微调
这种分阶段的训练
其实在很多的这种文道图的模型上
也也都是应用的很广泛啊
像stable恤身上这些啊
对
我猜测应该是这样
嗯
何成有猜测吗
有一个我想补充的就是
嗯
我们在用多模态这边去做整个的一个视频理解
或者视频描述这样的一个工作
可能也是对于他们在做训练数据的一些采集跟标注上
起到了很重要的一个作用
尤其是提效
就比如说他们有一些像教授刚才讲的
筛选过的优质的一些样本
那这些样本的话
毕竟是比较少
但是我们其实他们现在公网上能拿到的很多的视频
是非常量非常大的
但是质量都是非常差
有一些是缺少标注
但是使用这种所谓的这种特征向量的这种配比啊
或者说是进行一个semanticsearch
就是语义搜索
其实也能是通过先是拿一批优质的样本
已经标识的
找到一批类似的
这样来去扩充它的一个
呃
是训练数据
所以这也是一种方法
其实就是用小规模的训练数去
去通过特征向量
在海量的数据里边找到近似的一些高质量的数据
来提升它的一个训练级的一个质量跟它的一个规模
提升整个系统的性能
这也是一种猜测
就是借助了这种文本跟整个向量的一个比对
嗯
大家在训练的样本上面
这个参数
大家有没有一个同样的一个猜测呢
对
我猜是大概几十亿的量级吧
啊 为什么呢
是因为很多的文道图的模型啊
比如
比如说stable
diffusion啊
包括后边的SD叉l
然后还有其他的这种模型
大概都是在几亿到十亿吧
或者是十亿多二十亿
它大概这个量级
然后呢 呃
openi有大力three
然后大力three它的优势呢
是 呃
因为有GPT的这种加成
呃
所以它对语言的理解会很好
但是从整个的生成像素啊
质量上 呃
我觉得跟stablediffuition差不太多
所以我感觉它的数据的规模
差不多文到图
就是在几亿到十亿啊
十亿左右
然后呢
我猜想
他技术报里没有提
但是他一定会想办法用上大力three的参数
做初始化或者什么之类的
就是在文档视频中
你可以认为
每一帧会
会有一些这个生成的过程
或者有一些参数
可 可
可以会复用
呃
它里面特殊提到的一个是什么呢
它能够生成二零四八乘二零四八像素的图像啊
也就是说
它本身server是能生成图的
它比已有的会大一些
所以 我 我
我认为就大概是啊
四倍 八倍
这个量级
差不多就是几十亿啊
当然 这
这也是猜测啊
猜测 嗯嗯
因为现在市场上几个不同的公司
他们底层的模型也
也不太一样
混合成
咱们现在之前聊到
其实那个皮卡
你跟我讲
它这个叫做unite模型是吗
我不知道这个模型是什么样的一个模型
这个在我理解
就是纯是一个diffusiontion的一个一个模型
他去做整个的一个生成
那像现在的这边的sara
更多的是一个diffusiontransformer
那backphone
其是是原来来unit换
换成了一个transformer
这也是就是什么它生生成的这个视频的那个整个的一个画质的稳定度呀
它的那个抖动呀
这些问题都得到了一些相应的解决
因为transformer再加上diffusion
其实发挥了不同的优势吧
transformer毕定它是有一定的这个局部或者是global的context
嗯 那像
像原来的这种diffusion
可能更注重的是在一些细节
局部的细节
所以两边这个优势结合起来
也是看到了一些一些亮点
但是
就回到咱们一开始的那个问题
我觉得像这样的一些技术架构
其实过去这一两年
其实大家都在不同的一些尝试
并不算是特别新
嗯 当然
教授可以再补充一些细节啊
何老师说的很好
我
我简单补充一点就是
呃
大家可能觉得transformer的这种扩展性能会好一些啊
就是比unit这种
这个CNbase的这种毛都会好一些啊
就
就可能有一些实验性的观察
认为transformer模型变大了
呃
更能吃进去更多的数据
然后展现出更好的这种结果
市场上还有不同的一些其他的技术路线之争嘛
还是现在大家都觉得路线可能未来就是diffusion加上transformer这个模型
对 我
我个人就是分两个维度啊
第一个维度就是啊
生成的方法上
或者怎么去建模概率分布上啊
这个时候就是diffusion和自回归
扩散和自回归的对比啊
或者就是扩散和语言模型啊
大家都讲语言模型
就是GBT那一种预测下一个单词的那种啊
预测下一个的
这 这两个呢
我个人觉得
diffusion的优势在于
它的采样是一种粗糙到精细的啊
所以它没有那个限制
就是没有正比于数据维度的采样速度的限制
就字回归
你每次预测下一个的话
它一定是正比于你的采样长度的
所以这是diffusion的优势啊
字第比劣势在于什么呢
就是现有的distbusion方法
它还比较依赖于这种数据的这种连续性啊
它要去定义它的这种啊
一个叫啊
评分函数
一个高scfunction的东西
但它可能更适用于vision啊
目前还没有在文本上验证它的有效性啊
所以说 呃
这是difrisiontion就方法和diffusion和自回归的对比
然后还有另外一个维度呢
是网络结构啊
就是刚才讨论很多的transformer和unit
然后刚才何成老说的很多
就是大家现在可能觉得transformer会好一些
当然这个 呃
网络架构上还有新的发展啊
可能也有很多人再去尝试做更高效的这种transformer或者新的架构
我觉得反正业界就基本上在我理解
它其实就是用diffusiontransformer作为一个主流的方向
还有一个就是之前咱们过去这一两年比较火的autoregressive
就是说这种languagemodel
然后去做整个的一个prediction
所以这两个我觉得都是有自己的优势吧
但是具体最终哪一个可能在视频生成领域
或者说多模态的foundation的层面上跑出来
那就看最终的一个任务了
但是目前从业界上来看
就是dediffusiontransformer
它在视频生成这个任务上
嗯
那的确是表现出来了一些
就是要
呃
要好于其他的一些架构的一个效果
所以目前就我觉得这个还是取决于最终我们要实现的一个目标跟任务
嗯
能说在视频生成这个层面上
我们现在看到diffusiontransformer更有优势
李老师
我们上次在这个前彩的时候
其实您提到了
呃
还有挺多其他家的大模型
然后也是采用了diffusion将transformer
然后比如像是可能我刚刚讲的那个李付飞的那个whatWALT
然后像是您也提到过
像是华为
都有类似的文字
呃
生成视频的这样子的一个模型
我不知道这些公司它会很快的迎头赶上嘛
如果从您的角度来
你会觉得
呃 怎么看
我个人觉得就是不管是学术界还是啊
工业界啊
他们都会去进一步去做视频生成
因为本身这个任务是非常非常重要的啊
我
我觉得从期路线上
大家也可能会选择不同的
比如说languagemodel加transformer做视频啊
也可以 呃
用diffusion这样去做也可以
但是最大的问题在于什么呢
在于人几几个壁垒啊
第一个事情是
呃
还是训练经验
没有人比openi更有迅大模型的念啊
所以这个事情是一个很重要的问题
第二个事情呢
在于语言模型啊
和之前文道图生成模型的积累
就是说文道图生成模型的积累
这个很容易理解
跟文道视频啊
这个有很多相关的地方啊
语言模型的积累
其实刚才何成老师提到
就是说它在啊
文本的这个训练的时候
文本的标注上会有一个叫这个recaption这样的一个操作
就是用啊
一个GPthree或者是微调的版本
去把视频打上非常非常复杂
非常长非常细致的这种文本标签啊
这个对于啊
最后的效果会很好啊
这大力three里面也有这个啊技术
然后包括到最后在测试阶段啊
然后它还会把用户输输入的这种短的这种啊
提示词给它变成长的
然后适合这个区人demodel去生成的
所以这个既有基础模型的能力上
也会对能不能做到svera这个效果有很大的影响
那
那本身语言模型
还有文档图模型
那openi都是最领先的啊
我们叫壁垒也好
或者是领先的这种优势
所以大家跟自己比的话
肯定都会有很大的提高
然后呢
但是我觉得可能我我们很难说短时间内就一定要达到sofa一样的效果
这可能比较困难
嗯
那如果像是可能已经在做一个有物理世界模拟器这种类似东西
像是游戏的模拟器
或者像是这个envidia
那个omuniverse就这样子的公司
他们是不是比起现在可能像是google啊
或者是meet的啊
他来train一个这个纹声视频的这样的一个模型
它更有优势一点呢
对
我觉得这个其实是不同的一个任务
就是onuniverse那边的话
它其实是还是一个传统的一个软件
来解决我们整原来传统的这种物理世界的模拟啊
然后也包括整个的最终
嗯
像audiotoface呀
然后以及其他的所谓的这种数字揽生
那它其实是用传统的方法去实现
那现在我觉得就是sara这边openAI给我们展现了一种可能
就是用数据驱动来去做整个物理世界的一个模拟
当然了
现在对于物理世界模拟这个词儿是一个doublecoat
就是我们现在还不确定这个模拟的定义到底是什么
但是就是这两条线是不一样的
就是nvidia那边
像omenuniverse啊
或者说UE啊
我们都是用传统的方式去去做这件事情
那如果说在行业里边跟这这边比较接近
或者说是有类似的一些方案的话
我觉得可能最快迎头赶上应该是google吧
就是google这边的
像去年我们看到像这个videopoint对吧
这样的一个模型
我觉得它是作为一个视觉的一个foundationmodel
可以从texttovideo啊
textimage啊
imagetovideo啊
就是一系列的综合性的任务上
都能通过这样的一个模型来去解决
嗯
那大家这次有没有看到一些sara他的局限
因为他也发了一些视频嘛
然后比如说是好几个那个小狗还是小狼
然后在跑着跑着
然后莫名其妙的多出来几只
然后包括有那个视频背后
有的人那个手就会很奇怪
他是这个莫名其妙的从身体其他部分伸出来的
所以我不知道大家从专业的角度来看
索a他现在的这个局限在哪里
丁老师
您说的就
就基本上他们展示出来的一些例子里面
也确实会有啊
各种各样的问题
会
会出现幻觉啊
或等等这种
这个问题只能被缓解
就是按照这个scaling这一套的话
就没有办法去完全的克服
这种就是从
呃
数学基础上
或者就 就
就是foundation上
你去看的话
它就是一个概率分布
呃 统计上
我见了有有限的data
然后我用很大的模型去去拟合
或者去
去fit它的这个distribution
那么它当然会有可能出错
因为它 他
它并没有一个强制的约束
希望它去一定要怎么怎么样
百分之百的
对吧
然后你机极学习都是叫近似概率正确了对吧
所以他就是大概率是对的啊
只是说在scaling的话
他可能就会啊
能做的事情越来越多
出错的情况越来越少
出错的这个可以容忍的东西可以越来越多啊
然后呢
会越来越有用
他永远不会说我百分之百一定不会出错
或者百分之百一定会模仿一个物理规律啊
这是不可能的
嗯
那大家其实很多这个在网上发的是一年以前那个威尔史密斯吃面条的那个视频啊
是以那个
那个看起来就很恐怖嘛
那个脸啊
都是模糊的
然后那个也是这个七扭八歪的
呃
所以从去年到现在的这个进展
然后我就觉得
他是应该是在这个consistency上面
就difbution的这块
是有长足的进展
那可能刚刚像您说的
它可能概率就是这么高
那可能只能是无限的这个接近没有错误
但是他不可能完全排除错误
是这样的一个理解嘛
对 是的 是的 呃
因为现在其实是拆GPT
它会有这个训练数据不足的问题
就包括我可能最近也会去问GPT四有一些问到他最新的一些信息
或者可能涉及到一些需要他去帮我读一些文章的这些东西
然后他就会告诉我
这个
不好意思
然后我们可能没有这些内容的一些sss或者权限
所以你可能得自己去看这些文章
我不知道会不会在这个数据的SSS上面
也会是openAI
然后这个sara方面很大的一个瓶颈
他就可能没有那么多的数据可以去训练他的这个索尔模型
他不能这个scale
我觉得
呃 肯定会的
就是他需要在特定范式下
就是根据的一些需求
去重新构建或者标注一些高质量的数据
这个是肯定的
因为就是任何的这种模型训出来以后
都可能会有一些
呃 长尾
那所谓的一些长尾
比如说咱们举一些具象的例子
它在视频生成之中
可能缺乏某一个构图
或者说缺乏某一个画风
或者说缺少某一个艺术风格的表达
简单的角度来讲
都是需要去在这个方向上去重新构建这样一些数据
那如果说是从它的物理世界模拟器的角度来讲
也是如果说这样的一个场景
的确就是之前它的distribution就是有这样的一个问题
有这样的一个偏见
那他就需要在这样模拟这样一个物理规律里面去去寻找类似的一些高质量数据去补充
这个就是肯定是一个长期的一个工作
只不过是在这两个层面上
我们从肉眼可见的pixellevel能想象到就是我们所谓定义的这种画风也好呀
构图也好呀
以及我们这边所谓的这种美感也好
但是在它的skatinglaw里边表现出来的
其实就是一些有的是可以描述的
有时不能描述的一些物理规律
那有一些物理规律是我们人尝试都知道的
可以用语言表达的
但是他肯定也有一些是我们无法知道
这一系列的所有的这些特定场景的一些需求
都是需要有固定的数据的一些标注跟构建
去重新去迭代
当然
我这边也抛一个问题给李教授授
就是这块有没有可能就是存在像我们在GBT或者拆GPT层面上的一个
嗯 架构
就是可以提供这样的一些翻听的capability
让他在没有见到的一些比如说范式
或者说是没有见到的一些数据层面上
有更好的一个泛化能力
或者说是一个一个学习的一个能力
能提升他在这一些特定场景上的一个predition的一个质量
从一个学术角度来讲
就是或者
或者从openi他们本身追求的角度来讲
其实这这个问题很本质
我们也希望在视觉的或者是视频的这种模型上
见到和语言一样的这种强泛化的能力啊
比如说这种微调的
或者更进一步的这种情境学习的能力啊
这种能够去去
去做
我不觉得就是从算法或技术上
视觉这边面临和语言那边不一样的问题
就是说
我觉得从算法上和模型上
可能
可能是ready的就是这个事情
就是在视频上
这些东西已经具备了
那缺乏的是什么呢
缺乏的可能就是skillup的这种情况
或者是在skillup过程当中
这出现的视视觉数据和语言数据不一样的东西
然后我们之前没有研究过
不理解啊
就大概是这个意思
呃
或者怎么说呢
就是说GPT语言上
它从GPT二到GPT三到四
这
这些就是它的模型的规模是扩大很多很多之后
才会出现我们刚才说的一些这个很很强有力的这种拆GP的这种各种泛化的能力
然后
但在视频上
我们现在就是大家当时当然是猜测可能也就几十亿的参数啊
GB的参数
这种情况下
即便在语言同规模下
也没有出现那些强发化能力啊
语言模型同规模下
何况啊
就是它数据维本身维度很高啊
你需要很多很多的token才能生成一个视频
但是这个视频的内容呢
可能一两句话就是说清楚了啊
所以在这种情况下
我们可能需要更大的模型才能够对比到语言上啊
对
这是我的一个一个猜想吧
就是
就是这是一个很重要的一个问题
一个很开放的问题
学术界你没有答案
我觉得diffusion啊
还有这些网络架构是是从数学上
或者从原理上够了
但是有可能我们还有一个复杂度的问题
就是我们现有的这个视觉的数据也好
或者是这个训练的算力也好
不支撑我们用这些原理训到一个能够去泛化的这样一个模型啊
有可能是因为这个啊
就今天下午
我看到在moutman他这个twitter发了一条
他说这个scallinglossaredecidedbygod
就是在scalling是被这个上帝决定的
对于他们来说啊
scsclling也是在他们控制范围之外的
然后我看下面那个openi的官网说
哦
昨天我们这个发生了一些事故啊
对对对对
嗯
这个确实很向往
就有可能很多事情非常有待探索
可能只有他们才开始能接触这个东西
对 嗯
就还是在跑在前面
那我
我想这个问一下
何成
就是在这个索法之前
然后其实你就一直是在做一些这种比较长的视频
然后怎么样
就是提取它的一些素材
把它这个做成短视频
就在这块其实你研究的比较多
呃
我不知道对你来说
或者对这个普通的
或者对其他的一些这个AI视频的创业者来说的话
大家现在在考虑的什么
或者担心的是什么啊
我们之前做的更多的是像在视频层面上的内容理解
所以他的在这一块认我其实是一个视频分析
视频理解的一个任务
然后基于这些视频理解视频任务
然后再重新去重组
然后去拼出一个新的一个视频
就相当于它其实是一个AI做剪辑的一个任务
那像svera这边的话
它其实是一个端到端的一个AI生成的
就从文本到视频生成的
我觉得肯定会有一定的冲击
就这种冲击的话
如果说一个好的一个prom能去完成一个端到端的视频
那这是最好
但是目前来看
就是说我们现在能看到的所有的这种
嗯
视频的demo都是来自于他们官方
那也期待就是说
我们能去真正就是手把手的去用这样的产品的时候
到底它的一个缺陷在哪里
以及它是否能在产品线上达到这种像demo这样的端到端的效果
以及它最终产出的这个质量
在十个里边有多少个是能达到
我们可以去商用
因为在商用层面上
我觉得目前应用层面上
大家更希望的是一个可控
有一定 嗯
故事主线的
呃
然后能跟业务目标挂钩的一些视频
嗯 我不知道
可能他们的第一个商业化的点
是不是还是可能有点类似像checkGBT四这样的一个商业模式
你会有一些猜测吗
嗯 我猜
我觉得应该还是会像GBT
然后GBT
four
然后像plus这样的一些产品
会在他们的这个平台里边去enable一部分人
但是现在我觉得就是即使是这种chat
他也不一定是最好的用户界面
就像我们如果往回去看
就是在chat层面上
我们是有像check
GPT
或者说最早的openAI的一个playground
那图像层面上
那majority那边这样的一个在discore里边的一个对话的一个形式去生成图
stability那边有一个studio可以去做一些轻的一些编辑
这些我觉得都是需要
但是在视频层面上
openAI会不会把这个视频生成
或者说视频的一些轻剪辑
或者说在放到他们那个playground里边
以一种UI的界面呈现
还是说是纯放到一个chat里边
这个也是非常值得大家去去思考
以及也是非常期待的
因为从我来看
如果说纯一个chat的话
它毕竟在整个的一个video层面上是比较低效的
还是希望有一个能真正能在一个UI层面上去UIinterface上的一个一个迭代
能让这个模行跟这样的一个能力能凸显出来
嗯
因为它做端到端嘛
从文字直接生成视频了
然后咱们其实之前也聊到
是不是很多中间层的技术就完全可能会被全灭掉了
就完全可能不复存在了
然后包括可能大家熟悉的比如三d建模呀
这些东西
是不是以后就完全不需要了
我不知道你有没有后面再跟一些
呃
相关的朋友再聊一聊
现在目前体感觉得就是说
看最终我们对于这一个物理世界模拟这件事情的一个定位
但是如果说三d建模
如果最终产出就是一个rendering的一个视频的话
我觉得在某种程度上
它会提效
但是说如果全部取代取代
就比如说把原来的这个物理引擎取代
我觉得短期内还是不大可能
因为原来的物理引擎还是有自己的一个独特的地方
比如说可控性
呃
场景里边跟人物的关系
人物的一个三d的一个设计
这些逻辑性
跟这些因果
呃 规律
还有物理世界的这些我们这边的一些规则
其实opena只是在数据层面上体现了一定的泛化能力
力是没办办法就准确的表达
更希望能看到的就是openi能跟这样的一些传统的渲染引擎进行行一个对接
就比如说作为一个adapter样
把这样的一些AI的能力
能去接入到比如说我们这边的blender呀
或者说是UE
甚至于ommdiverse这样的一些产品里边
能让更多的这些创作者借助于传统的可控的这种编辑的或者说是这种渲染引擎
再结合openAI这样的一个能力
但是中间这个adapt怎么去设计
这个现在也不知道
这个也非常就是从期待这个行业里边的一些大佬们
能去这边去找到一些新的一些转换方法
能把它能衔接起来
嗯
那反正从过去的一年多的时间
不管是语言大模型
还是从这个文声图这块是大家都是经历了好几个阶段
它也不是这个一步到位的
特别是在这个文成图这块
其实也是迭代了好几代产品
才能够真的是被大家应用起来
然后好像去年应该钱赚的最多的应该是mainjourney吧
大概赚了有两个亿
对他一个小的这个可能五十人的团队来说
应该也算OK了
是不是sara也会
比如说是会在好几个迭代之后
我们才actually真正能够变成一个可用的产品
然后像选mejourney一样
嗯 对
这个我相信
因为从现在目前来看
就是twitter呀
或者说大家都在呃讲的这个
它的一个渲染还是需要比较长的时间嘛
就比如说差不多得二十来分钟
我看到这样的一些推特上的一些messgege
但是我如果真正要可商用的话
现在像这样的一个规模的一个算力
如果支持上百万的用户
它是否有这样的一个infrastructure
这个现在都不知道
整个的一个推理
它是否能skillup到规模化去用
这是第一第二的一个挑战
我觉得如果跟刚才你举例majorneity里边比的话
产品从我们developer角度来讲
它现在在实实更多有点像GPT三当年的一个状态
它其实就是一个通用的一个生成模型
它还是需要有一个更友好的一个界面
能让大家用起来
就比如说当时拆GPT出来
它其实就是GGPT出好
是因为它有一个产品化的一个过程
都能让大家体现出来
所以产品化也是一个层面
我觉得这两个点都很重要
之前你跟我讲
在训练模型这一块
就是成本其实下降了很多
所以现在我们其实也没有办法来推测
到底啊
生成一个六十秒的这样的一个视频
它的成本在哪里啊
太难了是吗
对
这个我觉得就是说
从训练跟推理层面
它是两个不同的一个事情
那推理层面上
跟训练可能就完全不一样
嗯 可能还
还会去做很多的一些优化跟蒸馏也好
但是现在来看
如果说一个视频生成二十分钟
我觉得这个对于作为一个现象级的产品
嗯
还是比较难
所以它还只能说是限制在一些
呃 artist
或者说是一些个人创作者层面上
这种邀请only的
然后小规模的去做迭代跟尝试
至于这个产品最终可能会是否规模化
像拆GPT
我觉得这个就是大家拭目以待
呃 当然
以另外一个重要的reason
除了刚才讲的一个
呃
产品化的能力跟推理速度
还有一个很重要的一点
刚才忘漏掉了
就是合规性
就是它的potential的一个risk
就是它的那个writing
呃
这个一般都会是一个比较长漫长的过程
呃
所以这三个点
我觉得都会限制这个产品能被大规模快速去使用
但是也期待就是这三个点能快速被解决吧
行
那我们最后其实再聊一聊他对自己的这个定位
就是物理世界的一个模拟器
我不知道大家对这个论断是怎么看的
呃 对 我
我觉得毫无疑问的是
大家肯定
现在sovera它并不是世界啊
物理世界的模拟器啊
这个是毫无疑问的
关键在于
大家对于最终的世界物理世界的模拟器怎么定义
以及大家觉得这条路能不能通向一个物理世界的模拟器
因
因为什么呢
就是说 呃 你
你现在这个阶段
我 我相信
甚至是在几年内
你可能都可以继续去扩大模型规模
然后去有不同的这个各种各样新的数据去扩大数据的规模
然后得到更好的结果
但这个事情呢
它有可能会终结
就是
什么意思呢
就是说突然到到一定规模之后
我们不能再去scalingup
就是你加数据或者增大模型
可能会失效
或者说是达不到你预期的增长曲线啊
这种情况下
它可能有一个上界啊
那这种情况下
呃 怎么办 然后
嗯
现在大家的讨论呢
肯定是说有有两派观点啊
一派观点就认为
我觉得可以
比如openi觉得可以啊
我就我觉得就应该怎么做
然后还另外外一块觉得就是说
我们从最终终极的目标
如果定义为它就是像物理世界一完全一样
遵循这种物理规律的话
可能只有数据可能是不够的啊
就比如说我
可能宏观的物体的运动
都可以用啊
牛顿的运动定律
或者是这个啊
朗珠湾动力学去建模
它有一些普世的规律
这个这一派的观点主要的问题在于什么呢
我们没有特别明确的特别性的方案需要去探索
还需要去探索一个方案
就是怎么把这种物理规律的这种东西啊
这种建模普世的规律去嵌入进来
还不影响模型他自己的scaling的能力
去吃数据的能力
去
去生成高质量的图像的这种能力
或者是这个高质量的这种数据的能力
所以这个是我觉得是就是争论的比较大的点
然后我觉得无论如何
就是大一出奇迹这条路
目前看起来还是非常非常promising
然后呢
也值得去深入去做
然后有不同的这种见解是很正常的
然后呢
我个人自己的判断呢
是他可能不一定能够推到真正的物理世界的模拟器
但是他在很多很多的应用中去作为一个物理世界模拟器的近似
可能就足够了啊
比较乐观
但啊 anyway
学术界打这个观点不同就很正常了
嗯
我觉得我今天看到这个的information上面的一篇新闻
然后这个是公司是叫做magic
他们想要做新一代的这个coding
给LM底层模型
然后他们用了一种叫做reasoning的这样子的一个一个技术
据说啊
可能是跟去年openi他宣布的那个叫qstar有一些类似
然后他们其实就是可能在一个开放的环境中
动态的会收集一些这个更多的信息
甚至是可能会加一些其他的这个sensor
我不知道这个是不是可能是现在大家在追求
可能在物理世界的模拟器之外
我们可能再加一层
怎么样让LM去更加更多的去自己去探索
然后因为他自己有自己的sensor
有自己的其他他的一些这个获取信息的一些触点
这个会是一个天方夜谭吗
还是其实是有一些学术研究人员是在这边在探索的
这方面懂得不多啊
我就简单说一说哈
呃 我听上去
呃
可能有两个概念
就是除了我们今天聊了很多生成式建模
哈
但是人工智能其实范畴很大
还有一个概念就是跟
就是搜索啊
其实很多
像当时阿尔法go里面就是
呃
深度学习和搜索的一个结合
juesar也 也
也会有一些
大家觉得会跟传统的一些启发式的搜索方法会有关系啊
对
所以就搜索就是
呃
是一种可能性啊
然后还有一种可能性就是提到和环境交互
实际上是强化学习
其实这个wordmodel本身提到的最多的还是在强化学习里面
就是世界模拟器
它就是能够去用一种虚拟的环境帮助这个一个智能体去交互
然后它避免了它在现实中去比如撞车呀
或者是有一些其他的事情
这种交互太昂贵啊等等
所以说
我个人觉得会有这种生成之外的技术融入进来
然后构成一个真的一个系统或者一个AI去去做的更好
这
这是没有问题的
就可能未见得就是scalingup之后
这个问题就解决不了
但是有可能比如说加入检索呀
或者是加入一些其他的这种强化学习的方法
对现有的这种来说
是一个复杂度更低的一种解决方案
就比如说你
你检索可能很容易去帮助你去做一些反事实幻觉的这种检查查和这种啊纠正
但是你要是通过skillup的话
你可能需要
呃
不知道多少多少倍的数据才能做到
所以我
我觉得是
是可以的
是一个
是一个思路
对对对
说的比较
比较简单
就等于像是我们给他加了眼睛
然后加了手
然后可能我们就离AGI可能稍微还可能再前进一步啊
是的 是的
可以这么理
OK
就很多人其实现在就猜测说
我们其实是不是离AGI这个又近了一步
包括我也看到像是这个的mattai手及科学家
那个叶论困
他
他也在批评很多
大家不不懂
你就不要乱乱这在这儿评论
然后其实很多人在攻击他
就是好像说是他这个自以为是太eleaders这种心态在做这样的一个评论
恒明老师
从您的这个角度来看
这个
我们离AGI到底还有多远
然后sara是不是让我们往前进了一步
然后如果我们要再往AGI的方向再走的话
我们其实下一步
immediately就是我们最最近的一步
我们还要突破一些什么东西
嗯
这个问题啊
这个很好 很 很
这个 我 我只
只能说一些
一些浅显的见解啊
部分回答一些这些问题啊
首先 学术上 因
因为GI这个东西
大家
甚至不同人的定义都不太一样
所以有争端很正常
我首先觉得
短期内啊
大家肯定还会去做scalingup
这是毫无疑问的
因为这个东西不仅仅是学术上的问题
它有可能有很多经济上啊
这种商业上的价值
然后呢
从学术的角度
我也鼓励这样去做
因为有很多东西
就比如说
如果open还没花那么更多钱去trainsora
我们就不知道原来skalingup或现有的discbution和transformer就能做成这样
能做成这么好
对 对对对
对这种实验的观察其实非常重要
它能给我们消除很多很多的不确定性啊
然后呢 呃
让我们去对下一步的方向把握更大一些
然后我觉得sara毫无疑问是进步
他未见得就是杨里困心目中的AGI的进步
步
是对于于我来说
它肯定是很i本身的技术的一个很重要的一个突破
然后下一步呢
除了我刚才讲到我们要scalingup之外
我看好下一个新的
啊
新的svera出现在三d
因为现在最近啊
其实我们也做学术界很多啊
还包括其他公司都做了一些啊
三d生成的基础模型
当然这个效果呢
肯定没到出圈的程度
但我觉得技术上相对来说比较成熟了啊
有可能啊
一年两年啊
甚至半年就或者怎么样
就
就可能有一个小团队在openi就用这个技术去吹那一个三d的模型
然后你三d加上视频
就是这种几何的三d加上时间的这个dynamics
那它就是一个视觉的小世界的生成
是没有问题的
就是说 从
从原理上来讲
这可能是一个
一个简单的预测吧
嗯
我同意李教授这边的一些观点
反正我觉得肯定是
嗯
把整个的一个AGI所谓的通用人工智能这边推进了一步
但是呢
还是就是大家对于这个概
也可能是比较promising
我觉得
反正目前来讲
嗯
所谓到底是否是一个物理世界的一个模拟器
我觉得这个
呃 争论也好
或者说推进也好
都不重要
重要的是
我们已经看出来这样的一个可能性
基于这个可能性
我们才会去探索更多的一些AGI层面上的一些未来
那真正要到AGI
我觉得还是差的
呃 挺远的
目前层面上
把所有这些
嗯
一个所谓AGI的一个定义搞清楚
以及它需要的一些特征都具备
还是需要一段路吧
好的
那我们今天节目差不多也就到这里了
然后我们迄今为止都是
呃
有很多的猜测
是还是希望等到我们亲手
然后能来试用的时候
我们也在第一时间来再请两位回来
给大家再做一轮的这个分析和讨论好吗
然后谢谢两位今天的分享
好 谢谢
谢谢二位老师
这期whatsnacks科技早知道就到这里了
听完之后如果你有任何的想法
欢迎在评论区里面给我们留言
我们每一条都会认真的看
如果你喜欢我们的节目
请记得给我们五星或者好评
分享给更多的朋友
也会对我们非常有帮助
你也可以单独写邮件给我
邮箱地址是听TING
艾特声点FM
我都会一一回复那
同时公众号和微博那可以搜索声的活泼
声是声音的声
节目相关的更多信息会在公众号里出现
微博和公众号都会有不定期的福利给到大家
如果你想要跟我们更加紧密的讨论和分享
或者是想要认识和你一样有求知欲的新朋友
可以加入我们的微信群
进入听众群的方法是在公众号文章中扫码添加
或者是公众号后台回复科技早知道即可获取邀请码
期待你的加入
我们下期见