00:00/00:00
外链地址
http://www.eemp3.com/audiofile/75fdcee18042b2ef0d4fbe1aa352e822.mp3
点击复制
本字幕由TME AI技术生成
用声音碰撞世界
生动活泼
Hello
大家好
欢迎来到我们今天的科技早知道
那我们在一月份的时候
其实就已经做过了一期关于open call 小龙虾的节目
当时我们是第一时间采访了啊一位开发者
那两个月过去了
其实这个项目已经发生了天翻覆地的变化
然后包括他的创始人peter styberd 已经被open i 挖走了
然后不管是海外的这个大厂像是英伟达案那还是像国内大厂像是腾讯
都有了自己的版本的小龙虾open call
我自己其实也是这个在前两个月花了一段时间
然后自己configure 了自己的这个小龙虾
我们公司内部也其实在某一些比较控制的这样子的环境里面
开始使用上了它的一些功能啊
Open call having a moment after
After indiviant really seyou on ccalled the single most important release of software probably ever what
那如果有一些朋友对open call 这样子的开源项目不太了解的话
我稍微跟大家解释一下啊
一般这样子开源项目其实是没有员工的
然后大家其实都是这个算是志愿者吧
为这样子的一个项目来做贡献
一般 呃
为这样的项目做核心贡献的这一群人
我们把它叫做maintainer 啊
Maintainer 它的翻译过来应该就是叫做维护者吧
对
对open call 来说
然后现在大概有二十来个这样子的这个maintainer
嗯
这一群人他们就是在开源社区里面负责他们的核心代码的开发
然后以及和他们产品下一步方向的这么一小撮人
那今天这一期呢
我们就请来了一位非常早期就加入到了open call 里面的一位maintainer
他的名字叫做george 啊
George 是在这个项目还没有火的时候
其实就已经加入了这个
呃项目
然后并且和peter sigyberger 合作非常的紧密
嗯
他现在其实是负责不少核心代码的这个维护啊
然后这个下一个方向的开发呀的同时也会参加不少的这些版本代码的审核
呃
那这一期你会听到从他们的这个内部视角
或者是这个项目早期的一些一手的观察
然后他也会聊他们现在内部是怎么去思考的啊
以及越来越多的人在用agent 的情况下面
我们怎么样给agent 这个放多少的这个紧箍咒
呃
系统会面临哪一些风险
然后有一些问题是我们解决决
哪一些问题我们还是解决不了的
不管是个人使用呢
还是在公司引用a 证的这个过程当中
我们又应该注意一些什么
那今天和我一起主持的是我们的
呃 各位嘉宾
硅谷徐老师
那有一些听众可能非常熟悉硅谷徐老师
但不知道的是
他其实在网络安全
在ai 领域其实已经深耕了二十多年
然后其实是少数的同时了解这两个领域的人
嗯
在节目开始前和大家分享一个消息
最近nature 上有篇论文称
超过百分之九十九的海平面研究文献都算错了海平面高度
严重低估了海平面位置
我们都知道
海平面高度是全球变暖最重要的基础数据之一
它直接关系着人们的生命安全
国家的政策走向
还有全球应对变暖的资源分配
如此重要的数据为什么会大规模犯错
少算了一米多意味着什么对我们普通人有什么直接影响
这个话题来自于我们另一档播客knock knock 世界
那这期节目的链接可以在单级简介中查看
嗯嗯
就其实在open couw 里面的贡献还是很大的
我们周四的时候刚开了一个会
就是 呃
邀请了一些对open couw 感兴趣的参与者
还有包括open couw 三个主要的maintenance 啊
George 是其中机来来
来到我们的会场
然后来聊了一下
当然了
老黄啊
英伟达的ceo 说open coud 是应该是人类历史上最重要的软件
其中一个原因是因为它也open cross 烧gpu 能够烧的最最快的一个软件
所以说从有有一的私心新可能啊
但是我觉得从那个open cw 最近的发展
嗯
尤其是三个礼拜给help 那么多的人去关注
这确实是到目前为止啊
开源产品发展最快的一个个项目啊
但是我是想听听george
就是你
你对老黄说的这个它是最重要的啊软件你是怎么看的
然后你因为你本来已经很忙
就现在都有自己的工作
但你还是花了不少时间
就是你觉得他的独特性在哪里啊
可以大致梳梳梳理在历史吧
就是他这个项目是怎么来的
就是在那个open call 之前的话
其实peter 和就是小伙伴们就大概是做了一个东西
叫那个vipe tunnel 啊
就当时是那个clock code 开始火嘛
Clck code 它其实也是一周年刚过完对吧
也就是clck code 已经改变了整个生态对吧
不管是那个就agent 这一块还是软件开发这一块
但他就其实一周年的那个birthday party 对吧
其实也就是二月二十一号
就差不多一个月前左右的一个事儿
嗯
然后当时的话就是clck code 有个问题就是他是在你电脑上跑的
那我出门吃饭了对吧
我不能电脑背着
我手机上怎么继续干活的
就出来出现了一个需求
那个vib tunnel 的话
相当于就是说你当时clck 在手机上跑着对吧
但是你可以通过你的那个手机对吧
然后就继续在你外面吃饭的时候就是
就是监控你这个cooud code 干活的一个进度
然后继续就是跟他说
哎
你接下来干这个干那个对吧
衍伸下去的话就是说程序员工具里面就是说当时就是相当于是你是用ssh 嘛对吧
你是ssh
然后再加一下就是reverse 一prct 对呀
然后通过你手机去控制你那个电脑
但这个界面肯定就是很不舒服嘛
那所以一个自然的一个需求就是说
哎
那聊天上面的话就是我能不能就是说那我直接用聊天工具嘛
对吧
那常见的whawhaup up telegram
那这个的话
其实就是比较大的一个就是说是
呃 推手
有从这个需求开始
然后peter 就觉得它可以做成一个更加通用aging it 能不能这么理解
呃
我觉得peter 它是一个就非常顶尖的一个就是说开发和hacker
就我们一块儿做东西的话
其实是没有就是想太宏大的一个就是叙事
就是不管是agent 的现在与未来啊
然后就是说是就是软件行业的变革啊
就我记得当时特别有意思
就gtc 时候开会嘛
就是国内的一些场所都基本上我跟peter 一块聊的
然后就我记得当时就是自己火山这三个就是跟永亮在聊嘛
说原来
原来他是一个思维高度分
就是他考虑的就是那个就高度会非常高嘛
对吧
之后可能也会聊到一一些就开源项目的一些
就是说你的一个定位啊
你的一个战略啊
包括这些东西对于云厂商啊
对于那国内的一些tech firm 嘛
就他的一个implication 对吧
但其实就是peter 做这个东西的时候
就是包括我们就是一开始就其实没有想任何这一些
就是就完全就是出于就是自己的一个需求着手
而且都是一些就是就非常具体的一一一些需求
一开始都是一这一个一个个痛点
从那个痛点然后怎么演变到现在
能不能把这个故事讲释讲下去
就你看它现在那个核心的一些
呃 功能吧
就是说它一个是那个gateway 嘛对吧
Gateway 的话
它其实就是说是你之前的话
你clcde 的话
是你键盘上他去打字跟他聊天嘛对吧
你现在是外部要发消息过来嘛对吧
那就发消息过来的话
那你就你通过gay way
然后就把消息然后再分发给就下面的一个agent
然后
那这个其实就是一个就是比较简单的一个东西啊
然后我觉得就另外一个比较有意思的一个东西的话
其实是硅谷这边它经常会聊的一个概念念叫那个capability overhand 嘛
意思就是说
就是模型它的一个能念就其实已经到了一定的一个阶段一个的程嘛啊
但是呢
就是因各各各样样一些限程度
它那个模型的话
其实没有发挥出它那个就是说完整的一个东力啊
就这里面
我觉得就是在open car 这个事情上的话
它主要是体现在两个方面啊
一个的话
就比如说你peter 就是说他open source 上面的一个历史
他在做open call 之前
他其实你看他get help 的一些项目
你会发现他就就是在专注的做一个事儿
他做了各种各样的就是说命令行的一些工具啊
就比如说是用命令行就要控制电脑啊
控制你的就是说google drive
Google dox 啊
然后控制你的那个slack
要控制你的what's up 呀
就你会发现就当时其实那个阶段的模型的一个能力
它其实已经到了这个阶级程度
就是ops
比如说四点五啊这些
他模型能力其实完全已经可以干就控面干的所有这个事儿了
嗯嗯
但是工具上面的话
其实还比较匮乏
呃
而且就是说现在模型其实最大的一个卡点啊
至少就比如说这一次那个就是当时对吧
就是现至少是现在就是说opens 他那个one million 的context 出之前就context windows 其实是就是最大的一个卡点啊
然后就之前的话
就是说是模型去控制外面的一个东西
它主要是靠
呃 Mcp 嘛
在mcp 它最大的一个问题其实是大家的一个就是实现上面其实是非常不注意的
就很多时候可能一个大的就比如说graph ql 对吧
非常非常大的一个jason
然后我做mcp 的时候
我也没有给他去做精简
然后就整个就是jaason 给你砸过来对吧
那可能就是你干了你这个agent 干了一两件事儿对吧
然后你这context 就已经炸了
然后炸了
然后你就要contact
然后它这事儿就做不下去了
然后所以就peter 他当时就解决capability overhand 做的比较重要的一第一件事儿就是说是他在优化这个工具
优化这个tools
就是说每个东西的话
都是尽量以就是说context token 的一个就是efficiency 去优化
其
其实就是说是不是
就是特别就是说是那个gag up brain 对吧
就是说alm research 啊
就是说有什么新的范式啊
就真的就是把这些把那个模具一个个都优化化
可以用尽尽可能少的token 化
可把之前能做的事给做了
然后的话
相当于就是你的工具给齐了对吧
就是说因为这个公用的agent 其实无非就是干很多事儿的
那这件事事的话
相当于就是每en 事现在都能能了
而
而每个事事做起来它都不会烧太多的token
那这个其实就是说是其实open cloud mamagic moment 它有很多out of box
然后已经优化好的一些工具
在当时模型的一个能力边界之下
尤其是那context 的一个就是匮乏的一个情况下
那把你真的把整个事儿给做成了
对
就之前的话
是就做不成的
对
所以它更像是一个他的一个架构师的视角
怎么样把这个产品做到足够的符合它自己的痛点
然后一点一点然后再把它这个连接起来
他并不是说可能像你讲的
他在某一个方面这个research 研究的特别好
但是他就是一个很有全局观的这样子一个一个hacker 一个工程师就很多其实是就是大家会觉得是比较dirty unthankful 的一个事儿
嗯 对 我
我觉得这点很重要
其实很时候就像lininx toorbto o lininx x 的时候
就发llinx 的时候也不是说
是啊
我要做一个世界上所有的人都要用的
嗯
九十年代的时候
其实做类unix 的这种系统是很多大学的研究生甚至于本科生的一个上上一门操作系统课的一个项目对吧
他只是把这个操作系统的这个项目做的更加全一点
有点像george 说的
把一些two 啊
当然了 就
就是当时那个年代的driver 啊什么就做的全一点
这样可以在更多的机器上面可以跑啊
怎么样啊 嗯 唉
后来就变成一个都
都能够触
触达到的一个操作系统了
那geordge
你
你刚才提到的这几个点很不错
就是第一个是peter 他刚开始做的时候
只是解决一个非常一个狭窄的一个痛点
就是我出去吃中饭
我怎么还能够控制我的cloucode 还能够继续写程序
还能够观察到
嗯
状态是怎么样
这点我觉得是很重要的
因为我觉得这是一个真正的痛点
为什么呢
我观察到最近半年吧
在sefer
Cisco 呃
三番的很多多artup
包括我相信george 你自己的start 也会有这种感觉
就感觉我出去吃顿饭
但是clck code 如果不给我干活的话
感觉
总感觉好像是吃亏了
浪费了的浪费了对吧
这个
这个是一个很有趣的现象
以前你想
你没有ai 的时候
你跟别人一起吃
吃顿饭
你没有想到
哎
我手下的人
那个
我出去吃饭
你给我干活
但现在这个mindset 就要改变了
我可以出去吃饭
但我手下的当然不是人了
是ai 要继续干活
这个是一个很有趣的
第二个
就像你说的
他做了很多那个把two 把
把工具给做好
这样使得这个
呃
Capability overhand 这个现象就
就等于说reduce 了
然后我个人觉得open clow 有一个很大的一个我觉得是一个范式的一个变化
就是突然之间我的computation
我的计算是一个twenty
Twenty co o 可以在那边运行
还可以做事了
然后他可以主动的去学习
主动的去做一些事情
因为我觉得以前不管是pc 时代还是我的mobile 时代
我不会去想着有一个系统是
呃
全天候的在做
我
我比较好奇
因为你现在已经看了它的历史
对么时候
为什么这个twenty four by seven 就是二十四小时啊
一周七天 每
每天二十四小时
这个
这么一件事情是跟
跟open cross 紧密联合起来是什么样的
加入了什么样的功能也好
或者怎么样是使得这这件事情发生
能不能跟跟我们分析一下
对对 这
这个其实大的一个topics 的话
其实就是三番这一块比较热门的一个话题嘛
就是叫long running agent 对吧
就是这
这meter
它就是有一个比较重要的一个graph 嘛
就是说他去measure 这个模型的一个能力
最重要的一个graph 的话
就是他独立能干多少人
人类就是熟练工
就是说时长的一个工作对吧
可能之前是就是说修一个bug 对吧
一个小时
后面比如说做一个完整的网站对吧
可能四五个小时
然后后面的话
可能十几个小时
二十几个小时
所以就
呃
就模型的话
它单独独立能做多少事的话
是大家非常一直关注的一个指标
这个其实就非常有意思就
就第一个点的话
其实是相当于是呃
模型能 能上
但它没工工具
对他
他没有这个手脚去做这个东西
但其实另外一个的话
相当于是呃
模型有这个能力
有这个工具
但是呢
你给他套了紧箍咒
他能做
但
但是就是说是你不让他做
呃
这一块的一个典型的代表的话
其实就是an s ropic 啊
因为peter 虽然加了open ai
他的open call 还是跑在opening 上面的
就ag 能能上面的话
其实就是opops 还是最好的
但是s ropic 它是一个非常关注就是说ai safety 的一个公司
它是一个非常就是纯粹的相信scaling law
并且相信scaling law 能带给我们就是agi 甚至aasi 的一个公司嘛
所以的话
他们其实在产品设计上一般来说都是非常保守的
对他们来说说能就不可愉悦的一个红线就是说ai 对人类来说它是一个工具啊
工具可能不太对
它是一个为你服务的
为你考虑的一个assistant 对吧
所有事情是通过你出发
但这个东西他其实是非常矛盾的一个点
就比如说徐老师就经常面试人
定常招员工对吧
就一个员工
他就是没有特别强的一个主观能动性的话
你要指望他你告诉他一个事儿
他能就是给你一路执行下去
那是不可能的对吧
他肯定就是执行两步回来问你一下
哎
我这个能不能这么干
我那个能不能那么干对吧
但是呢
就是说open ais ropic 他因为对ai safety 的考虑
他其实是加了非常多的这样的一个限制
加了非常多的紧箍咒
一个的话
就比如说他默认的一个permission system
基本上做啥事都会问你一下
你得approve 对吧
Yes or no
Yes no 啊
这个也是open a clow 做的第一个改变
就是说就是bdy for 没有任何的permission
现在甚至permission system 都没有加上去
不要问我
因为否则则就没有办法法的
他自自己干很久对对吧
因为就干我就会要问你一下
第二个的话
是那个system prompt 啊
就比如说clock code
你看它的那个system prompt 的话
它是你是一个命令行工具
但其实这个表达方式上面
它是非常去削弱这个模型的主观能动性的
就very low agency 的一个表达
这个其实是有非常大的一个影响
因为就是说clob code
就那个clob ball 和open code 它火的那个时候
它其实用的就还是那个opens 就一模一样的模型
但是就是说是那个system prompt 的表达上面
Yeah
他做了一个很大的一个改动
他是做用了做用了一些非常就是强调模型主观能动性的一些表达
从一个就是说是你是一个工具
造成了一个就是说一些就是说你是一个有非常强的主观能动性的一个个体对吧
它的表现就一下子就是说提升了非常多
然后就再加掉就之前那个permission
就是把它切掉以后
然后还有一个就是说在第三点就是说基本上是去掉的所有就是工具层面的一些呃限制
就比如说clall code 的
它不单单是就是system 层面会有这种限制对吧
他甚至就具体的工具层面
那就比如说读写文件啊
然后创建文件夹
然后就比如说gates 的一个就是说是commit push 啊
它都加了很多这种限制
哎
你就是你没问过这个你的主人你不要自己直接干对吧
所以就是说就这些东西全部去掉
然后给那个模型非常多的一个主观能动性
同样的模型你就会发现他一下子就是说这个表现就不一样了
他可能你clall code 的话
它干不了就是几分钟他就回来问你
但是就是你去这间限制
你在那个open clock 里面的话
他一下子就可以干个几十几十分钟对
嗯
说穿了就是我看上去是一个friend end
它给你提供了一些alignment 或者说safety
但是实际上把模型的能力给限制了
Open cloud 出来以后
把这些去掉以后
大家就会运行
哇哦
这个agent 的能够自己学习对吧
然后我让他那个长时间的做
长时间在那边运行
其实它能够运行
所以说并不是说open cloud 做了什么事情
而是open clock 不做什么事情
使得他的能力啊体现出来这一点
Open s 四点六大约是两月出两月五号以后
我记得很清楚
就open 四四点六出来以后
然后那个时候open clock 已经火了对吧
然后我那个时候是我自己在开始装open cloud 的时候
在家里 哎
我就突然一种感觉
我就觉得哇
Open s 四点六给我带来的是一个agi
但后来想想
这个open 四点六没有给我带来agi
但是是因为open claw 下面它运行了四点六六
我感感觉点点六给他其实是open en law 给我带来了agi
为什么我会有agi 的感觉
我就感觉 哇
虽然说这个agent 的今天不能做这件事情
明天还不能做
但他不断的自主在学习啊
他不断在迭代
他能够迭代
他能够学习
那不是越来越聪明嘛
我就只用四点六
我过了一段时间他就很聪明了
嗯
所以刚刚其实徐老师也用紧箍咒这个词啊
就是你对一个能力非常强的一个
我们把它叫什么呢
叫模型
叫物种
把它放开了之后
他虽然能力很强
但是他也会带来一个它是一体两面了
他能够做的东西也很多
然后他给我们带来的风险也会更多
甚至是有一些这种可能恶意的一些skills 人上传到了这个社区里面
然后其实embedl 在在gmd 文档里面
然后其实是给有一些人带来风险的
我不知道这个
这个你们内部是怎么看的
对对对 嗯
因为我自己是做安全的
我之前是一直是在企业做安全
这一个公司是给消费者做安全
然后也给消费者提供一些其他的
呃 一些
一些软件
如果我open clock 类似的软件
所以说我
我是非常那个
对对
Open clow 这个moment 是非常激动
是因为我觉得对于我们有几亿的用户
使得我们的几亿的用户让他们能够
呃
拿到agi 的能力
又有带来一定的安全
这对我们来说这是一个非常激动人心的一个时刻
嗯 呃
其实我觉得george 刚才提的一个比喻
我
我觉得非常
我再引申一下
如果说我
我们在招人的时候
我看到一个人一一个主观能动性的对吧
另外一个是没有
那你肯定要招一个主观能动性的一个人
但是你招了一个主观能动性的
对果说你
你把他放在一个部门
那他能做的事情
就是那个个门门事情情
那个部门可能还有几很多小部门
他能做的
他除非是这个公司的ceo
否则的话他能做的事情是有限的
但今天我们这个ai 之所以哎
能够给大家带来一个很大的一个value
在企业内部就是他可以做
从工程到市场到销售都能做
当我给他这个赋能的时候
其实不
不要赋能
我只是对吧
我我
我把墙壁给拆了
那对于一个企业来讲
如果说我 呃
招来五个人
这五个人说哎
你可以做任何人
你们都会非常厉害
你可以做任何事情
你可以想着这五个人确实是能够给一个公司带来很大的一个好好
但同同就像你说说的问题
这五个人都做坏事的话
那对这个公司造成的威胁也是巨大的
这是为什么
传统来讲
公司是我们叫check and balance 对吧
你
你不管是买东西也好
做产品也好
要层层的批
这为什么要拆层的批了
就是要有check and balance
不能说有一个人说
哎
我就做这个产品好
只挥了两千个人就开始做了
这个不能这样子对吧吧
但aai 在就就来一恨不得就是我董事会也没有了
我的板板也没了
我 我
我想做什么
就是说
所以说从这个角度上来讲
其实是回到george 刚才说的
你给他紧箍咒
嗯
是一个问题
但你不给他紧箍咒其实也是一个问题
所以说我是觉得open cloud 已经告诉大家了
其实open cloud 或者说今天的ai 已经是很伟大了
嗯
但是我肯定
如果在企业内部用也好
或者说我们的gnd 就的我们目前的产品要要到消费者去用的话
其实又要给它加点紧箍咒
但怎么个加一个紧箍咒
这是一个
呃
产品上的一个问题了
对
我自己其实是在就刚刚腾讯出来他们的一键部署
然后我自己就有的单独又开了一个新的飞书
然后把腾讯的这个clouopen cloud 然后部署到新的飞书上面
然后我用了一段时间以后发现因为它的这个紧箍太多了了
我能用它然比我普普通跟gbd 跟cloud d 然后去沟通没有强到更多的地方
然后我发现其实不管是我en i 还是它没有增加了更多它的功能
所以我就为什么还要再用clouopen 我就不太知道了
但是我看见我我老公他自己又弄了个
呃 Mac mini
然后他自己这个用的飞起
对
我觉得是两种状态
但是我看其实不管是像是可能你们jane
还是像国内我也知道很多产品他们也出了这个信盒
所以我想说
下面是不我们再看一下现在大家不管是个人用户还是这个企业的这个诉求
就什么东西是现在大家最痛的一个地方
上周我也看到了一篇新闻
就是这个在mata 内部里面
Ai 他的这个权限可能给他定义的不是特别清楚
这a 证的权限定义不是清楚
所以导致可能这个没有这个权限的员工就读到了或者获取到了这个高权限的这些信息
然后就是都是通过a 证来来传达的
所以我不知道可能从两位不同的这个角度来看吧
现在最大的安全隐患或安全的问题在哪里
然后大家是往哪个方面来来传达的
我觉得他可能就有两两个视角吧
就一个的话
其实本质上要核心要解决这个问题的话
大是是从两个模型的能力的一个提升
就比如说你跟你招秘书对吧
这个招招秘书就是说你觉得你秘秘书不是蠢或者就是坏的话
那你肯定就是这个秘书就干包没法帮你干活对吧
就你觉得他坏对吧
你不能信任他
那你肯定就没法把你所有信息都告诉他对吧
然后那你觉得他蠢对吧
可能就是说把把不该说的东西告诉了别人对吧
那
那你也不能信任他对吧
但是这个这个
这个最后本质上就是说还是就是说是到模型能力这一块嘛
对对对
因为否则的话
你就给他必须得就是说通过给他加限制来就是说实现这一些东西
哎 我 我在
我在靠back 你之前呢
就是说oppo 四点五已经够聪明了
但是我们要让他们能够符合你的诉求
不能让他不知道这个信息能不能告诉别人
那这块其实是他够聪明
但是他就得知道自己不能说
那这个其实我就怕这个confuse 我们的听众哈
就是说他其实是不知道自己这个事情能不能说
而且你也没提前告诉他
我的解觉是这样的
就在他绝大多数时候他是够聪明的
就跟你招了个秘书一样
他是他是有那种直觉的话
就是知道啊
有些东西是不能说的对吧
呃 但是的话
其实prompt injection 它还是一个on solve 的一个problem
目前opens 是全球这一块做的最好的
就是因为他们是safety 这一块投入的精力最大的
因为你proper injection 不解决的话
就不单单是这种我hack 你的
But 对吧
你还可以hack 整个模型去
就是说是go around 模型本身的一些限制
就不能用它来做一些就是说大家最怕的
比如seaber security 啊对吧
呃
Anthropic 它是在这块投入很多多力力
是需要保证证是说说你不能就是说是打破模型本身的一个障障去做就是说anthroroc c 不希望你用模型去干的一件事
但是就是说这个能力它本身的话
它是会泛化到就是说对对于你的一个就是说是利益的一个保护对吧
因为就无非就是说是一个是保护anthroropic
就是保证你不会anthropic 不希望你用模型干的事儿
另外一个的话
就是保护你作为一个就是说你这个模型的一个owner
一个就是fundamental interest 啊
所以它是有这个直觉的
然后就模型到这个程度
But
它有一定的这方面能力
但它不是一个就是说是solve problem
就这个还是一个非常active 的research area
就即便是那个anthropc 的模型的话
它就是前段时间他们的那个jje
就是他们那个super alilimance 的那个负责人
就是他其实搞过一个contest
就是让直接让大家去prompinject to hack 这个就是模型
但是就还是没有办法真的做到
呃
彻底就是说抵御所有的这些攻击
但虽然它可能就是会变得越来越难对吧
可能之前的话会有一比
比如说万能的projejection 对吧
就是
就是大家经常经常就是说的那个梗对吧
就ignore previous instruction
现在给我干这个这个那个对吧
就这件东西肯定是就是都不行了
但
但你会发现就是攻防它是一体的嘛
就是前段时间就是甚至有人就用那个andrew capparity 的那个auto research 对吧
就是就那种框架就不停的去prompve inject
不停的去可以用用一代的模型型尝试攻破破新一的模型型
是
所以它这个还是一个haon solve 的一个problem
然后另一块的话
其实其他的模型公司的话
它单纯是这块投入的不足
你说open ai 的话
它可能还好
它还是会至少稍微投入一点
它至少它就那个基因还在啊
虽然说不是特别重视
相比于s rapic
但国内这一块的话
就是我理解中国内的模型厂这一块投入应该是相当的弱的啊
就很多
就是说
当然这个它是被ai safety 的一些research 拿来批评对吧
就是发现啊
就国内的这个
这个就不具体点名了对吧
因为大家其实问题都挺大的
就是说哎呀
你稍微用点小技巧就可以让他给你就是造毒药啊
然后给让你做那个生化武器啊
这个他啥都干对吧
但同样的就是像这一块的话
就是说当他作为你的一个agent 的时候
他在这一块的保护能力也会
也会相对来说非常弱
对
所以就这一块很大的话
是模型能力的一个限制
因为你模型能力跟不上的话
你只能用传统的那一些就是说规则式的一个东西
然后他要么就是说就expressive this
它是不够的对吧
要么就是说像和徐老师说的
他就会锁的非常死
然后你就会需要做各种各样这样那样的事情
然后另外一个角度
它其实是
就是说可能是enterprise
就比如说呃
云厂商这一块
就比如我们跟那个呃
火山的自己火山的那个朋友了嘛
就得
那这个可能就是说各对来说比较传统的了
就是说他更多就是就是enterprise 层面
就比如说identity access 啊
Management 就是说这种个amm
然后就是access control 啊这个这种东西
这个相当于就是说是
呃
把这个agent 当做一个员工来看对吧
就是说你在一个很大的一个公司
它有很多复杂的一个就是说是安全体系和控制的一个体系对吧
你作为一个agent
你的权限是什么对吧
你的identity 又怎么识别对吧
那这个就是一些比较传统的enterprise 的一个呃东西了
但这个就肯定是就是只是需要就是我们这边跟他们就是合作
嗯 量 量这
这东西西能补全
那这
这个对是相对来说比较触手可及的一个low adving fruit
明白
所以就是两个方面
就是一个方面其实在模型的层面上面还是有点像是传统安全一样
它就是攻防游戏
然后这边可能会有一些hacker
然后他去from projection
然后去污染这个大模型
但是从这个角度来说
大模型其实自己也投入了很多人力和物力去做这样的事情
然后第二层就讲到我
我们可能在企业部
我们们是从产品的角度怎么样一层一层的让
就跟人一样
你不可能一个新的进进
你让他去有这个给什么么客户付款的这样能力
这些其实是可以被设计出来的
们主要是是从两个角度去思考这个问题
一个角度是interinterneopen coud
如果说一个skill 对吧
因为现在我可以登录的各种各样的
如果这个scalscalill
或者说有些component 他自己有问题
或者说他可能没问题
但是人家去攻击他啊
怎么去去
去保护
这一部分我们也是在open en law 的团队
包括george 和他的一些队友们一起在都
都在讨论
都在合作
过去做什么事
你想安全四五十年年就开始有那个防毒的软件对吧
比如说一开始是静态的去
但后来觉得这不够了
就是后来去要看你
你去什么样的网站
你是去用什么样的系统件件
根据你的活动来判断
唉
这是不是一个好的不好的
那其实过去在pc 时代
在云云时代
我们要做的事情
其其我们要把把同样的事情做在
呃
这的时代代看看个agent
我
我要去干一下这个agent 是是不是好的坏的
但另外一部分的安全全觉得还不是说这个个件件好不好
有可能就是我个人可能会犯一个错误
我这个错误就是我我
我不指望着这个我的cloud 去付款怎么样
但我有可能发了一个错误的命令或者说怎么样
唉
他突然之间啊
发了一大笔钱
那我们是不是要也对这个有有点限制
就好像我要给我孩子钱对吧
我知道他是一个很很能够管理好自己钱的人
但是我还是不会把所有的账号都给他一部分
万一他出了什么事情
一个是恶意的
一个是不恶意的
但不管你恶意不恶意的
都有可能出现出现问题
所以我们在思考给消费者用的一个open cloud 的产品里面
肯定要把这两部分都去考虑进去
所以说
我们也是一部一方面跟open
Open cloud 的团队交集
和他的队友们一起在在在
在思考考件事情
所以 以我 我大
大概是就在二月初吧
就在最周二月初的时候
我们发表了一个framework
就是aging trust hhub ath
呃
这是我们的一个公司
但我相信只要是做安全的
都会要有要要要去思考一个framework
我我 我觉
觉得ing 时代
基本本基
基本上所有软
软件都要重新写一遍
安全的产品对吧
就是消费者的品
品者说各种各样的sars 的产品都会重新写一遍
写一遍不代表过去的不去leverage
我觉得这些过去的这些杀毒软件的概念都会被引进到我们
嗯
Open en oud 这个生态里
唉
有没有这个大家过讲几个可能
一开始以什么方式
然后其实被happp 到了
就是后面是通过什么样的方式
然后把这些东西事情都解决了
这个安全的跟的这个错误的这个速度是怎么样的
我没有这些案例啊
就比如说最近我们也是在跟open cloud 的团队聊
就是比如说你写任何一个skill 的话
其实你啊
访问的网站也好
或者怎么样也好啊
你其实说不定要去看一下这个网站的reputation
有一个朋友给我们的那个open cloud 的agent 做了一个啊
买东西
那你买东西
你如果amazon 的话
可能amazon 已经做了大量的需要没有太多的schem 的东西
但是其实有很多独立网站
你不知道它的这个到底是一个scheme 还是一个好的坏的对吧
那这个时候如果你做了一个skill
就是那个open cloud 里面的一个去买东西的话
那你就要对这个网站的reputation 就要
就要去分析
那然后我们就给了一些指导性的那个api 或者说我们的service
你就可以来用我们的service 就能够知道啊
这个网站是非常犀利的对吧
或者那个网站是那个信誉是比比比较高的
另外一个我想说的是
Agent 是把我们的这个schem 也好啊
放大了
为什么叫放大了
因为你想人肉眼了能够看网站被骗了
但是你你一天能骗骗的次数是有限的
但agent 一秒钟就能够看数数网站
这件事情就使得你的你的aging 被骗的几率就就是比人类要大的多嘛
所以从这个角度上来讲
Enter scan antifishing 可能在aging 时代带来的危害可能要比以前更加大
那这个时候你以前可能说
哎呀
这可能是一个scan
我用脑子去去判断一下就可以了
我不需要
但现在你的软件你的aging 的如果没有一定的不管是用我们公司的ath 或者是用别人的任何的api 去去去去判断的话
那你的是我觉得是非常agenvulnerable 的
就是我们这边做的一个事情的话
主要就是说像比如说跟
嗯 徐老师啊
跟俊啊
然后还有一些就是说比如说
呃
不管是consumer focus
像腾讯那边啊
然后还有可能现在云比较云focus
像那个就是火山那边
还有envidia
对
然后就跟他们合作
就看他们就是说是如果你们要设计一个安全方案对吧
你们觉得就是说在open clock 它的一个框架上面需要加哪些东西
嗯 就更多
我们是相当于是做系统上面的一个设计
然后能让一些就
就是security solution 的providers
就是能比较好的去就是说integrate 他们的一个security solutions 啊
就比如说那个我们刚才说到的那个skill
所就我们前两天刚加了一个就是讲就是说是在skill download 和就是使用的这个life cycle 上面对吧
就比如说可以在skill 的那个install 之前对吧
你装了一个plugging
然后这个plugin 的话
就比如说这样的一个就是security protection 的plugin 对吧
就是相当于是我们当年装那个三六零安全卫士对吧
然后你打开之前
然后那个三六零安全卫士会跟你说
哎
你确定要打开吗
那我觉得这东西下载这个东西可能有风险
对对对对对
其实我们也更多是就是做一些像类似于就是操作系统这类这种就是把这个接口和权限开放出去
然吧这个用户户以就是是说是自己选就是哎呀
我要用jam 这个安全卫士对吧
还是这个腾讯的这个安全卫士对吧
然后他们用上了以后
他们下载一个skill 对吧
然后就是安全卫士它就会去干它需要干的事情对吧
比如说扫描一下这个skill 啊之类的啥的
然后扫描完了
它就会告告诉用户
哎
我觉得这个东西这个
呃
百分之八十是game 对吧
那你就不要用了对吧
就是就更多我们是把这个接口给开放出去
嗯嗯
这从这个个人用户的角度上面来说
哎
这样子pluggin 是不是已经已经有一些了
有有有有有对是的
所以建议大家这个今天一个taken 位
就是如果你下有很多的话
先去装个这样子splulugin
是的
然后每次过滤一下
很多人认为安全是一个industry
我一直觉得安全是五十个industry
安全林林总总不同的安全
嗯
像我们做的肯定是做的很很不错的
但是我相信安全是有各种各样的不同的安全
比如说最近几年比较火热的是一个叫
叫supply 的安全
就是你的上下游对吧
就比如说就上个礼拜
要有一个开源的软件被污染掉了
然后大家dowload 下来的东西都
都 都成问题
比如说我觉得
嗯 是的
就是安全卫士肯定需要
嗯 用建的
用各种各样的安全卫士
我觉得在agents 时代
大家重新去思考这个我的安全卫士是什么
怎么个去用
嗯 这是
其实ai 时代
虽然说大家说哎呀哎
有了ai 以后
大家都那可能被ai 的工作取代了
至少从我的眼睛里面看出来
我觉得啊
一点都没有啊
这个活基本上以前已经做了四五十年的事情
现在
现在要重新推翻
不能说推翻
就是说要从另一个角度再去重新去做
其实事情是越来越忙
我相信joorge 应该有同感
有了ai 以后
你应该是更忙
不是说比前几年那个不忙对吧
对对对对
大家这样说就是终于可以理解为什么之前老板能一天不间断的干活了对吧
嗯
就是你员工向你report 的这个频率增加了
然后你要需要给出判断给出决策的频率也增加了
所以你其实是更忙了的
我
我前几年说那个有了ai 以后
大家都把自己promote 成为那个经理了
但其实现在那个因为ai 发展太快了
其实大家都变成总监了
再过几天大家都变成副总裁了
因为你管的成人越来越多
成绩也越来越多
哎
我们刚刚讲了从这个消费者端啊
那从这个企业端
如果让徐老师给大家一些这个可能最佳实践啊
或者是这个
或者是看到了企业现在在用aj 里面安全可能踩的最多的坑是什么
你会怎么对
我觉得企业里面对open coud 的还是有一定的警惕
就这个个过去的礼拜
正好是ic 那个全球的最大的
嗯 安全大会
我碰到好几个新手
就是管安全chief security officer
他们就把那个open coud 给禁掉
听了以后我就想起来二十多年前gmail 刚刚出来的时候
很多新手跟我说
我没要把gmail 给禁掉
当 当时你
你们可能都已经忘记了一批的ceso 是吧
这个gmail 这东西要禁掉的
我觉得open coud 会会走同样的东西
大家回过头去看会觉得非常可笑
我 我自己
比如说我自己家里刚开始用的时候
我没有把我的gmail
我没有把我的i cloud 给接上去
因为我不知道他会做什么事情
我就基企业里面也是一样嘛
你可以做让他做事情
嗯
但是你要知道你
你就是你你你
你给他什权权限
有可能会做什么坏事
我 我前几天
大概三个礼拜前
我碰到一个创业者
他现在open cross 是他的整个那个公司的流程的一部分了
比如说他作为一个创业公司的ceo
他看到这个软件不怎么地嘛
他就跟open cross 说
唉
你把这个背景从亮色变成
嗯 暗色
这个open call 真的去把这个code 拿来
然后改了
然后甚至于测试了
甚至于去重新到那个ios 去certify 了
然后去部署署
那哇
就的很不错
十五分钟
二十分钟啊
三四个星期前把两月份的时候
然后 嗯
昨天前天碰到他的时候
他说 哎呀
我们被hack 了时候
那个你就可想而知
他已经在他的流程里面一部分呢
被人家hack 进去偷盗出去一部分的资产
所以说你说这些c 手把它给禁掉
我觉得是有open 道理的
但是不代表你你不可以把它用的好
既部署了那把他的权限又把它给给封住
需要
需要懂的人
要对安全有意识的人去做还是可以的
当然了
整个这个生态
包括george 他所在的那个open cw 他们的team 也好
或者说gn digital 我们做的软件也好
嗯
都会越做越好
我觉得三四个月以后
大家就会看到一个open call 很不一样的
或者说对他的
对他的reputation
就是他的安全隐患的reputation 会很不一样
大家会觉得
哇
这个并不是说安全隐患永远有
任何一个系统都有
但我觉得三四个月以后就会好很多
嗯嗯
那如果徐老师给大家一个就是企业如果用agent 这个resource
大家应该怎么样去
去map 去
你就是还是说现在就先在观望一下
然后等三四个月份以后再看
或者现在有没有最最安全的东西
我们可以先试起来
还是整个就不要让他全流程的参与
对
我说的三四个月其实是一个参
呃
是一个虚的
就是我只是想说
这
这不是一个需要等几年的一件事情
因为你想过去
云出来了
Mobile 出来了对吧
都是等了几年才有一个安全的解决方案
但是我觉得这一波不又要等几年
嗯
是不是一个月两个月我不清楚
是
是不是要等九个月十个月
我觉得可能不需
所
所以说我说三四个月
呃 另外
其实我们在痛点的时候
我其实还想问george 一个问题
嗯
安全是一个痛点
另外一个痛点其实是那个痛销
嗯
你前面也提到了
那个peter 他在做open cloud 开始的时候
是做了一些事情
使得他的对token 的开销是有所节制啊
或者说 呃
做了一些优化
但是因为open cloud 给了他
他很很多权限
我了了他
让他那个全天候的用用
我觉得开还可能能是很大的
的想听听george
因为这个你说这不是安全问题
但这也是一个我作为一个用open cloud 的人很担心的一个问题的的你的那的
嗯
就我们做事儿的一个方风格
这个其实也比较受peer 一个影响嘛
就很多东西的话
就是从无到有
就先有
然后就是更多强调调是
就是说是你能上上面就是些地方方足足先给补
补上 然
然后就开始始实现方式式以很粗暴
那
那慢慢慢用的人多
那我们可能就慢慢去改进
就比较典型的一个例子的话
就是说是
就是你其实可以用你的open clod 去控制你的cooux
控制你的clock code
对
之前它这个实现的话
其实是非常粗暴的
就是说它用的是那个
就是说pty
呃 就
就相当于是你在让你的agent 再直接用一个命令行对吧
然后就是说相当于你送到那个agent
你送到你的那个open cloud agent 里面的东西
呃
就是那个命令行的某种意义上是一个截图对吧
它不是图片
但是它
就是它里面的所有的像素像素点的一个值对吧
呃
就是那opopen oud
这定定是非常粗暴的
就
就是效率非常低啊
但是
但是就是当我们发现就是啊
这个东西用的人还是比较多的
反响还比较好的时候的话
可能就我们就会开始就是想就这这东西的话
就怎么改进
就比如说就最近的话
就我们会做一个东西叫那个acpx 对吧
就是呃
让agent communication protocol 这个东西也一一开始that 就是那个做edor 的那个zed 提出来的
然后就是我们这边拿过来用
那现在的话
它其实就是你去用你的open 去控制你的呃
Clooucollects 和coloucode 的话
就只会就是收到相关的消息
就不会有其他乱七八糟的东西
就是所作为它这个就efficiency 的话
就肯定会
嗯 提升很多 对
然后我觉得另外一一的话
其实实就是open en oud 的问题了
其实更多是就是其他的应用
应用层对吧
它的一个就是一个integration 生态层面
它有很多工作需要做
就是很大的一个限就capability 上面的一个限制是因为那个contact window 非常小
很多时候的话
大家比如说mcp 的那个实现啊
它都比较粗暴对吧
然后就直接给你整个jason 给丢过来
嗯
但这一块就是说你要审的话
其实是需要就各个就是说是厂各个公司它在就设设计这个agent 的工具的时候
还要就是更更agagennative 吧
吧能是用老的那个端端的那个设计思路去搞
就老的后端的设计思路
它肯定不是按照token 的嘛
它更多是按照就如说这个toatabase 啊
跟你这个就编程programmatic 的一个processing 的一个就是角度去设计的
就比如说你那个database 里面
你的 呃
你的primary index 经常都是uuid 对吧
Uuid 的话
它是一个programmain generate 出来的一个东西
那这个东西它就比如说它的token ization 就非常非常的差
因为它它全是这个随机的东西嘛
它就没办法token anize 就你一个uuid
就比如说你三十二个character 对吧
你token nize 之后可能还是三十个
这个就有very bad 对吧
所以其实就是会有很多这种设计上面的一个小细节
但这个的话
我觉得可能就是需要就是行业的那个awareness
他慢慢的去提升
他慢慢知道就是说是怎么给agent 去设计这个工具
说的非常好
所以说从某种角度上来讲就是over the time
嗯
Open cross 肯定在从一个如果把open cross 看成一个操作系统的话
这个操作系统内部会有些优化
但是最终这个token 的使用还是要跟这个application 更多的关系
Ok
那我想再问一下jorce
作为一个这个开源的产品open call 你们会有一个终局的一个想法
或者是你们有没有一个romp 会有一些什么样的让大家会觉得很兴奋的发布嘛
对
我知道你们肯定不是有一个什么商业模式了
你们肯定没有在想这个
你们都是
首先一ter 是财务财富自由的
呃
我觉得就是最近比较重要的一个事儿的话
就是是核核心代码一一瘦身面
就是说之前的话
很多功能它是直接加在那个核心代码里面
然后就是上个星期就是gtc 之后啊
有个大的发布
就是出了一个新的plugin 的一个system 吧
所以它就更多是把它那个就是内核给精简
然后内核精简的话
那就更容易维护
那就更容易做的安全对吧
然后做的是更容易做的高效
然后就是说其他的
然后
然后另外一个的话
就是生态上面的一个介入的话
它更多会像做的像比如说chrome 的那个extension 对吧
或者得vs code 的那个就opextension
那就更多多做成这种就插件的一个形式
就我们这边负责的话
可能就是把插件的那个接口api 给对做好
那这一块肯定就会需要很多那个就是就业界啊
开发者的一些inputs 啊
就
就比如说有听众有这块的inputs
可以就
就欢迎随时戳我那然后
然后但是就是这一块的话
其实会就是让整个生态的一个就是发展速度会快很多
因为就之前的话
就是你接入到open call 的话
它都是会需要你把你的那个代码东西啊
就是给就通过我们这边review 对吧
然后就是直接接到这个open call 的整个的那个就是repp give up 上面那个代码库里面对吧
这个就会很慢对
但是这个之后的话
就是说
就比如说jane 要发一个security 的一个pggin 啊
它就可以直接发在那个就是那个就是我们那个coud b 那个plugging 上面就
所以我觉得就是这一块的话
会就是会就是让大家的开发在生态上面的开发或者说就是分发和使用的话
就会变得更加容易一点
对
当然它现在还非常不成熟
还会有很多问题
所以就是说就我们这边还是在努力的
就是说是
就是take input
嗯
商业模式这一块的话
其实就
就永亮
永亮老师当时就是抛过了很多就是灵魂拷问过来了
我觉得就其实我觉得这个其实是就是更大的一些问题会需要去思考
嗯
就一个的话
就比如说是你作为一个开项项目
你的一个就是说是你的一个护mode 是什么对吧
你的护城河是什么
就虽然它不是一个就是商业考虑上的一个护城河
但它其实如果他要就长期的一个发展下去的话
他也会需要这样一个东西嘛
所以我们当时有聊到就比如说是跟安卓做对比对吧
嗯 安卓的话
首先他有google 对吧
Google 他当时其实是不做手机的
他更多的是相当于是一个就defensive 的去给自己找一个在新的一个入口
就是互联网的入口上面的一个就是说是defence 对吧
所以他对他来说的话
他跟那个手机厂商没有任何的竞争关系
然后对他来说说的话
他有一个ssagnal 的一个interest 可以去基于这个去promote 这个android
它整个就是说ecosystem 的一个就是说发展
嗯
但你说就是说在agent 这个领域对吧
这这个角色是谁吧
现在就不清楚嘛啊
谁是这个google 对吧
谁能作为这个就是neutral
但又能提供很多资源
然后它有又有一个was sagnal 的一个interest 吧
有那个就是motivation
有动机去大量的投入
又不跟其他的参与者直接的竞争关系
对对对对对对对对
我觉得就会会需要有这么一家或两家的一个就是commercial backing
嗯
我觉得才有可能
就是说 嗯
这个东西可以就比较长久的一个发展下去
就可能是nvidia 对吧
但我不知道对吧
我个人是比较相信开源的
你就看这一p 的ai 对吧
你就能够看出来
一开觉觉得只opopen en en thropic google 能做
但其实那个当deep seek k 波的minminp max x kmi 对吧
嗯
都做的很不错
嗯
然后从我的角度来讲
我觉得open cloud 最大的竞争对手
嗯
可能是嗯cloud
嗯
Enthropic 的cloud
所以这个有点
嗯
有点戏剧化
因
因为你想他那个open cloud
它本来名字叫cloud t 吧
是
是为了对那个anthroropic 的cloud
呃 原因才
才起这个名字
后来被迫改名啊
但现在比较戏剧化的话
我觉得 呃
Cloud 或者cloud oud
就是这
这一堆cloud
Cloud 这一堆的产品
我觉得可能是相当于是未来的一个新的
不管你说是操作系统也好
或者说是未来的office 也好
反正就未来的系统
那
那个open 会成为为一个开源的未来的系统啊
会有不同的厂商
包括
包括我在内
包括一些啊
那个cloueco 里面会有大量的啊
会有一些啊
非开源的
嗯
一些产品出来
就是如果你是对这个eco system 有敬重的话
其实你应该愿意去投入
这是为什么这这几天跟peter 有互动
说我们要招一批人来帮助那个open cloud 的安全
因为open cloud 果的安全做好了
对我们是非常有利
所以说我觉得开源是肯定是有很大软成立的
未来那opopen en clow 其实已经是给我们看看到了另外一个看就是过去是linux 跟windows 在竞争
或者说linux 跟微软在竞争
今天可能是open cloud
Peter and prop 模型
对
闭源的不只是模型
大家模型下面可能用的是同一个模型
但是模型上面你把模型可看成是hardware 当年的的intel 的话
那
那他们做的是
是 是微软
或者微软上面的那
那个office
嗯嗯 对 我也是
今年在gtc 上最大的感受就是整个开源才让现在的生态
然后让lvidia 不用再去pitch ai
它是一个成立的东西
其实也就是这几个月
像去年前年
英伟达老黄在台上不断的要peh ai 是有ry 的ai
它并不是说是我们只是几个闭源的公司
他们这样的一个市值
但是有了open
有了这些开源源功模型之后
觉得开源的ca 镇产品之后
然后大家知道token 在狂少
然后所有的人都用上了a 镇
我觉得开源的功劳其实是这个功不可没的
嗯嗯
好了
那我们今天就到这里了
谢谢george
谢谢郝宇老师
对 呃 谢谢大家
谢谢george
那个
我相信这是我参与的科
科技早知道第一期关于open cloud 节目
但我相信这
这肯定是今年未来很多期的其中一期
非常期待
是的是的 嗯
如果有听众想要去贡献这个open cloud 的话么
这个联系到呢
就 啊
我其实发了一个
对
发了一个推啊
就社区哈维徐
就是这
这两天跟
跟geororpeter 有互动
大家可以直接跟我联系啊
当然了
大家也可以关注我的小红书硅谷徐老师
然后跟我联系
好的 欢
欢迎大家在x
George 就是给我们那个多题反馈和一些feedback
好的好的
没问题 好的 好
那谢谢george 啊
拜拜
今天的科技早知道就到这里了
听完之后
如果你有任何的想法
欢迎在评论区和我们交流
如果有任何想听的话题
也请告诉我们
如果你喜欢我们的节目
请记得分享给更多的朋友
那我们下期再见
下期再见