00:00/00:00
外链地址
http://www.eemp3.com/audiofile/0fcef9de33e7a4583ef061dc393ee5e0.mp3
点击复制
本字幕由TME AI技术生成
用声音碰撞世界
生动活泼
与全球创新第一时间同步
这里是科技早知道deep tach 深科技系列
我是雅贤
欢迎跟我一起探索最新最前沿的硬核科技
那就在一个多月前
黄元勋在computer x 二零二六发布了英伟达的rtx spark
那这是第一个面向消费级pc 的ai 超算芯片
嗯
This is the rtx spark laptop
This agent could run twenty four seven
那它有一个pada flock 的ai 算力
一百二十八gb 的统一内存
那可以在本地跑一百二十b 甚至到两百b 参数的大模型
所以如果用一句话来形容的话呢
就是把英伟达的一座小型ai 超算中心塞到了一台笔记本电脑里
那几乎也在同一时间
苹果呢
在m 五系列上也是把端侧的ai 加速到了一个前所未有的程度
以后我们每个人都会拥有一个端侧的ai 助理
其实已经成为了大家的共识
This is the first completely reengineer reinvented one of pcs
That is happened in forty years
但是怎么样能够让这个助理既记住我们是谁
又能记住我们最近三年甚至是五年做过一些什么
说过一些什么
是一个很大的难题
毕竟如果助理没有记忆的话
再聪明也没有办法解决问题
那所以呢
我们今天就请到了嘉宾
康宏文
Henry
他是cliptal ai 的创始人兼ceo
也是一位连续创业者
那他现在在做的呢
是一个在端侧运行的多模态ai 产品
能够读懂你所有的音视频
图片还有文档
更重要的是呢
他希望能够让端侧的ai 助手拥有记忆
更好的理解和服务每一个用户
所以呢
我们今天想跟他聊一聊他如何理解端侧ai 在未来的机会
那更重要的是如何解决ai agent 的记忆问题
大家好
我叫康宏文
Henry 呃
是做crip to ai
呃
Founder 和ceo
嗯
英伟达他们发布了那个rts spark
我觉得当时还是引起了一阵轰动的啊
就是很多媒体都报道
我不知道你看到这个新闻的时候是一个什么样的反应
然后你怎么理解这件事情
呃
我觉得是一个非常兴奋的一个时现吧
现在的这一代可能很多人都没有听过一个概念叫main frame
嗯嗯
就大型机对不对
大型机时代对吧
其实
呃
我们现在所用的这个电脑
在我们现在所知道的pc 个人电脑之前
其实是main frame
然后在mainfronme 时代
其实是需要我们每个人去通过远程终端去访问main fme 的这个算力
然后而且可能还需要不一定你任何时候都能用啊
还得叫分时复用这样的这样的这个出现
但是后来pc 的这个出现就是我我们现在消费者每一个个人拥有了很强的这个算力的pc
我认为其实像spark 其实是一个对于ai 的这个时代来说
其实就像是一个
呃
Pc 时代的那个intel 的这个出现就带来了整个ai 的平权
让更多的ai 可以为个人服务啊
变成个人的ai
变成个人的这个真正的个人助理
所以我认为它其实是一个标志性事件是
是在这儿啊
而且从它技术的规格来说
其实主要突破了两个方面
一个是算力
嗯
可以跑这个更大的这个模型啊
那能够做更强的推力
同时的话
它的这个
呃 内存
所以它内存大可以跑更可以容纳更多参数量的这个模型
所以它的呃
智力的这个能力也会更强啊
所以我觉得对于呃化aa 的这个时代代说
我认为呃
Spark 的意义其实在这儿啊
所以我们作为我们做做这个事情
我们看到就是非常兴奋
嗯 哎
那你说大型机相当于什么
现在型机相当于open ai 啊
所以就是一个每个人的去访问问一一个集中的云上的这么一个ai 的事
那你觉得你现在怎么样看说这个端侧的ai
比如说像spark
它以后像我们这种就aipc 吧
然后还有就是像大模型公司
他们两个关分系是什么样子呢
呃
其实整个互联网诞生
它其实呃
中间也出现了很多次的这个迭代
到后面其实我们就看到整个互联网开始呃
呈现层级化对吧
上面的服务也开始逐渐啊
有各个生态位
有各个不同的这个角色
所以在这里面我们去看的话
未来其实ai 的这个时代其实就类似像互联网一样
那么它在这里面不同的角色
它会呃承担不同的这个呃职能啊
所以其实从大模型来看的话
其实现在我们万亿的这个参数量
那万亿的参数量是无数的这个gpu 的这个算力资源去训练出来的
行业黑化来说的话
就是大模型的万亿参数量其实是呃
对整个世界的公域知识的一个呃
Mle 就是maximum litwude estimation 最大的实然估计
最大公约数
它其实是一个
是的
它其实最大公约数
所以它本质上像obi 这样的这些大模型它应该承担的职责
其实对于社会资源最大化利用的它的一个本质的职责
它应该去存储世界的知识
就我们人的共识
共识这些知识是对于消耗了那么多gpu 资源的最大化的这个回报啊
所以这是他应该具备的生态位
所以我觉得这是一个第一性原理
那么换过来说
它不适合做什么
就是我们认为它
我们认合用这么多的参数员和这么大的模型去做成个人的那个知识
反过来
所以也就意味着在生态里面其实是缺一个player
缺一个玩家
缺一个这个能力的提供方去记录和这么存储个人的知识和个人的记忆啊
所以这也回到就为什么我们认为啊
我们要去做cllito 的这个初衷
那我把我个人的知识都上传到云上
嗯
云上不也有我的
也有我个人的记忆了吗
哎
这是很有意思的一个现象
当我们去看我们的用户的时候
嗯 呃
其实我们发现人的天然的倾向是把那些不重要的东西放到网上
真正对我珍贵的宝贵的东西
我反而会放在我个人私密的或者是个人的那个呃
控制的地方
对
如果你说到这种涉及隐私问题的话
确实是这样的哈
可能有一些我private 那种东西我不想让别人知道的
或者说我觉得我介意也许会有这个安全问题存在的
我可能确实是不会
不太会把它都放到网上去
对对对
而且另外还有就是它
呃
真的放到网上去
它有很多的门槛和那个
呃
其实用户需要去越过非常多的门槛和壁垒对吧
那我要去考虑我是不是有网络
然后我要去考虑啊
甚至某些场景下
那个某些服务是不是能访问对吧
以及有多少存储的成本
有多少这个token 算力消耗的成本啊
所以其实当一个用户要把他的所有的精力所有的记忆交给一个呃
开放的网络的时候
他其实需要越过很多的门槛去决策
嗯啊
所以这是其实是在现实里面其实是挺难的
呃
所以你其实在做的这件事情
第一
你是觉得
呃
现在这个算力或者说是硬件已经达到了我们可以在端测
但是还实是一个ai 助理或者是ai 助手的这么一个程度了
第二
你觉得这个助手其实还是缺个程个
呃
就是在大家可能不倾向于把所有的数记忆或者自己所有的资料上传上上云端的时候
他其实是需要一个来帮助你记忆的这么一个环节的
对对吧 对对
其实是有一些这个用户他有很明确的选择我要去做这件事情
但是还有很多是潜意识的
呃
包括那我这些数据要上传
其实他就像刚才说
他本身就是要经过很多的增长
心里的这个增长
但是反过来
如果你的运算
你的这个算力
你的服务已经跟他的数据天然在一起
他其实就不需要去再做这些选择
所以这就变成了潜意识的一个行为
所以他不需要明确去选择我要怎么怎么去做
所以其实这个对于用户行为来说也是一个
呃
完全不同的这个分水岭
嗯
就是比如说我就没有没有必要做额外的一步操作
对
我不用操作
对 不用去
我如果上传去云
我要
要想一想 要
要先 先要拖
拖一下 其
我还要想这个云空间
我可能还要多付钱
对对对对
其实他会带来整个用户所有用户行为的变化
嗯 对
所以这就是为什么他如果要去构建他的个人的
呃 知识
个人的memory
以及最终去为他去做个人的ai 的这个服务
那么在端上其实是那对我加的符合第一性原理
嗯 对
然后其实你一直在强调
就是说你们现在在做这个事情叫memory layer 嘛
对吧
我觉得可能可以分成两层来讲啊
就是说 呃
可能先介绍介绍一下clipal 这个产品
当然我刚才大大概说了一下
但是我觉得可能大家还没有一个特别好的这个认知
这是第一
第二
我特特别想听一听你说一下
就是说 呃
现在大家都在build up 这个关于memory 的这件事情啊
包括其实大模型厂商他们也说我们要这个增加自己的上下文窗口
其实这个也是一种优化记忆的措施
对
所以你能不能先说一下cliptal 在做一件什么样的事情
然后大家现在都为build up 这个记忆层做了一些什么努力
是就为什么大家都在都在往里面冲对吧
因为确实ai 时代就像互联网早期
就像西部大开发的时候
所以在这里面当然选对方向肯定很重要对吧
那但是同样就大家也要快速的进去
去圈地
去那个占领它的这个生态位嘛
那所以说回到那
呃
Clippto 是什么clipal 呢
那么我们是一个运行在用户客户端啊
他的呃
本地pc 为主
在本地完全百分百本地运行
然后呢 呃
一个应用
那在这个应用里面
用户可以把他的啊
那个硬盘的访问授权
可以把它的外接硬盘呀
甚至是呃
网盘这些数据的访问授权给到clip tal
Clip tal 就会底层有啊十个模型啊
包括呃
音频的
视频的
还有一些经典的cv 的啊
人脸啊
Ocr 各种这些模型去进行啊分析
去进行理解
然后把它变成结构化的知识单元
然后呢
在这个知识单元的上层再去构建它整个我们叫时空对齐的一个啊
知识记忆系统啊
那有了这个记忆系统之后
我们就 呃
用户可以在criptal 里面去随时去访问他的记忆
包括提供比如说首先经典的一个查找啊
比如说今天我们做了访谈
那三年后
那我
我要回头去看
哎
我三年前跟小贤在
呃
Cliptal 我们聊到一些对未来的预判
当时的观点是什么对吧
首先记忆的查找是一个普遍存在的这个需求
就是你的输入可以是多模态
但是你的查找可以是文本
可以是文本
可以是云
对对
它可以用各种方式去查找
包括首先能够查找和回溯记忆
然后在查找之外的话
还可以在已有的记忆上去做二次的一些生成
做二次的一些加工
包括比如说那我们比如今天大家达成的一致的共识是什么
对未来的预测会是什么啊
甚至是你把我之前的一一部分记忆作为我们这次跟agent 那个对话的上下文或者对话对话的一些背景知识给引入进来
所以它也可以这样去使用你的memory
然后甚至是一些在啊硬件上面也可以去那个访问和那个呃
协同啊
所以这是我们对整个这个capital memory 的这样的一个定义啊
当然我们从产品上面的话
我们 呃
主是主要是我们的pc 端啊
啊
麦克和windows 的本地端
那除了pc 端之外
我们还有web 端
有云端
然后也有手机端啊
其实是各端他协同去完整的去维维护和维持这个用户的一个的一个记忆啊
它端云协同的部分在哪里啊
就是我知道刚才你其实形容了
在端侧有很多的功能嘛
可以查找搜索
包括你本地的一些硬盘的这些都可以对
但是如果你如果要跟云协同的话
他这个协同的
呃
首先就是这个记忆的一些协作和分享
因为我们面向的很多是这个职场人士嘛
那我们在工作场景里面
我们可能会需要去跟同事因为我的一部分记忆或者一部分知识分享给他对吧
那这个就需要跨云去做这个协同啊
以及跟云端的啊
一些算力的协同
因为不是每一个用户他本地端的算力都是非常非常充足的对吧
甚至是有一些机型它可能本地连这个独立的显卡都没有啊
啊
独立的这个ai 算力
所以在这种时候
我们其实会用我们的这个端云混合的这个呃
算力架构去帮助用户去构建它的这个memory
嗯啊
但这是一个就是一个非常完整的一个体系了
那其实是不是相当于是对你本地的pc 也好
手机也好
对它内存要求就会非常大啊
好问题 对啊
就是肯定就是你的算力越强
肯定智力越强
与此同时
其实我们做了非常非常多的工作去兼容各种不同的这个设备
嗯
说到这点呢
其实也有很多
因为很多人天然会想
Ok 好
你们是做端侧的多模态
那我是不是下一个欧拉玛
然后扔一个模型进去
对
欧拉马相当于是一个开源的你可以在本地构建模型的这么一个工作
对对对吧
但是这里面其实
嗯
就是严重低估了你去构建一个memory 系统
它所呃需要去就是你会面对的这些挑战
嗯 啊 那个
包括其实刚才说到的
其实算力是一部分
因为很这是很多做
呃
现在做ai 的开发的呃
同事可能一开始包括我们自己完全没有预估到的
就是我们习惯了在云上去开发
那么云上你去跑一个模型
你可以几乎可以假设云上的一一整台服务器完全是你一个模型独占的
嗯啊
你对云上的算力的这个它的可靠性和可
呃
鲁邦性是呃
你几乎就就
就完全那个天然天然信赖了
但是在端上
你会面对一个非常复杂的非常异构的这样的一个生态
就是每台机器的配置都不一样
嗯啊
然后有高配有低配
同时这台设备不是你独占啊
它是一个多应用多任务的协同的一个系统
对
你有可能在做你这个项目的时候
你可能在同时在我可能看我在这看视频频
看个视频啊对吧
我可能开个ppt
Powpoint point 啊
对 对吧
所以你要比非常的对于算力资源和用户的体验非常敏感
所以你需要去及时的去智能的去抵去侦测这个用户当前所处的这个环境
它的这个算力资源
可调配的资源怎么样啊
甚至是你的这个应用是不是当前用户的前台应用
嗯
还是说用户有其他的应用是在前台啊
在往上才是到你可以去优化模型的这个阶段啊
那么我们需要去做的就是针对不同的这些算力结果
我们需要智能的去侦测当前设备的资源情况
而且要实时的去调度你的所有的模型啊
所有的这些任务高效的去处理
同时又还要去
呃
非常对用户的这个体验尊重和保障
上次我体验了一下cripical 这个产品
上次也跟你说过
我感觉有点
但是可能不太恰当
我觉得他有点像这个多模态的no book lm 啊
就是你会你都不用扔
对
用短短暂的这个动作
因为他是在端测的
就是 呃
你有所有的素材
然后你可以用文字的形式跟他对话
然后他可以把不管是视频的音频的
然后 呃
比如说我当时问了他一个
就是说包括找找马斯克说的什么
嗯
然后他可能视频素材里头恰好有很多跟马斯克相关的
他
他上过很多播客嘛
然后他就会把出现马斯克视频全都给你抓出来
然后比如说我问马斯克要于space x 说的什么
然后他会总结一一下
就说马
马斯克说的space x 什么什么什么要上市
然后我为什么要跟xai 合并
对对对
就等等等这些内容
对 呃
当然对我当时对我短短暂的体验来讲
就是no book lm
他识别的主要还是文字素材
当然youtube link 里一个
嗯
然后可以把字幕扒下来的
对
但是如果是一些本地的确实存在我这儿很大体量的一个视频素材的话
呃
Cypal 确实是可以实现帮帮我理解的这么一个一个功能
就是因为我们其实要做做的时候是一个非常复杂的系统
所以很多时候当我们去给人介绍的时候
所以很难的话
我们会用一些类比
比如说我们是多模态的这个cricriitnotebook
Lm 对吧
那当然对于其他的一部分用户
可能比如说对于创作者
最是经常做这个视频
视频创作的这些用户
我们会说啊
我们就像是这个
呃
Google photos
那但是是对为你本地的这个这些素材服务的这个google photos
嗯对嗯对
然后对
就是来到
来到刚才那个问题
就是现在大家对于这个模型的记忆这些事情都做了一些什么
我比如说我觉得可能比如说在一年前或者一年多前
大家会讲的是context engineering 啊
比如说我怎么样能让在模型里头塞进去尽可能多的上下文
对
我不知道还有一些什么其他的这个优化记忆的手开
我觉得很有意思的是
大家开始都开始意识到这个memory 的这个重要性了
我觉得首先这是第一
我觉得是让我们非常觉得很很很很兴奋的一点
就大家开始意识到这个事儿那
呃 同时的话
我们也看到其实有很多的实现路径对吧
像context
像这个rag 啊
包括最近有很多的在
嗯
模型层啊自身去做
比如说通过laora 啊
通过这些方式去自身去优化
然后把用户的一些
呃
个性化用户的一些数据去啊
把它 呃
训练encode 层这个模型的这个参数啊
让模型具备一定的这个个人化的对用户的这这个理解吧
所以这里面呢
我们都看到一个核心的一个组的一个趋势就是大家都开始意识到模型本身的智力是不够的
用户更需要有个性化
用户更需要带上它的这这种知识和记忆模型本身的智力不够是什么意思
哦
不是说智力不够
是就单有智力是不够的啊
单有智力是不够
就像我们一直说的
就是一个聪明的天才
没有记忆
他也只是一个一个失意的一个
一个聪明人单单靠智力是不够去那个服务用户的
对
我觉得很有意思就是
就或者说我们的很窃喜就是我们看到的呃
整个现在已有的呃
实现
没有一个能够呃
跟我们去那个同场竞技的
比如说现在大部分的memory
大家在做的memory 其实还是呃
在已有的大模型的基座上去贴层壳
套 套一层
比如说tetex dow w 吧吧
你context window 你能够提供多大
你能够提供一个一个terribites 的数据嘛
对吧
你不可想象就是
所以
所以context window 的问题是
也许你跟他说的最近这几个月说的还对吧
但是更多的是真正意义上的
不是真正意义上的memory
这是第一
第二就是包括像一些像laora 啊
各种这些实现方式
那么他从一个是他能够提供的记忆有限
这是
这是一个都还
这都还不是最最最致命的问题
第二个它真正意义上fundamentally 就是本质上最大的问题还是它没有脱离大模型mle 的
嗯 本质框架
所以说
他能够提供的记忆是什么
是他能提供的记忆是
哦
Henry 是四川人
然后他喜欢吃辣
他喜欢旅行
而且甚至这个喜欢他是一个概率
他百分之九十点零五四的概率喜欢
所以他是本质上还是没有脱离mle 的整个这个大的这个框架
所以他没有办法去精准的pinpoint 到我三年前采访一乐mask
然后当时在哪天哪个下午几点钟
我们在那个会谈里面说到了啊
哪一个话题这种啊
事
事实记忆其实他不适合用现有的这些memory 的框架来去提供
更不用说我们几乎每个人现在我们面面临的个人数据都是在tb 量级
甚至是对于一些专业的一些工作者或者是创作者
他们的量量是是百bb 量级啊
这样的数据它我们不可想象这些数据能够fating 到一个context window
能够
能够用一个laora 去完整的去那个捕获
嗯 对吧
所以这是我们看到其实本质上大家都还没有跳出大模型的它的本质的这个呃
原生的框架去提供记忆
而像pito 这样能够完整的去把一个人的整个甚至一生的记忆全部无损的capture 保留下来的
整个市场我们现在没有看到任何的第二家
我觉得我真的需要把我一生的记忆都就
就比如说我
首先我不是一个创作者
那我我我
我会觉得好像就是用智能手机
比如说拍视频或拍照片
而像也就是最近可能十年的事情
然后你像我们父母那一代可能甚至没有这些东西
但是我就是我真的需要
我真的需要这个这么大的一个技术这个问题
技术在进步
对
那你现在还能离开智能手机对吧
嗯 就是
其实有
有用户
就是说我有过去五年我们公司内部的各种
呃
记录的音频视频
我想把它全部放到clip one 里面来去那个留存
把它变成啊
记忆可二次复用啊
所以其实技术的进步
大家啊
其实是想要有更长久更更多的这个记忆留存的
对
所以其实记忆就可以约等于是我过去的个人所有个人数据约等于
但
但是我们有句话叫
嗯
我们每个人都是data rich
但是memory poor
嗯
就是数据和记忆
但是它是约等于关系
甚至是小于
远远小于或者小于等于memory
你说
你说数据小于memory
对对
就是说光有数据是不行的对吧
就是我们有海量的数据在我们的这个硬盘上
在我们的移动硬盘上
但是这些数据如果他没有被结构化
没有被memory 化or 你几乎是不可二次复用的
就像刚才说到的三年前采访的的那个事情对吧
他裸数据一直在那儿
我明白你说的忆忆是基于对数据的理解以后构建出来的一些精华
是的是的是的
只有是可查找
可复用
那个可执行的这些记忆才叫记忆
否则纯数据是不叫记忆的啊
啊
这是一个比较有趣的点啊
我
我倾向于把记忆理解成我硬盘里头所有的东西
那这就这就是现在大家缺的嘛
就我有很多data
我有很多数据
就是我们每个人都是做在一个矿金矿上面
但是直到这些这些黄金被挖掘
被清洗
被提炼出来
我还是个穷人
对对
当模型
比如说它的参数越做越大的时候
其实他会提供越来越多的这个text x dodow
其实我看到的一个问题是说
其实你在把大量的上下文塞给模型的时候
其实你必然面临压缩你
但是一旦压缩以后
你必然会有东西丢失
你的精确性其实是会降低的
对对对
前前段
首先我也是听了一个博客
也是硅谷那边有一个公司叫england
你刚才其实也有提到嘛
现在一种方法它其实是要把
呃
就是持续学习现在在硅谷也非常热嘛
就是因为你的大模型训好了以后
其实你新的记忆它是没有办法形成的
只能说你可能用户外挂一个自己的可能数据库啊之类
用reglar 方式进行搜索
然后england 上做的事情
其实他们就是在他提炼一些信息
然后重新去做对这个模型进行一个training
然后把这个你的记忆training 到这个模型的参数里头
这样你的这个模型就有了一个新的对
你的模型就自带一个记
但是
但是人家肯定有很多更深的一些技术的一些突破和那个贡献了
但是从我们至少我们能看到的所有的技术分析和那个报道来看
他还是没有跳出最大公应数的最底层的这个技术路线
嗯啊
所以还是会面面临这个问题
就它本质上并不是真正意义上的一个个人的一个
呃
常识的这的记忆
所以常识就是整个生命周期的这样的一个记忆
本质它还只是一个让模型具备一定的个性化
在ai 时代之前啊
呃
也有一些公司可能想要做什么第二大脑
比如说像有一个笔记工具叫ever note
对对对
其实我以前也用过
我觉得还是挺好用的
但是他们当时也是想我们想要打造
就当我们有了用户所有的数据所有的笔记以后
都想要打造一个第二大脑
但是后来其实他们也就就是一个笔记工具
对对对对对
你
你觉得他们有什么没有做对
为什么他们没成功
我觉得做对他确有很少的路径
失败可以有很多路径
所以说他为什么失败
我觉得这个有很多很多很多很多原因吧
我觉得就里面几个
我们认为几个生命周显的就是
第一
当然肯定是多模态对吧
那在那个
在那个时代
其实是ai 的能力对吧
Ai 的能力和算力其实是不足以去支撑啊所有的这些多模态呀这些分析
所以它基本还是停留在以文本为主的这种形态嘛
嗯
第二就是还是像我们刚才说的
那你如果真的要做成一个个人的记忆系统
那我是需要把我的所有的记忆所有的数据能够无没有任何门槛对吧
无脑的全部放进来的
在那个时候你有aibi 是一个问题
第二算力对吧
你天然的就会遇到
那你如果导进来
肯定应该是在端上做对吧
所以其实在那个生态下
Ai 模型的能力也不够
然后你要去做
那天然的你要在端上去做
他的这个算力几乎是为零的
其实你说到做memory layer 啊
就是
呃
你像clipal 肯定也不是唯一提出的
呃 其实 呃
美国有一家公司叫mem 零
叫mem zero memory
Memzero 对
他们其实也
他们最近也是融资了两千四百万吧
他们其实也是在做一个类似于memory layer 的东西
对对
是yc 的公司
对对对对
他们是yc 孵化的一个公司啊
对
我不知道你
你们
就是你怎么看待这家公司
然后你们的区别是啊
哎
我觉得很有意思
因为我们也很密切的在去关注整个生态的各种这些发展吧
当然 呃
从memory 零
Memory zero 他们的这个呃
产品来说
他们还是更多的是在云上嘛
我更多的是给这些依赖大模型服务的这些公司去提供这个
呃
Memory 的这个能力和服务吧
我觉得从整个大的方向来说
我觉得第一是很有意思
我们觉得很有意思的是他印证了我们的对未来的判断和价值观和世界观
我觉得这个是印证了
但另外一方面的话
My mem 零其实相当于做了我们可能十分之一的工作
他只是做了做了云上的这个服务的这个能力嘛
啊
所以其实从整个技术复杂度和它能够去服务的这个市场来说
我觉得可能十分之一我们的这个能力嘛
哎
你觉得如果要在云上做memory layer 和在端侧做memory layer
这两个是同一个这个困难度的事情是完全不是
嗯
就是一样的
就是云上的可以依赖所有云已经具备的这些那个呃技术架构和生态啊
那就刚才说的所有那些端上的的挑战
他都没有没有去那个碰过啊
比如说云上他已经有
比如说英伟达
大家都用的是英伟达的卡
然后都用的是这个宽带
对对对对
都用
他就用aws
用的是对对吧
这些就做就ok 了呀
嗯嗯
对啊
所以不过这个也证实了
相当于是做memory layer 是一个大家都认可的很重要的东西
所以我们看到越来越多呃生态大家意识到这个记忆memory 的这个重要性
对
然后其实我之前也跟你说到
我觉得这个关于记忆这件事
你比如说拿人的记忆来讲啊
对
其实也不是什么东西都记得
对
比如说也许记得我爸的手机号能记得很清楚
但是我上个星期做的酒店的门牌号我已经忘了
这件事情对你构建这个memory layer 来说会有做一些什么样
我觉得会有一些启发
在于我们去为用户提供服务的时候对吧
那么我们可能会有一些hot memory
就是热的记忆区
有一些冷记忆区
就跟存储大概大家是一个一个一个逻辑
就是离得越近的可能就就找起来越快
远一点的可能就搬运起来慢一点
对对
可能会有这样的一些那个
呃 启发吧
但是另外一个方面就是我们对技术的预期
不是一直都在期望他突破我们的这个生物极限嘛
嗯
如果我真能够记住我上个星期上个月住的那个酒店的这个门牌号
甚至能够记住哦
我在哪个地方掉落了我的
呃 耳塞
你不想要吗
你觉得这种选择性的记忆其实是由于生物的生物进化不得让我们不得不这么选择
因为我们就这么多能量
只能选择记这些东西啊
但是如果都能记住是最好的是呀
对吧
我们肯定导入啊
对吧 就是 呃
但是从最后我们系统设计的角度来说
会去参考一些仿生学对吧
去用这样的符合我们人的天然的这个需求的方式去优化我们的系统啊
但是与此同时
我们还是可以去更强的去增强我们的系统
增强我们的记忆
如果现在想要打造一个你现在说的这个memory layer 的话
需要做一些什么样的事情
呃
我们对memory layer 的构想大概有这么几层吧
就是首先它需要有啊
数据的导入
这个数据导入它应该几乎是无感的
比如说我们会啊
跟他的所有的数据做整合
不只是本地的
还有云端的已有的
甚至是
甚至是跟那个智能设备做整合对吧
跟眼镜做整合去
去结合
把所有的任何在产生数据的数据源全部都对接入这些数据进来之后
它就需要去对这些数据去进行理解
然后去把中间的这样的一些原子化的这个信息给提炼出来
以及在上层基于这个原子化信息去构建它的一个这个
呃 知识
知识体系啊
知识体系让这是
这是知识层对吧
下面是模型层
上面是知识层
然后有了知识层之后
那再上层就是我们叫agent 层
就是它的最后所有的这些知识可能会以一个agent 的方式来去那个跟用户去交互
为用户去提供这个服务
除了这个agent 之外
那么当我们需要跟别的agent 或跟别的这个那个同事朋友去共享我的memory 的时候
那么我们可能还会利用比如说mcp 啊
利用其他的api 啊这样的一些方式把我的这个记忆去跟生态去做连接
对
我还是拿刚才那个no book lm 那个产品来举例啊
就是你们除了把这个理解扩展到多模态以外
还有什么其他的吗
我现在就我还是很难跳出说它是一个多模态的no book lm 的这么一个这么一个想法啊
嗯
呃 当然
Notebook alm 其实是一个很好的一个对标吧
它其实也做了data injection 对吧
数据导入
当然除这之外
首先几个大的改变
一个就是多模态对吧
这个可厚非
其实是本身就是一个非常非常复杂的一个问题
以及多模态之外
你要把所有的这个nonotebook alm 所依赖的整te 侧
我们还只是
当然只是画约等号啊
把云的整套的这个架构全部搬到端侧对吧
搬到端侧
然后以及在端侧那个去构建它的整个知识的这个架构
其实我认为bnotebook alm 它是可以那个呃
帮你去做一些分析
但是它其实在于整个它的定位
并还不是一个构建整个人的记忆这样的一个定位
其实notebook alm 它的
呃
我们看到它比较适合的应用场景可能是一些做一些调研
对
做一些project 对吧
他都还不是没有去把它串联起来
构成一整个他的这个个人memory 这样的一个个一系系统
因为天然的local game 他就是在云上
所以他如果要往去往个人记忆去做
那么必然会遇到更端要要往端侧去去落的这样的一个
呃
一个壁垒啊
所以这也是我们认为他们在选择上更多的其实是在做一些v research 的一些助理这样的一种场景去做的这个本质的一些原因吧
啊
所以其实从产品形态和从技术上面来说
其实如果我们不得不去类比notebook mm
那么大概是这些差异
实际上当你要去真的去定义一个个人memory 的时候
那其实你要做的东西远远多于就是刚才说的那些事情
假如说我们已现在已经有了这个个人memory
你觉得我们可以用来干什么
呃
首先第一是那个查找
查找肯定是一个当你有了memory 之后
第一件频繁刚需去做的肯定是查找
然后在检索上面
那天然的我要去做这个合成
做生成
我要去做了一个
我不想再去看一个那两个小时的这个视频
那我想你直接给我一个
呃
那个总结和摘要
甚至是我的这个
呃
Memory 未来跟我的所有的ai 的场景天然的存在
比如说我未来跟chach bd 聊的时候
我未来跟cloud 聊的时候
我的memory 都会作为一个第三agent
嗯 存在 会参与
比如说我们现在在这这讨论
可能我的addition 就在旁边会告诉我说
哎
这个事情你其实可以基于之前的这个那个信息
你可以再补充一补充一点
他其实是一个个人的那个增强
哎
我忽然觉得这个这个点有点打到我
比如说像我们交
因为我平常可能做采访也比较多嘛
然后其实有一些点是会相互印证的
对啊
但是我可能会忽然觉得
哎 这个东西
我隐约觉得好像谁谁谁也对这个观点发表
哦
对这个事情发表过什么观点
但是就想不起来了
对对对
就是你的一个会记忆增强嘛
嗯嗯 对
然后你刚才也提到嘛
就是说其实如果跟其他产品相比的话
你可能要面临着把这个产品从云上它能实执行这么多功能
然后搬到端侧嘛
比如说你之前也说
比如说云仓
其实在云上的分工他们其实是相对比较清晰的嘛
比如说英伟达提供芯片
然后open ai 提供模型
然后可能会有一些做产品的厂商
但是在端侧其实这是相对比较碎片化的
所以我不知道当你想要把这个这种在云上已经相对比较成熟的产品搬到端侧的时候
会面临一些什么样的挑战
但对
这就是我觉得我们走了非常多的弯路和趟了非常多的坑
嗯
我们单模型迭代了三百多版
嗯 三百多版 对
嗯
都是什么模型
呃 呃 Vrm 啊
Lm 啊这些那个模型嘛
那我们有时候我说我们自己是一个非常不情愿的大模型玩家
嗯
就是我们其实从第一天
从呃
二三年我们从腾讯出来
然后我们第一天开始去做cripal 的时候
我们其实是很不情愿去做模型的这个事儿
就包括模型的
嗯 就优化
优化后训练
甚至是预训练
我们其实很不情愿去做这个事情
因为我们认为那其实不是一个很好的生意
所以
所以我们第一天
我们第一天的路径其实是想
我们想把云上已有的这些这种那个生态在端上也去找到
包括用端上的一些啊
模型的能力啊啊
甚至我们第一天这个错误的相信的苹果
我们用siri 的这个ai 的api 对吧
这确实是个坑
坑
是个巨大的坑
后来我们就就发现
就是我们带着呃
云上之前的一些思维框架去看端的时候
其实完全不work
但这就是一个庆幸的一个发现嘛
那云上现在其实已经非常的呃
层级化对吧
非常的这个有一个非常好的一个那个生态
做运算的就是做运算
做这个算力的就是做调度的就是做调度
然后呃
模型呢
就是做模型的
然后呃
Cdn 的
就是说cdn 的整个云上生态已经非常健全非常成熟
甚至有时候是非常固化了
但是当你带着云上这个视角看端上的时候
所有事情就我改变了
没有任何一个已有的呃架构你可以去完整的去依赖
特别是
当然我们特别是讲的是ai 啊
啊
特别讲ai 啊
端上的ai 的这个生态
你基本上我们就得从最底层的芯片级的优化开始往上做啊
芯片的算子的优化
然后再到上面的这个算力的这个调度啊
然后再到上面的模型的这个优化啊
以及再到后面整个agent 它的这个搭化
基本在端上我们发现你就我们被迫不得不去做垂直整合
但好处是那通过这个过程
我们就是把所有的这些呃
结构全部打通了
然后基本上刚才说到的这些层面我们全部都实现完整的资研
那与此同时呢
那我们的技术壁垒也就越来越深了
这个你像比如说像硬件这种底层的优化
嗯
这个应该非常困难嘛
因为是这样的
我为什么问这个问题啊
因为我之前那个呃跟
呃
联发的他们
是他们
因为他们做那个天玑芯片其实是跟国产的这个手机厂商联合开发的嘛
因为现在国产的手机他们其实显也想要做这个端侧的ai
想要发挥他们这个手机端这个超级入口的这个优势嘛
其实他们也提到
就是说如果你想要把云云上的ai 搬到端侧
其实你从芯片设计本身你就可能需要提前两年预想到
比如说你刚才提到说
比如说我可能要多任务运行
我可能要这个
呃 不是串行
是并行了很多任务
我有一个是主任务
那可能后面在后台还要运行
这些东西其实在芯片早期设计的时候甚至都要考虑在内的
是 对
所以我其实我的问题就是说
你们在优化这各层级的时候
尤其是比如说你在底层硬件优化的时候
这个是不是也有很大的挑战
是啊 因为
因为很多模型它其实是
呃
为那个英伟达芯片推理去设计的嘛
对吧
那所以当你要迁移到苹果上的时候
那单纯迁移可能没那么难
但是你真的要去榨干它的所有的算力
所有的这个能力的时候
对你不停的去优化就会发现
你可能不得不去深入到芯片级
算子级去做这些优化啊
当然
如果有做芯片的同行如果想那个合作
我们 我们
当然我们肯定很欢迎说能够更更深度的去跟芯片厂商一起去那个打磨啊
所以其实这个也是引申出来
我感觉做垂直整合
我觉得哈
在我看来可能是应该是一个os 厂商来做的
比如说你就说苹果啊
他从底层的硬件就是自己的
然后包括他的os
包括他的应用什么的
他其实是一个自己就可以形成闭环
对
那如果他们自己做了呢
比如说你像以后siri
当然现在siri 还较傻傻
那可能以后他可以说siri 帮我找找我跟谁谁谁在什么什么的视频做了什么
我觉得他们做这件事情顺理成章呀
呃
顺理成章就是
就是有几个方面啊
就是
第一就是你说做垂直整合这个事儿是
呃 很os 的事
确实是这样
就是
呃
其实我们希望是
呃 苹果啊
微软他们把这个事儿做好了啊
当然未来
我希
我认为未来也会越来越成熟对吧
未来也会越来越成熟
只是你作为西部大开发的第一
前面的这些人
你自己不做
那没有人会帮你把路铺好对吧
未来他一定会有高铁
但是现在你只有马车
难道你就不淘金了吗
对吧
所以现有的情况下
你就得在现代的这个生态下
自己去给自己去那个铺路嘛
那这是一个
但是第二个
其实说他们会我觉得会不会做
这个我觉得很难阻止人家去做对吧
但是第一他是不是适合做
以及第二他是不是能做好ai
那从我们现在的经验来看
这两个问题应该都
都是不是
哎
这个我有点意外啊
对 他做不好
我觉得这个有点意外
做不好 对 第一
他是不是适合做
就是 呃
因为你要想
你要做一个memory
他呃
需要些什么东西对吧
首 首先
他做肯定是要
他或多或少都会去做啊
那么最后他呈现出来的结果和他的这个
呃 形
形态可能会不一样
嗯嗯
但是你要真正做到一个面向全球
比如说我们面向我们现在针对的全球十亿的呃
知识工作者对吧
职场人士
首先圈定我们的面向的用户是谁对吧
那他为这些全球十亿个那个职场人士去做他的这个记忆系统这个事情啊
首先这个我们认为
呃
比如说苹果啊
这些他其实是不适合去做的对为
嗯
首先每个公司有每个公司的基因
苹果是个硬件设备公司的基因
他都脱离不了他自己最本质的这个根本
那么对他来说
其实他们更应该做的是搭建好这个硬件的生态
搭建好他的michao s 跟我们这样的这个第三方开发者
我们这样的公司来去合作去做做事儿
才能够把事情做好
第二就是
呃
他们也基本做不到
因为要去做这个事儿他得懂硬件ai
懂芯片
懂这个算力
懂这个架构
还得有非常强的模型的原生的开发能力
然后还得把它作为一个独立的一个产品能够运营
能够去
呃
那个推广到每一个用户的手里面
那所有这些ai 加在一起
他就像是一个这个齐迹七星召唤神龙一样
就是他这个非常非常符合的一个事情
这样的事情其实反而在大公司几乎是非常难以发生的啊
非常难以发生的
而我们其实在现在在各个这个方面
因为我们是有信心
我们是有全球最顶尖的人才
最顶尖的这个团队在去做这件事儿
我们不觉得我们属于任何一个大厂他们里面的团队来去做这个事儿
我们十一个用户对吧
他有的人用苹果
有的人用windows 对吧
有的人用安卓
那苹果会去做安卓嘛
我个这个事儿本身就就是非常的值得那个怀疑的
我觉得google 也有很强的自己做记忆的这个
呃 他们 他
他们应该是他们的这个底子也很好
因为
因为其实比如说大家都用gmail
然后大家都会用google workspace
其实天然的就是大家有大已经有大量的数据
我觉得他们也有很强的动机来做
他是有很强的动机啊
但是还是回到那个问题
就是谷我本身他还是一个本质上是一个云公司对吧
他会用各种方法让你去云啊
还是每个公司的基因不一样
我明白你就是其实你们本质上想要做端侧
但是如果他现在做端侧
相对于把它就sacrifice 他们云上的那一部分
他 他
他会阐释自己的那个业务嘛
嗯嗯 对
但是说说回来啊
就是 呃
Memory layer 其实也是挺系统的一个工程对
呃
我觉得其实他可能也需要在方方面面的人才以及方方面面的这个专业知识啊
对
我还是觉得在初创工资这件事情
是不是就是在资源上呀
或者说各个方面可能还是相比于大厂来讲还是相对欠缺的
我们现在去想对吧
呃 谷歌
Matter
包括志杰他们在现在的市场格局和生态下
他们其实都已经是一个生态公司
已经是一个平台公司了
但是在他诞生第一天
他们都是一个应用公司
都是一一个产品公司对吧
Matter 是facebook
然后这个谷歌是google
搜索甚至都还不是我们看的故事是雅虎网站上的一个搜索条
所以当我们去讲这个ymemory 的整个的memory layer 和memory 系统的时候
我们其实是讲未来终局
我们所看我们的理念里面
未来的ai 的终局会是什么样
它会有open ai 这些所代表的云上的这个大模型代表的这个智能智力对吧
通用aji
也有agent 代表的行动力
去做各种的任务的这些执行
但是在这个ai 生态里面
缺不了一个memory layer 一个记忆层
但是那个是一个终局
但回到现在
可能就像现在所有外部视角来看clitom
很多人都会有各种的这个解读或者各种的认知
可能会一开始觉得capital 是一个转录工具
我们第一天在product d ount lunch
我们发的是一个面向
呃
我们只讲了视频创作者的这样的一个一一个方面的故事啊
所以我们能看到未来它有一个非常宏观非常大的这样的一个呃
平台级的这个机会和效应
但是作为创业公司
确实你第一天你资源有限对吧
你的时间有限
那么你其实要给自己去逐渐的那个呃
其设你的这个阶梯和路径去达成那一天
就像未来我们要做的是一辆超跑
但是第一天我们并不是去造一个轮子
第一天我们可能是去做一辆滑板车
嗯 对吧
实现把人从a 到ba 送到b 这样的一个目的
嗯啊
先把这个框架先搭出来
对对就他还是要从一个非常具体的一个呃
人群开始
从一个非常具体的呃
一个抓间目的
所以我们第一天当我们去想
Ok 谁
哪部分用户对memory
或者是大量的这个呃
多模态的memory 有最体的一个
那我们想象就是
Ok
那视频创作者对吧
他有海量的tb 级的这个多模态的音频视频数据啊
然后呢
他们的数据有天然在本地
他们又每天都要去在这些数据上去工作
每天要去查找
那所以我们第一天的其实主打的其实就是这部分人群和这部分场景啊
但是本质上我们是面向所有的那个呃
用户的 嗯对 哎
那当你们有了这个memory
或者很多的这个用户memory 来讲
他们能够反哺到
就是他们能够反哺到你们
就像数据分轮分轮一样
它会有这个效应吗
啊
会啊会啊会啊
对啊 就是呃
因为数据飞轮它其实分成好多面嘛
就是一方面
我们大众我们可能知道的印象里面的数据飞轮可能是呃
用户的数据能够呃在你的呃系统层面去留存
然后来再去做数啊
你的模型啊
你的服务的一些那个反馈和金条对吧
但其实数据飞轮它有很多很多层面
包括即使是据端上
即使是用户数据不出它端的这个情况下
也能够构造数据飞轮啊
比如说我们还是以视频为例对吧
那我可能会或者经常合作的一些人呢
比如说你们才访谈的一些人
那么我们的用户会把这些人他的
呃 那个图片
他的头像和他的声音去做标注
然后给他去命名
命名后他就可以未来就可以直接一一次就搜哎
Yellow mask 了
所有yellow sk 的出现的画面以及他的出声音出现的片段就会被继续出来
那这个数据其实完全在本地完成
就是包括我本地的模型也会越来越越
越用越准
对对 明白
所以当然在这之上他们还有更更更多纬度的这个数据飞轮了
那刚才你说要做一个端侧的这个memory layer 的这个生态系统嘛
那你觉得以后这个生态系统它是会
呃
成为大厂的一个一趴嘛
就是说是还对就
就是说还是说你们是自立门户
你们是自立门户然后自己就为自己了
还是说你会成为大厂的一部分
你把这个路修通了
这路上以后跑的是自己的车呢还是别人的车呢
我们希望我们未来是
呃
首先我们觉得ai 的时代是有机会再做一家这个谷歌歌
做一家memyer 这个野心出来的
我觉得是是有这个机会的
嗯
不然我们为什么要从大厂出来对吧
我觉得就是首先是有这个机会去做
而且从生态的角度来说
你如果看整个生态的终局
我觉得是有这样的一个机会去打造一个这个memory layer
而且它是给全球十亿人
十亿的这个职场人士都能够去使用的这样的一个一个平台
我觉得是有这样的就机会是完全开放的啊
所以你觉得比如说黄世逊不老说什么ai 的五层蛋糕嘛
你认为memory layer 会是其中独立的一层是吗
而不是说成为某模型的某一层
哦 对
我不觉得他会成为某个模型的某一层
对对
他应该是至少是具备这样的一个
呃 潜力
爆发潜力的
你们大概两年多前就开始做
做个相当于是多模态的一个端测
其实在那会儿多模态的模型也不太成熟
然后包括算算现在也就是端测算力也没有
就是像
像在在样已
就是有已经大的月迁嘛
但是其实你们预
预判到对不
不对
因为当是在那个时候
有几个势头我们已经看到了啊
首先在两年前呢
苹果已经在端上的ai 在
呃
已经布局了很长时间
对 因为当早
可能甚至是五
五年前
五前前发布的me 片片其实就已经具备这个
呃
Ai 推力的这个能力了对吧
那所以迭代到二三年
其实端上我们能看到ai 的算力已经是啊
有提升
然后已经在
呃
但这基础的能力在那儿了
那无非是算力进一步的去那个提升嘛
那至于我们自己做做这个在计算机行业已经做了接近二十年嘛
那对吧
这个more s law 大家都还是相信的
所以我们相信算力
Ai 的算力应该也会类似more store 的这个啊
规律去指数级增长嘛
啊
所以算力肯定会增长
第二呢
就是模型
因为我在零四年啊
微软的时候
我们当时就是我在x box 上面用x box 的gpu 去做一些这个算法啊
所以其实对于我们
呃
一直做ai 的我们天然都知道
那我训出来的第一个模型一定是呃
最复杂的
或者是呃
在复杂度最高的
然后需要的
呃
这个算力成本也是最高的
那在后续一定是有办法去优化它
所以两个趋势
一个趋势呢
算力增增加
第二趋势势模型会变小
一定会发生
那两个事情都是必然发生的
那这个就是最终是一个大概率的一个事件了
只是说它是一年两年三年还是五年对吧
那它一定会发生
哎
那如果说到未来的话
你觉得现在你们的这个产品
或者说你构想这种memory layer 现在已经实现了多少了
你觉得什么时候能完全达成你想要的那个
我觉得肯定值得十年这种维度去做的吧
嗯啊
你觉得还有哪些需要突破的地方
呃
还有非常非常多
以终局来看
可能我们做了十分之一的工作
呃
首先我们第一是完整的这套记忆系统完整的搭建起来了
从 呃
最底层的这个芯片算力模型到上层的agent
整套系统我们已经完整的搭建起来了
所以现在来说的话
已经可以完整的去构建这个记忆系统
但是在里面就像我就就说
我比喻说我们它始终是一个螺旋上升嘛
对吧
那在搭建这个整套完整系统里面
其他每一个组件都还有很大的优化的空间
嗯 包括模型
接下来的
那我们肯定模型层面要去做很多的工作
我们虽然我们认为就我们说我们自己是一个
呃
不情愿入局的一个大模型玩家
因为一开始你
你的业务你的数据长什么样你完全不知道对吧
那你去去训练模型你都方向都不知道在哪儿
你模型是现在是自己训
还是说是在就开源模型或者说已有模型基础上进行一些比如说蒸馏呀这样
两者都有
两者都有 对
当然一部分是我们基于开源吧
对
所以整个模型的
呃
整个训练的那个架构和呃
整个流程我们其实已经完整具备了啊
但是除了开源之外
我们也有一部分其实我们
呃
那个自研的很多的这个ai 的这些模型啊
相
相对来说可能小一些模型吧
也是我们几乎就是完全从零开始自研的这些啊
这些模型再往后的话
那肯定目前就是我们对于用户的数据
对用户的场景逐渐清晰了
那到后面我们认为那即使我们要去下场自己做预训练
我觉得也是完全有可能的
哎
我感觉今天也有几几个刷新我的点啊
以前我觉得端侧和云端我并不觉得端测是一个必须的东西
但是我觉得确实这个当我需要做这个把东西传上云端这个决策的时候
确实是有一点门槛的
如果什么都不需要做
然后这个我就又拥拥有一个能够知道我偏好的这个这个ai 助理的话
我绝不会迈出能上传的那一步
对
然后第二呢
我觉得发现其实这个所有的记忆不完全是我的数据对吧
你还是需要对他进行一些组结构化
然后让他来理解你
对 好好
呀呀 我
所以今天非常感谢henry
对
然后也希望就是说
呃
Ai 伴随着这个记忆能够发展的越来越好
不管是现在是短时的
或者说是忠诚的
或者说是长城的
能够能让模型真正的理解我们
然后更好的服务
对对 好了
那我们今天就这样
感谢henry
谢谢
希望今天也是我们所有的记忆
谢谢
今天如果在评论区区我们交流
如果有任何想听的话题
也请告诉我们
如果你喜欢我们的节目
请记得分享给更多的朋友
那我们下期再见
下期再见
跳舞
嗯 哦