00:00/00:00
外链地址
http://www.eemp3.com/audiofile/bd2b4e5d4bddcf950e6e5d24cfe2d87e.mp3
点击复制
本字幕由TME AI技术生成
用声音碰撞世界
生动活泼
就有一种你没有把超节点的那个机柜放在你的展台最核心的位置
你都不好意思来这个展会的感觉
即便是海外这些厂商
像nv 像谷歌
像md
那它的单芯片性能提升其实也是有瓶颈的
国产现在这些超节点不能超过英伟达吗
我们可以从k 米k 三的角度去分析啊
就是因为现在我们大模型的参数都变得很大了
需要这么多国产厂商来供给芯片或者是超节点吗
到了今年年底
甚至说到了明年吧
你还没有从这几家大的互联网厂商拿到一个大的订单的话
那我觉得后面可能就比较难了
那究竟什么算是超节点呢
与全球创新第一时间同步
这里是科技早知道deep tech 深科技系列
我是雅贤
欢迎跟我一起探索最新最前沿的硬核科技
大家好
欢迎大家来到我们今天的科技早知道
我是雅贤
那我上周呢
是去到了世界人工智能大会wic 的现场
那除了上海这个四十度的高温啊
也是被大家对ai 的热情灼烧到了
跟我一起逛展的呢
还有我们节目的老朋友
前芯片行业的从业者
之前跟我们聊过存储芯片那期节目的张海军老师
Hello
海军老师好
嗯 大家好
嗯 救命
那我们一开始呢
可能想先跟大家分享一下我们这次
呃
逛展的一些感受
然后之后呢
会聊一个硬核的话题
然后请海军来跟我们深度的聊一聊他在这次展会上看到的国产ai 算力的变化
尤其是今年非常火爆的超节点
我应该是周日下午去的吧
然后当时去的时候人真的是超级多
这就是比去年的人要多很多
然后第二个呢
就是说今年展示的这些产品啊
相对去年就是无论是从ai 还是服务器还是机器人方面就是有很大的进步
然后第二就是我也看到了很多同类型的产品
所以我感觉这些厂商啊
有很强的风暴的心理
同质化竞争太严重了
第三个是说国产的超节点真的是太多了
就是我之前也很关注这一块嘛
但是没有想到今年有这么多家厂商都推出了自己的超节点方案
就是包括ai 芯片厂商
甚至包括几家我们所谓的oem 厂商
就是他们之前以做服务器为主要业务吧
对
就是我没想到他们也会推出自己的调节点
我
我跟你的感受的一模一样
就是forformal 情绪超级严重
就是任何一个赛道
然后从底层的硬件啊
不管是模型啊
然后像互联网大厂
像阿里腾讯这样的
然后包括机器人
几乎每家都在同样的赛道上一起卷
对
比如说你说这个机器人
我觉得看到今年其实机器人有两个主要趋势啊
一个就是每家都在说自己在做世界模型
但是这个世界模型究竟是什么呢
有些说是我是做机器人训练
有些是我这个数据生成
有一些这个做视频的厂商也说自己在做世界模型
其实你问他们说你们的世界模型是什么
然后那边
呃呃
这乎说不清楚
对
有一个叫中医机器人
我是在西岸的那个馆
今年有三个馆
然后今年这个一下就扩大了很多嘛
然后有三个馆
然后西安那个馆里头有个中医机器人
然后那个机器人呢
你说是一个机器人
其实就是一个机像头
然后前面有个大屏幕
他就是说可以望闻问切嘛
说请张开你的嘴
然后请贴近你的耳朵
然后从何一个赛件可能一米九几的年轻小伙坐在那儿
然后边上围了一堆人看这个中心机器人怎么跟他问我问题
就是大型社死现场你知道吗
就是你张张嘴啊
然后周围的人都瞪着盯着眼睛看你的那个舌头是什么样
对
然后你就看以后你就会觉得
嗯
这个东西真的能算前沿吗
对对对的
然后大模型厂商这边呢
就是在wic 的前几天
一个是那个阶悦
阶悦星辰发布了他们的一个智能旗产品
他那个手机外壳都是封着的
不让你看的
它只有一个在边上的一个投屏嘛
你可以通过那个投屏来看手机屏幕
然后呢
那个我是排了八小时队
真的是排不到啊
最后我就放弃了
还有另外一个呢
就是kimi 嘛
Kimi 之前是发了k 三
所以他那个队伍也排的特别的长
其实他们没有太多展品
但是好像是可以就是扫码领礼品什么的
然后我正好在kimi 那个展台旁边看到一个老外啊
跟他聊了聊
然后他就说kimi 是我这次来会一定要看的一个展商
嗯 行
那我们这个大概聊了聊对展会的感受啊
我们下面就到一个深水区
就聊一聊这个ai 的底层的硬件
那今年其实硬件的厂商不光是在单片的这个芯片上卷算力了
而是开始关注怎么样把这个ai 芯片组队形成一个超节点
然后今年wic 上的超节点产品是发布了超过十个
不只是芯片厂商商
还有这种服务器厂商啊
这种oem 的整机厂商都把超节点放在他们这个展位最显眼的位置
我记得我跟你逛展的时候
逛了两三个展台
每个都有超节点
走到第四个发现没有
嘿 哎
这家厂商怎么没有超节点
对
就有一种你没有把超节点的那个机柜放在你的展台最核心的位置
你都不好意思来这个展会的感觉
嗯嗯 对 是
但是当时我记得是我们逛到天数的时候发现的没有超节点
但是天数它其实在那个展会它是有个宣讲会的
然后他的宣讲会上也发布了节节点
只不过他没有把它的产品放到展会里面去
对
然后我先跟大家报一个菜名啊
大家感受一下这个这个气势啊
就是今年至少在wic 上展示了他们超节点的这些厂家
比如说像华为升腾腾的tt
Lus
九五零super part
然后还有呢
阿里云推出了这个真五m 八九零是他们的镇馆之宝
然后这个百度智能云呢
也是有天池的超节点
然后国产芯片的四小龙啊
一家不少
必任 摩尔 县城
木希还有碎源然都展示了自己的超节点
另外呢
就是像中国曙光呀
中芯等等等等
已经数不过来了
所以这个券商是把二零二六年叫做国产超节点的元年
对
然后当时逛展的时候
这个海军是带着我一个一个如数家珍啊
给我介绍美家的这个技术特点
对 海军
要不要先跟我们说说
就是我们平常说的这个超节点
当然你在展会上最直观的感受就是国产属宽的这个机柜啊
扑面而来的气势
对
然后那究竟什么算是超节点呢
从这个形态上其实很好理解
就是我们传统服务器都是八卡机嘛
包括nv 的
包括咱国内的服务器的八卡机为主
对
是一个比较偏正方体的一个形态
然后就是它里面有八个ai 卡
然后再加上两个或者
或者说四个cpu
对
跟现在的机柜形态是不一样
咱现在看到的都是那种很长的
就是那种长方体的
对
然后它里面呢
是有几十到这个上百张卡
从拔卡机到超节点
它的一个主要变化其实是为了解决通信墙的问题
就是我们在模型变大之后呢
在做训练或推理的时候
我们的ai 芯片它其实主要时间并不是在计算
而是在等待数据传输过来
然后再去做计算
这样的话
就是我们通过使用超节点的的这个形态
然后以及使用一些低延时高带宽的网络传输技术
然后把几十甚至上百张甚至上千个这个ar 芯片做成一一个scree up 网络
对
然后这样的话
它就可以提高整个系统的效率
然后呢
就是让让这些ai 芯片啊
主要是在啊跑计算
而不是说在等待数据传输的过程
嗯
类似于可以把这么多卡的gpu 芯片全都整合在一起
然后让他们能够同步的进行协调的进行高速的运算
不是把时间花在这个数据传输上
对对对 是的
然后这里还有一个概念就是我们要强清一下
就是关于超节点以及超级群
就是我们我那观展的时候也会看到
就比如说像曙光吧
它的展示的产品叫超级群
不是超节点
嗯
他们叫万卡超级群
对对对对
是的
它那个其实就是说把曙光自己的多个超级点把它组成一个万卡集群
它一个超节点通常会有多少个芯片
每个厂家的方案是不一样的
呃
像nv 它第一代超节点的话
就nv 那个七二嘛
然后它里面总共是有七七十二个b
两百 嗯嗯
然后华为呢
它是有三百八十四个这个九幺零c
然后阿里呢
这个盘九里面它是有一百二十八张卡就
但是它这个卡呢
是翻了上下
就是它这个下面六十四个卡
下面六十四个卡
剩下六十四各算一个skill up
Word 对
它上下传输就算out 了
哎 对
其实你一直在说这个skill up 还有skill out
其实很多文章里头都会也都会提到这两个概念
可不可以给我们解释一下什么叫scalill up
什么叫做
我理解skill up 其实叫纵向扩展
Skill out 叫横向扩展
从这两个单词其实也很好理解
一个是up
一个是out 嘛
就一个是上下一个是左右的
但是这个是我们传统的理解上是这样理解
就是上下是怎么个skill up up 啊
比如说英伟达的gb 两百m 那个七二
这个是最典型的能够理解up 和上out 的这个一个形态
就是它里面呢
它个个机柜是有七十二个卡
那它单机柜的这个连接都算up
它里面是有十八个computer tree
然后它这个tree 的排列就是
就是从上到下一直排列的
对
所以它这整个互联叫up
然后它机柜之间的互联就算out
但是现在随着我们整个计算网络的扩大
就是我们不能够只是按照机柜去定义它的up 和out 了
就是现在定义就是如果说只看形态的算的话
它的定义是很模糊的
就是 呃
可以把多个机柜的互联也算做scale up
也可以把单个机柜内的互联
嗯
当做scale out
比如说阿里的盘子传一点
它的盘九盘九一二八那个超节点
它整个机柜里面是有这个一二八个卡
然后它上面六十四
下面六十四
阿里自己的定义是说
它上下六十四之间的互联是算scale up
就是我们跟下面之间的互联就算out 了
但是它这个卡都是在一个大的机柜里面
对
所以我们现在不能以机柜作为这个定义它是up 还是out 了
现在简单的定义是说
就是 呃
咱的软件它只要能把这整个区域当做一个巨型的gpu 去执行reduce 包
包括all ggaa 这种操作
那我们就可以把这个区域当做一个scale up p word 来看待
嗯 明白
你像华为他们去年发布那个特别火的那个三八四超节节点
他们其实三八四块卡其实是在十二加四的十六个机柜里头
但是它那个也算是scale up 对吧
对对对 是的
华为的这个方案跟nv 的方案
或者说跟其他传统的方案的区别是非常大的
华为它推出的第一个超节点
它就使用了十六个机柜
然后其中 呃
十二个计算机柜加四个交换机柜
对
然后它这整个十六个机柜里面才放了三百八十四个这个九幺零c 的芯片
然后它这整个互联就算是skill up
明白 哎
其实我看过一个比喻啊
我觉得也还蛮形象的
就比如说你要把算力当成这个想载越来越多的乘客从a 点到b 点
那可能你单颗芯片的算力可能算是一个出租车
但是如果你scill up 的话
相当于是你把一个出租车换成了一个这个公交车
这样的你单次这个运送其实就可以送比较多的乘客
但是如果你你把这些公交车
呃 组编程 对
其实这个运力也会增加啊
啊 对
这个解释应该也是合理的
但年应该是华为第一个推出三八四超节点嘛
今年就十多个厂商都在搞
你觉得这些厂商他们为什么都要去搞这个超节点啊
这后面有什么驱动嘛
呃
这个问题我觉得可以从几个方面来回答
第一个就是从国内情况来看
呃
首先我们跟海外几个厂家在ai 芯片的先进技术上是有差距的
而且我们短时间也很难去弥补这个差距
对
所以我们要想办法从整个系统层面去提升它的性能
所以就是就国内厂商来说
他就搞超节点这个方向应该是对的
然后第二个呢
就是说 呃
就是我们可以从kimi k 三的这个角度去分析啊
就是因为现在我们大模型的参数都变得很大了
比如像k 三吧
他懂参数呢
应该连是二点八个t
然后他有八百九十六个专家
而且他每个token 会选择十六个专家
呃
Kimi 官方呢
他是建议使用六十四颗以上的加速器组成的超级点点
就官方建议的
他使用六十四卡能解决什问题题呢
就是可以解决它的容量带宽时验问问题
然后其其他的原因
比如说 呃
即便是海外这些厂商
像mv
像谷歌像md
那他的担心的性能提升其实也是有瓶颈的
然后第二就是现在的互外技术啊
其实已经可以可以做到节节点产品化的阶段
因为我们现在的整个现在的互联
不管是带宽还是速率还是延时
它的性能比之前要提升的非常非常多
然后第三点
我觉得就是可能厂商他出于利益的考虑
他也愿意去推动超节点
因为 嗯
他去卖单个芯片跟他去卖这个就是一个推理
对对
就是它整个的价值量提升是不一样的
嗯 对
我不知道这个超超节点它的这个产品主要是用来模型的训练呢还是推理的
因为我理解好像训练对这个ai 芯片的不管是算力啊还是说稳定性要求都比较大
好像推理的话
可能就是不是很需要
甚至差一点的卡都可以满足
所以我不知道这个在超节点的这个需求端就是训练和推理它有一个什么偏好嘛
但国内目前有一个就是个芯片说说们国产芯片片能管更适合理理
对
这应该是很多人的这个共识吧
对的是的 对
这个我们现在国产ai 芯片可能使用的比较多的场景是不推理的
嗯啊
目前明确是使用国产ai 芯片训练大模型的其实厂商不多
就是除了厂家自己有大模型的
还有就是像美团
它是啊
明确使用华为的芯片去做的训练
呃
然后从咱国内目前的真正使用情况来看的话
就是我们啊
确实是使用国产ai 芯片做推理比较多
然后加上
呃
使用八卡机或者说nv 之前的那些
这个是消费级的
现个比如四零九零五零九零去做推理也比比较多
对
然后这个因为为们国内目目前超级点真正被商用还不是特别特别多啊
但是推理对超级点的需求也是比较高的
是因为推理它对延迟的要求比较较
所以以对对skill up 是有很强的需求的
然后训练呢
它是对整个集群的数量规模是有要求的
所以其实推理对它这个需求的点是你要你一定要快
不能让那个这个用户等的太久
但是训练对综合算力就是对整个
因为你要提供更多算力
你可能需要更多的芯片能够堆叠起来嘛
对 是的
这也是为什么就是说就是咱上面讲到kimi 的k 三它的官方建议是使用六十四科以上的加速卡组存的超节点的原因
嗯 明白 对
可不可以展开说说这个互联技术这一块呀
你像以前比如说服务器
我们如果堆在一起是靠什么互联
现在是一些什么样的互联技术
因为我理解就是超节点它其实主要突破也是在这个芯片互联这一块嘛
呃
这一块其实我我之前也写过一个文章啊
就是叫割裂的skill up up 生态
就是我们从全球或或者说内内这个这些做超级点的厂家来看
其实他们所使用的scalw up 协议几乎都是不一样的
这是非常割裂的
你说的协议类似于nv link 那样的协议是吧
对对对
是的是的
就是nv 它有自己的协议
然后呢
咱国内的几家厂商
像华为
像阿里 对
然后这个二线的厂商
比如说这个b 站
摩尔现场啊
木邪
他们其实都有自己的cq up 协议
嗯
也其实都是私有的
对
所以我觉得这个是非常割裂的
然后呢
海外前半年的时候有一个协议叫gv link 嘛
是海外几个大厂他们一块组局去做的
这个第一批组局的人包括amd
马维尔
A lab 博通
然后甚至阿里都有都有参与啊
但是目前他的情况是说amd 是这个协议的主要推动者
因为他的芯片里面会使用这个协议
然后像马威尔和eleb
他主要是在做呃
Uv link switch
但是他作为一个中间商
或者说他去帮其他的大厂去做服务代工
就是他其实也没有很大的动力去推这个协议
这个比如说年年初的时候
当时nva 投资马维尔
那他投马威尔的其中一个原因就是想让马威尔他在帮其他大厂去做代工的时候
可以选择avi 和个o 人
嗯
然后从目前来看
亚马逊的trelim 这个芯片有一些芯片是是明确使用了avi 和人的
对 然后 呃
像博通呢
他虽然是第一批参与者
但是呢
博通他觉得自己比较牛
然后他跟跟谷歌啊
以及跟跟这个其他大厂之间的合作
那他觉得自己的这个芯片的量是很大的
然后自己本身在网络领域或者说这个方向是有很强技术能力的
那后来他就没有再参与这个协议了
他去搞了自己的协议
对
所以现在这个协议还是非常的割裂
就是目前主要推动者就一家md
然后咱国内情况的话
我觉得其实我们像华为它的这一块其实是有优势的
就是我个人觉得它可能比nv 的优势会更大一些
因为它的ub 它的目的就是为什么一样就是华为他们这个协议的名字就叫unify bus
简称就是ub
应该是直接跟u 这个uv link 进行对标的
它这个协议的优势是在于它可以把所有芯片的互联都是用这个协议
对
所以它这个名字叫的也很霸气
它的scalw up
Scalw out 都可以使用这个协议
但是nv 就不一样
Nv 它的scchew up nv link
它的out 是用的ib 是不一样
嗯 那 嗯 对
然后nv 它使用不一样
其实从技术层面是
是能兼容的
只不过是nv 它是两个team 来来做这个事情
对
所以就是咱现在看到的很多的这个结果
它其实都有很多底层原因的
这个原因可能是技术原因
也有可能是它公司内部的一些组织架构的原因
嗯对
然后华为那边它会把自研的ssd 接入到它这个就差一点里面
那它接入这个协议也是使用ub
嗯
那就是说它的ub 可以连npu
可以连自己的cpu
可以连自己的land
对
就是所有华为自己研发的这个芯片都可以连接
对
所以我觉得这是华为一个很大的优势哦
就是华为内部是统一的
但是你像
像英伟达
他们可能scale up 用的是nv link
然后scale 用的是infinity band 就是ib
然后其实它的内部还还
还没有华为这么统一
对对对 是的
明白
所以不同的协议
比如说跟上一代刚才你也说的像pcie 什么的
它其实是更快对不对
对 呃 嗯
像nv 或华为就是他们这个协议就是相对于目前被大众所使用的标准协议两个显著特点就是说它的带宽速率的提升是非常明显的
比如说nv link 和这个pcie 可代的nv link 和这个pcie 比去比较的话
那它带宽可能是pcie 的好几倍
是非常快的
因为
因为他自己的协议
那他自己去改一些feature 或者说讲一些什么特性都是很简单的
但是就是 呃
你要是基于一个公开协议去做的话
那这个公开协议的提升是非常慢的
因为他要考虑很多兼容性问题
他就是自己的协议完可以完全适配自己的硬件和软件
对对对
是的是的 嗯
我们平常还会听到一个叫nv switch
Nv switch 它是一个交换芯片是吗
啊 对
就是我们所说的nv link
Ubiib 这些都是协议
他这个协议是直接连到芯片的
然后这个芯片呢
那他要跟很多其他芯片去做传输中吧
呃
所以就是它要先经过一个交换芯片
嗯
然后再去连接到其他的芯片或者说其他节点啊
所以
所以na switch 就是它的交换芯片
对对对 是的
其实我还有个好奇啊
就是我们怎么衡量一个超节点它的这个表现啊
呃
就是如果说从硬件层面上来看
其实我们衡量的标准其实就那一些
就是包括整体的算力
包括显存带宽
显存容量
包括网络传输的这个带宽
然后以及它整个就整个超节点的功耗
对
就这些东西
基本上 嗯嗯
节目的中间也想和你分享像这样的科技领域话题
在我们的青少年节目knock knock 世界中也有涉及
比如之前我们做过一期节目
讲的是人形机器人它到底发展到了什么程度
能够实现哪些功能
人形机器人真的能走进日常生活了吗
节目用孩子感兴趣的角度以及他们能听懂的语言进行解读
想要了解更多信息
可以打开单机简介
收听播客knock knock
世界 我 你
就刚才我们可能就大概聊了聊这个超节点是什么
以及的这个大家这个疯狂冲超节点的背后的一些动机啊
我觉得下面我们可以请海军来帮我们大概举例吧
就是看看哪些比较我们现在知名的超节点产品大概都有些什么样的特点
那我觉得就是不得不说的就是超节点的标杆嘛
就是nv 七十二
对对
我自己做了一个nv link 七十二机架的图
这个图可以放在生notes 里
它这个机架是由十八个eu 的计算托盘
然后再加上九个nv switch 托盘组成的
然后它整个机架啊
是使用了这个七十二个b 两百芯片
整个机架的功耗是超过一百二十千瓦的
对 所以就是
就是这种超节点它的功耗是非常大的
然后因为它里面又放了几十甚至上百颗芯片
所以它的散热是个问题
对
然后这里呢
我们再说一个tips
就是英伟达它自己展示出来的gb 两百都是使用冷板
就是是全液冷方案
但是即使他真实出库的gb 两百
他起码前面出货的很多都是风冷的
到了后面才使用的液冷
只不过是nv 他就nv 他自己官网展示的都是使用冷版的
所以就是大家都误以为他们的gb 两百全是液冷
但其实并不是
对
所以这也是就就是华些液冷厂商
他们的业绩可能并没有大家想象爆发的那么早那么那么快
的原因
我以为是风冷是没有办法这个整合到这个超节点的这个机柜里头的呢
哎 对对 是的
行啊
那我们就是刚才大概说了一下nv 的这个方案
然后我就下面可以再说一下国产有没有一些比较有代表性的超节点的厂商
你觉得值得说一说的
呃 国产的话
我觉得就是我们这个首先要说的肯定是华为第一个cm 三八四
因为他作为国内第一个超节点
然后当时也是引起了非常大的轰动
包括海外的很多分析机构也专门拿cm 三八四去对比nv 的第一个节节点
对
然后就是我们从单个芯片角度来看
九幺零四a
它的bf 十六的算力啊
大概是nvb 两百的百分之三十啊
但是我们从整个超越点来看
Cm 三八四它的总算力是英伟达gb 两百nv 的一个七二的一点七倍
对
所以这也是为什么我们要的做超越点的原因
单片算力只可能只有它的多少三分之一
但是合在一起或做成超节点以后
其实总算力是它大概两倍
是的 对
就是咱没法在单个芯片上去超越它
但是我们可以通过整个集群性能去超越它
但这样的话有几个问题
就是最大的一个问题就是说我们的功耗是要远超nv 的
或者说我们的单卡功耗
而单晶片功耗
嗯
是要远超nv 的
对 这是合理
但是我们也没办法
就是只能说我们现在选的这个路由的方向是对的
我看了一下功耗啊
功耗
这个华为的三八四大概功耗是五百六
对比刚才nv 是一百二的话
大概多了有四倍还不止
将近五倍那个
然后第二个跟nv 那个比较大的区别就是在于是nv 它的单个机柜内的互联是以铜缆为主
就是以dec 或或者ac 这种铜缆为主
华为呢
它因为它是有十六个机柜嘛
所以它凡是跨机柜的互联都是走的光
所以当时华为刚出来的时候
它对外宣称也是说全光互联
但是我们要理解什么叫全光互联啊
就是华为它走的是
呃
两层的ub 协议
就是它整个互联是经过了两层ub switch
那它第一层啊
它自己的npucpu 跟第一层ub switch 的互联
那这一层走的是纯电电互联
它所谓的全光互联是指第一层ub switch 和第二层ub switch 这个互联是走的光
海军
可不可以给我们解释一下这个同互联和光互联什么情况下用铜
什么时候情况下用光
以及它们各自的优劣势是什么呀
就是光
它的优势在于它可以与远距离传输
比如说我们需要跨机柜的
那它这个距离传输就比较远
那这个时候大家选的都是光
然后在机柜内部使用同连接的效率会更会更高一些
因为只个优优势
第一个它不用做光转电
电转光的这种转换
嗯 对
它的这个延会会更低
那它的功耗会更低
然后还有就是它的价钱会更便宜
嗯 对
但它它的劣势就在于它
它这短距离传输啊
所以
所以说华为把全光互联作为它的一个噱头
是不是也是说它虽然机柜很大
但是我可以很快
延时可以很低
呃 走光的话
其实它的延时其实相要要大的
因为它要先电转光
在光转电
就是整个转化过程都是
都是有延时的
对
所以它的延时其实是要一些些
所以因为它是跨机柜的
因为它
它需要连更多的npu
它要跨机会
它也只能选择走光
所
所以就是在算和和延时之间
对于多的芯片
其实算力能达到一个更高的峰值
对 是的
就是我们
我们要在几个参数之间做一个折中
包括算力
包括延时
包括功耗
对
包括成本这些做个折中的选择
其实你说到这个
这个华为它的功耗不是刚才说比nv 的要高四倍嘛
其实也主要原因也是可能国内厂商不在不太那么在乎功耗啊
中国的电不是个问题
然后但是在美国的话
你这个功耗是一个大家非常这个重要的一个考量
你不能因为美国的这个电力非常受限
对
这也是一个问题
但是其实就国内这些
呃 云厂商
或者说那些做算力租赁的厂商来说
电的成本也非常大的
一低一些 对
所以他们
他们才会选择比如说把这服服务器放到像山西包
包括
包括芒果
包括什么
就是他们会选择把这些服务器放在这些定价更便宜的地方
也是因为他们也是想定价便宜一些
所以的话
这个成本会更低一些
对
然后就下面我觉得说一下这个中心吧
就是 呃呃
中兴和华三是我这次参展就是比较出乎预料的两家厂商
因为在我传统的理解上面来讲
他们算是一个就是ar 芯片厂商的oem 厂
他们是给那些芯片厂商去做服务器的
对
就是跟这个浪潮包括这个红海一样
帮nv 去做服务器
他们自己不产芯片
其实是负责组装
主要是 对 是的
他们主要负责组装
但是这一次也看到他们超节点的方案了
然后中兴呢
就是他的整个超越点里面
他其实是有自己的芯片的
他是做交换的
对 因为中兴 呃
他本身在网络这一块也是有他自己的技术实力的
他在他的超越点里面他会去
就是他除了做整个服务器之外
他还做交换芯片
他那个协议叫o link
对 然后 呃
就按照中兴官方公布的这个信息来看的话
它的交换芯片是能够兼容国内多家厂商的
呃
它没有公布更具体的细节
就是
所以我猜测可能是他芯片里面就有几个协议的这个兼容然或者是说他的交交的的是可以更换的
比如说我
我用避刃的话呢
我就
就使使能够兼兼避避的的交换的这个锤
所以中心他们也有自己的长板的
才敢
才敢来做超超点
在没有自己没有芯片的情况下
唉 我 我这次做
做的时候
我发现锡智科技他们自己也做了一个超节点
然后他们是因为他们的常项是做光
光互联然后光计算嘛
所以你有你有没有关注一下他们的这个超节点ai
哦 啊
就是那天上午我就是去参加了锡智科技的这个啥宣讲会啊
锡智他们是做光芯电器家的嘛
就是
就是做光互联和光交换
对
他们也是刚最近刚刚ipo
对对对 是但 呃
对
但是光纤端这个东西呢
就是他是一个比较远期的东西
反正近期来看
或者说中短期来看的话
是很难有一个啊量产的一个产品的
所以他们后来就他们现在主要营收的方向还是光
光通信和光交换
对
所以他们是就是服务其他的超级电厂商嘛
如果他们是可以提供这种就是光通信和光交换的服务的话
对 是的
他们在超节点里面的定位也只是在做光通信和光交换这两个板块
他们不做其他东西
哦 明白 嗯
所以他们就是发挥自己的特长
对 是的
就是咱这次看到这么多厂商都展示自己的这个超级点产品
但是其实目前真正的已经量产使用的超节点
其实目前国内就只有两家
一个是华为
一个是曙光
对
就只有他们两家已经大规模就是部署以及跑起来了
嗯
他们客户都是谁啊
呃 华为的话
客户比较分散
就是有运营商
有这些云厂商啊
然后曙光的话
它主要就是这个信创
对
因为曙光跟海光他俩强绑定的嘛
曙光做的超节点
它里面使用的芯片也都是海光的嘛
就是使用海光cpu 加海光dcu
对
这个曙光他们这个ai 芯片叫dcu 啊
这个挺有特点的
呃 对
这个是海光的ai 芯片
其实我有看到说deep sik v 四pro 他们的这个
呃
后训练好像是用华为的超节点来做的
就这个只能等他们官方的公布
比如说他们啥时候能能够使用国产的芯片做一些什么其他任务
对
这个要等他们官方公布
然后这里我们我们再提一点
就是因为我们国内大模型厂啊
都是一些开源的吧
对
所以就是大家可以看到很多一线的模型厂商他开源之后
国内的ai 芯片厂商就会宣布适配
对 零适配
对带零适配
但是很多朋友其实对这对定适配其实是他理解是有分歧的
嗯
对他这个这个适配呢
其实没有一个标准的这个定义说是就是他怎么着算是适配
就是他可能是把几个核心算子跑通了
然后也有可能是他把整个完整的模型都可以去做推理了
对
然后有的是呢
它可以单卡支持
对
然后也有的是它的整个集群或者超节点都可以支持
那他这几个适配的概念是完全不一样的
所以就是从ai 芯片厂商他宣布对零适配到大模型能够在他的芯片上做大规模的商用
其实还有很长的路
对
这其中就包括比如说我们要先把它跑通
然后第二就是要保证他跑的这个是对的
就是保证模型出的的准确率率略精度什么的是可以的
然后第三就是怎么着能够让这个模型在我们自己的ai 芯片上跑的更快
因为它大规模商用跑起来之后
就大家肯定要考虑成本的
所以就是怎么着能够更高效的去跑你的模型
这也是一个问题
所以就是从对零适配到它大规模商用
其实中间还有很长的路
所以也不是说这个任何一个厂商就是超节点
我只要算力或者延时能达到这个表现优秀就拉过去马上就能用的
对 是的 是的 对
所以就是这也是就这些厂商它的一个营销方式吧
对 哎
那你觉得国产现在这些节节点
呃
现在做起来以后呢
以后能超过英伟达吗
呃
我觉得这是一个很好的问题啊
就是关于超过nv
呃
首先我觉得就是
呃 确实
我们单芯片层面
目前来看 呃
时间是很难超过nv 的
对 这个
所以我们想办法从整个系统层面去弥补这个差距嘛
对
所以我们这个方向就是我这个个方放下去找mv 是合理的
呃
然后第二就是从他刚刚讲的cm 三八四的这个性能来看的话
从整个系统的表现来看
不管是算力还是显存带宽还是
还是什么其他参数
它其实是要超过nv 零和七二的
嗯 对
那你刚才意思是说
现在如果系统层已经超过nv 的话
其实这是这个问题是不是就其实不成立了
还是有一定的这个门槛
呃
这个问题就是
我觉得是
呃
即便我们从系系统这个层面上看
参数是比nv 要强
但是也不能直接定义成超过nv 了
是因为我们堆的芯片更多
堆的硬件更多
堆的料更多
所以是我们只是从堆料层面上比nv 要强
但是 呃
比如说要超nv
那就是怎么定义是它超nv
我个人定义是说
如果说nv 市场放开了
然是呃
Nv 的超越点和大国的超越点让这些云厂上自己去选
那它宁愿去选择国产
国产超越点
嗯
那这个时候
那我觉得就是nv
但是现在来看的话
还是很难啊
那大家选择nv 的原因是什么呢
呃
我觉得几个问题吧
第一个就是它的扩大确实是有优势的啊
国内这些工程师
他基本上都是使用库大出身的
对
所以他对库大比较了解
然后
然后像ds 的话
他们在研发过程中
他们还发现了一些就是英伟达芯片的问题
这些问题甚至连nv 自己都没发现
嗯
所以从这个层面来讲
Ds 的人他对库大包括对nv 的硬件的研究是非常非常深的
那从这个角度来讲
那让他们在切换到国产的软件或国产的硬件来讲啊
那他们还要再投很大的精力去研究这些东西
嗯 对对对
其实就我觉得他们也不是那么心甘情愿愿意去做这个事情
然后第二就是nv 它的产品现在稳定性确实要好一些
就是 呃
从我之前做芯片的经验来讲
就是我们做一个产品出来之后
那它能用到它能够稳定使用其实完全不一样
对
然后nv 我觉得现在因为它很多产品都在delay 嘛
包括就是
就是咱刚刚讲的它的下一代如边出的audelay
那我觉得我们国产的超点点如果说它的研发进度都是很符合预期的
那我觉得这个也是我们的机会
然后第二就是
呃
我们国产的ai 芯片或者说呃
服务器啊
其实经历的这一年的发展
它的软件啊
其实更加的适用的
就是比前几年使用起来会更加的顺手
第二就它的bug 也更少了
对
所以我觉得我们现在跟nv 的差距是在缩小
呃
所以从我个人的的感觉上来讲
我们超nv 是有可能的
因为我们的特点是说
我们可能从零到一可能会比美国那边要要弱一些
但是我们从一到一百
我觉得肯定是要强于美国那边的
嗯
哎
而且你刚才说的这个点
我觉得你说的
呃
就是包括ds 工程师续模型的过程中会发现芯片的一片bug
一些bug
其实这些东西啊
就是你用的人越多
它迭代的就越快
不管是软件还是硬件啊
所以我觉得国产的厂商可能现在是起步阶段
但是你觉着用的人越来越多
它迭代越来越快
那就是不管是硬件还是软件生态其实又越来越成熟
对对对 是的
是去年已经落灰的很多服务器今年被大批量使用起来一个原因
但是这个
这个停顿影院第一个就是
就是我们就是今年的agent 突然火起来
然后反而国内也很缺算力
对啊
但是这个总体来讲
我们的国产ai 芯片的软件生态的的提升也也是一个很重要的方面
我的割裂的感觉是什么
一方面就是让我这次看到超节点
觉得我们国家做啊
这哇
这个ai 算力这么蓬勃
这么多gpu 厂商
然后每一家都在出自己的超节点
然后另外一方面你就看到哇
什么kimi k 三发布以后
然后这个因为服务器不够用然后就崩掉了嘛
你
你会觉得就是现在我们国家这个算力的供给能够满足这个大模型厂商的需求吗
就是要分两个层面来看
芯片厂商多
但是只是说产品的类型比较多
但是我们的卡点还是在ai 芯片的产能上
产能是小的
但是我们的芯片种类多一些
嗯
机器放在那儿
但是要量产的话
还是还是有卡点
对对对 是的
所以就是从当前这个时间点来看的话
就是咱国内这些厂商如果说它的软件占比之前更加稳定
那我觉得就是现在产能会是一个瓶颈
就是说石油产能可能谁的优势就会更大一些
所以这也是今年我们可以看到不管是阿里还是自己
它比去年选择了更加的国产芯片厂商
那我觉得其中一个重要原因就是产能
国内的芯片是不是在成本上还是有很很大的优势
成本上
好像并不是哎
哦
这个怎么讲呢
就是这个成本上我们要分多个角度去想这个问题
比如说像去年一样啊
Nv 那边有很多的啊服务器进来
比如说h 一百
一七两百
B 两百
B 三百
去年进来很多嘛
就是如果说按照去年那个价
那其实还是nv 的的性价比更高一些啊
但是因为今年h 系列已经进不来了
然后b 系列能进来的b 三百的量也很少
然后就导致啊
国内b 三百的八卡机的价钱被炒的非常非常多
像去年q 三的时候
B 三百价格才只有三百七十万
三百八十万
今年最新的我看到有人报价已经到了一千两百万
一千三百万了
那如果说按照这个价去采购
那它成本是要比国内这些厂商成本要高的
嗯
主要还是买不到
对对对 是的
买不到
就是你会觉得需要这么多国产厂商来供给这个芯片或者是超节点了
呃
就是从ai 芯片层面来看的话
也能够体现出我们跟美国那边研发方面的一些不同啊
像美国那边
它除了几个大厂
包括亚马逊啊
Mta
微软他们也在做自己芯片嘛
然后他们做的这个芯片跟nv 和谷歌路线其实差不太多
但是美国那边他的创业公司做的ai 芯片
包包括grook
包括像前段时间上升那个syria bus 对他们的方案其实都是跟这几个大厂方案是不一样的
但是我们国内的芯片厂商
不管是大厂资源的还是这些创业公司
他们的技术路线其实都是非常像的
然后第二就是我们自己在做ai 芯片的这几年
而前面的话
呃
是由政府来板呢
就是通过信创或运营商去买单
去鼓励大家做ai 芯片
嗯
从这个去年开始吧
其实很多这互联网大厂他开始去选择国内的ai 芯片
不管是主打还是被动也好
但是他们确实是花真金白银去买国产ai 芯片了
而且今年买的更多啊
但是呢
他每个ai 芯片厂商他们的软件生态都是不一样的
那即便他说我是内库大生态
我可以兼容扩大
但它这个兼容都是说比如说我原先的代码是基于扩大开发的
那你想把这个代码放到我的芯片上来的话
那我给你提供一个工具或一个脚本
可以帮你把这个基于扩大代码转成能够跑在我的ai 芯片上代码
但是这个转成之后
总归要要再去改一下
再去调一下才行啊
对
所以他们的软件生态是不一样的
那所以这些这个互联网大厂这个在我看来
它不可能去选择非常多家的国产芯片厂商
因为这样的话
就意味着他要让他的员工
他的工程师去学多家厂商的这个软件
对
所以基于这个背景
那我觉得如果到了今年年底
甚至说到了明年吧
呃
你还没有从这几家大的互联网厂商拿到一个大的订单的话
那我觉得后面可能就比较难了
然后反过来讲
如果你现在已经拿到了这几家大厂的订单
或者说已经进了两家或三家了
那可以说就是这个ai 芯片厂商就算是做的这个比较成功了
对对对
你看好哪几家
从我目前得到信息来看
我觉得寒武器它的这个地位应该还是比较稳定的
华为也可以
对
华为肯定是龙头嘛
嗯嗯嗯
对对对
他跟那龙头嘛
从这个业内来看的话
龙头就是华为跟寒武纪
然后再加上几个大厂自研的
包括平头哥
包括轮芯
对
然后剩下就二线厂商
这个创业公司感觉其实有点像自动驾驶
就是刚刚起来的时候
因为国家有很多补贴嘛
所以有非常多的自动驾驶厂商然后进厂来造车
但是你像可能现在经过了五年六年国家的补贴逐渐这个退坡以后
然后就进入一个市场化的阶段
那可能最后能够站住脚的可能也就那么五六家公司
嗯对
是的是的
是很像
你觉得用多长时间能够见到分晓
我觉得应该快了
嗯
应该不用等到五六年
对
因为我们是为国产ai 芯片买单
更多的钱还是来自csp 云厂商
而不是新创了
对 然后
那你觉得现在在做超节点的话
呃
还有一些什么样的
呃
技术模块你感觉是卡点的呢
或者说是这个超节点的这个发展会带来哪一些技术的进步
对
超节点其实就是它相对八卡机
它有很多的技术或者说模块都是有很大升级的
包括网络
包括供电
包括
包括液冷 对
这些都是有很大升级的
那个我觉得就是从超节点来看的话
像供电这方面的话
像nv 就从去年是开始推自己的八百vdc 嘛
然后 哎
Vdc 是什么
直流 嗯
八百伏高压直流供电啊
八爸 嗯嗯嗯 对
然后就是液冷的话
就是因为就是
呃
全球来看的话
其实除了nv 的gb 两百就是它的第一批gb 两百是使用风冷
然后它后面就是就使用液冷
然后到了gb 三百呢
它是叫全液冷
就是它除了computer 处以它那些什么
嗯 交换啊
存储什么都是使用的液冷
使用冷板的
对
所以就是我们来看的话
它的这个呃
液冷市场是增加非常多的
然后第三就是供电
它的供电供耗大了之后
那它的电源其实以也是需要上液冷的
对
所以就是我们如果单从谷歌来看的话
我知道谷歌那边的数据是说它二零二七年
嗯
谷歌对液冷的需求的总总的价值量
嗯
是进行的四倍
但是c 倍咋来的呢
第一个是它整个tpu 的量的上升
第二个是
嗯
它除了tpu
它的什么电源
光模块这些东西也
也需要上液冷
对
所以它的液冷增长是非常大的
对
然后还有就是这个网络这一块
咱国内的话
就是这个使用的网络还是以这个博通为主啊
就是即便像华三包括锐捷他们提供了交换机
但是里面使用的芯片还是博通为主
但是在这一块我们国内啊
目前也在很快的这个研发的
而且现在已经就是能够跟博通相媲美的芯片这个产品了
网络的芯片是
是交换芯片嘛
你说的是
对对对 是交
交换芯片 嗯
现在主流交博通
现在scale out 是以博通的呃
芯片为主
然后这个skill up 的话
就还是我们刚刚说的
就是每一家生态比较割裂
明白
就是他们会选用自己的协议嘛
嗯
那你会觉得比如说二零二六年是一个比如说国产芯片算力的一个转折点嘛
就比如说因为有媒体说是今年是这个超节点元年嘛
呃
首先我觉得元年这个词现在已经被用烂了
嗯
光我听到了元年就有好多个
比如说今年是什么推理元年
液冷元年
对
就是这些词太多了
但是从目前来看的话
今年确实是一个超节点的一个就是很有标志性的一个年份爆发点
对
就是中国这么多家超节点都在今年推出了自己的产品
就是他们虽然研发可能以咱去年我今年已经开始了
嗯
但是大规模推出的年份还是今年
然后第二就是
就是我们今年所使用的国产ai 芯片的这个量比去年要增加了非常非常多
就是它确实是有这个实际的需求的
就对国产芯片的需求
而不是仅仅是信创的需求
对 是的啊
说明第一个是我们国家的这个大模型的能力也是比较强
就是我们国人使用国产大模型的这个量也是大模升
第二就是这些大模型厂商或者云厂商
他也开始认可我们国内的这些ai 芯片啊
嗯
所以他们现在也会主动去去买国内这些ai 芯片
嗯 好呀 啊
那我们今天讲了挺多的啊
海军帮我们拆解了这个超超节点
从这个技术方面包括到商业
然后以及到应用场景
我觉得我们都聊了挺多的
那我们今天谢谢海军时间
拜拜
那谢谢大家
拜拜
今天的科技早知道就到这里了
听完之后
如果你有任何的想法
欢迎在评论区和我们交流
如果有任何想听的话题
也请告诉我们
如果你喜欢我们的节目
请记得分享给更多的朋友
那我们下期再见
下期再见
跳哦哦