Momenta创始人曹旭东:我们第三个洞察就是大模型定义芯片

雷递网 乐天 11月2日

Momenta创始人曹旭东日前做了一场公开演讲,他在大会上提出第三个洞察就是大模型定义芯片。早前,Momenta提出了另外两个洞察,分别为:数据驱动解决长尾问题、规模量产获取海量数据。

曹旭东说,大模型定义芯片,这里面有两个非常重要的支撑:第一个,大模型定义的芯片相比于通用的芯片性能能提升10倍。第二个,要实现规模化L4,需要至少10B,大概率需要100B参数的模型,100B就是1000亿的参数量。通用芯片没办法同时满足功耗、车规可靠性、成本三重约束,Momenta把它称之为通用芯片的不可能三角。

当下,Momenta世界模型主要有三个支柱,首先是预训练Pre-train,让模型学习物理世界的常识;然后是 Mid-train,中间训练,更多使⽤⾃动驾驶的数据,让模型具备开⻋的常识;最后是Post train,后训练,让模型和金牌司机行为对⻬。预训练是世界模型的第一个重要支柱。

第二个支柱是世界模型的仿真,世界模型本身是一个生成式模型,除可以生成自动驾驶的轨迹,还可以生成自动驾驶的环境,可以在里面进行海量仿真。

第三个支柱是世界模型的强化学习,仿真类似于练兵场,强化学习是在练兵场里面不断地利用长尾场景进行模拟演练,演练有成功,有失败,成功就是正反馈,失败了就给负反馈,就像在里面反复练习打怪升级,Momenta世界模型在强化学习的训练下,比人类老司机开的更好,甚至未来有可能大幅超过人类老司机的水平。

曹旭东透露,Momenta即将发布R7 Ultra世界模型。基于XHEART的 大模型芯片X7 Ultra,模型参数规模扩大到了原来的5倍,安全性能表现到现在已经有了5倍的提升,未来还会进一步把模型参数提升到10倍,安全性表现也进一步提升到10倍以上。

曹旭东说,Momenta将携手XHEART,共同迎接2028年L4引爆点的到来,

以下是Momenta创始人曹旭东演讲实录:

曹旭东:我们为什么需要大模型芯片以及大模型芯片的支持下,世界模型如何进一步加速智驾摩尔定律。

Momenta从第⼀天开始终极目标就是实现规模化L4。规模化并不是说1000台,10000台,在某一个城市跑一跑,而是百万台,千万台在全中国、全世界都能够跑起来,都能够实现规模化的L4。要实现这个目标最关键是要解决数百万个长尾的问题。

为了解决长尾问题,成立之初,我们公司就有两个洞察,第⼀个叫数据驱动,通过数据驱动⾃动化解决⼤部分的⻓尾问题;第⼆个是通过量产,获得海量数据。实现规模化L4的⽆⼈驾驶,需要多少海量数据?第⼀天的时候,我们就进⾏了计算,需要1000亿公⾥的数据。1000亿公里相当于100万台乘用车跑一整年的时间。

今天,我想跟⼤家分享第三个洞察。这个洞察并不是今天才有的,其实我们在2022年底,2023年初就形成了这个一个判断。跟XHEART一起,从2023年开始就把它付诸行动了,今天是第一次公开讲。

我们第三个洞察就是大模型定义芯片,这里面有两个非常重要的支撑:第一个,大模型定义的芯片相比于通用的芯片性能能提升10倍。第二个,要实现规模化L4,我们需要至少10B,大概率需要100B参数的模型,100B就是1000亿的参数量。通用芯片没办法同时满足功耗、车规可靠性、成本三重约束,我们把它称之为通用芯片的不可能三角。

如果用通用芯片来做的话,相当于在车内放一台巨大的GPU服务器,这个功耗车端是受不了的,何况还要满足车规的要求,成本同样很高。反过来如果一定要满足车端的功耗,成本和可靠性要求,通用芯片又很难把模型做到100B的参数,很难实现规模化的L4,很难达到人类十倍、百被的安全性。唯有大模型定义的芯片才有可能在满足这些约束的情况下把模型的参数做到100B,实现规模化的L4。

在物理AI领域,除了自动驾驶面临通用芯片的不可能三角的难题之外,最近好多机器人领域的朋友都找到我,听说新芯航途下一代芯片规划不小心泄露了,都非常非常期待,因为他们现在已经面临很大的挑战,现有通用的芯片很难满足他们的需求,所以他们在寻求下一代解决方案,所以大模型定义的芯片也能帮助机器人和更多的物理AI产品取得突破,达到甚至超越人类的水平。

谈到世界模型,这里不得不讲一下对我人生影响最大的一本书《人工智能的未来》,第一次看这本书是我上大二,书本有一句话让我印象非常深刻,大脑使用大量的记忆来构建一个世界模型,你所知道的和学到的一切都储存在这个模型中,大脑利用记忆的模型对未来的世界进行连续的预测,这里的关键词是“预测”,对未来预测的能力才是智能的关键,这句话对我的影响非常地深刻。

今天回顾近些年来人工智能的发展,核心关键点也在于预测。数字AI里面大语言模型,核心在于GPT、generative和trained Transformer。第二个是生成式AI Generative,Generative取得重大突破的核心点在哪呢?在于P和G,trained Transformer。预训练实际上就是预测下一个词,预测下一个Token,把海量数字世界里面的知识压缩到模型里,让模型具备特别强的数字世界的常识。

物理AI也是类似,通过对未来世界状态的预测把物理世界的规律、规则压缩到模型里面,让世界模型理解物理世界的常识。

Momenta世界模型主要有三个支柱,首先是预训练Pre-train,让模型学习物理世界的常识;然后是 Mid-train,中间训练,更多使⽤⾃动驾驶的数据,让模型具备开⻋的常识;最后是Post train,后训练,让模型和金牌司机行为对⻬。预训练是世界模型的第一个重要支柱。

第二个支柱是什么呢?是世界模型的仿真,世界模型本身是一个生成式模型,它除了可以生成自动驾驶的轨迹,还可以生成自动驾驶的环境,我们可以在里面进行海量仿真,打个比方就像建了一个练兵场,在这个练兵场里面可以对于长尾的场景进行低成本、段周期的演练,获得高质量的反馈,这一点非常关键,尤其对于自动驾驶,尤其对于自动驾驶特别长尾的场景,特别长尾的问题。

因为自动驾驶这些长尾问题可能是百万公里发生一次,甚至是1亿公里发生一次,对于这些问题,如果通过路测来检验,第一个问题就是反馈周期特别长。第二个问题是路测成本非常高。第三个问题,即使遇到一个长尾的场景,统计意义也不是非常显著,也就是说,反馈质量也不是特别地高。有了世界模型就可以低成本、短周期获得高质量反馈,加速自动驾驶高效迭代到规模化的L4。

第三个支柱是世界模型的强化学习,仿真类似于练兵场,强化学习是在练兵场里面不断地利用长尾场景进行模拟演练,演练有成功,有失败,成功就是正反馈,失败了就给负反馈,就像在里面反复练习打怪升级,我们世界模型在强化学习的训练下,比人类老司机开的更好,甚至未来有可能大幅超过人类老司机的水平。

要让世界模型学得更好,离不开一个重要的基础,就是海量、丰富、真实的数据,也就是Data Scaling,物理世界里面最先实现规模化商业闭环和规模化数据闭环的场景,就是自动驾驶。Momenta量产第一个10万台大约用了24个月,今天我非常高兴得宣布,我们累计量产的规模已经突破了140万台。最新10万台用了不到一个月,这是一个非常爆发式的增长。累计里程达到200亿公里,相当于阿波罗登月往返月球2.5万次,同时200亿公里也相当于5万个老司机一辈子驾驶里程的总和,可以绕地球赤道51万圈。

这样规模的真实驾驶数据,让模型有机会接触到更多的场景,学习更多的经验,有了海量数据的积累,也有大模型芯片的支撑,我们世界模型迎来了进一步的升级。

Momenta即将发布R7 Ultra世界模型。基于XHEART的 大模型芯片X7 Ultra,我们把R7 Ultra模型参数规模扩大到了原来的5倍,安全性能表现到现在已经有了5倍的提升,同时推演万物的能⼒开始涌现,未来我们还会进一步把模型参数提升到10倍,安全性表现也进一步提升到10倍以上。

那么大模型芯片给R7 Ultra带来什么样的能力?又给用户带来什么超预期的体验呢?我们的答案是推演万物,也就是更智能的场景理解推演和预测能力,R7 Ultra可以成为用户全场景老司机。X7 Ultra提供700Tops的大模型算力,加上超大核的NPU架构,能够支撑模型参数量大幅提升。模型规模上来之后,就有了更强的大脑,更好的推演物理世界的变化,给用户的是更智能,更聪明的智驾体验。

从多把掉头,会车博弈,倒车让行、极限泊车,这些复杂场景,R7 Ultra展现出来的驾驶能力,我们的感受是笔尖,甚至能够超越人类老司机。全场景老司机在复杂道路上要开得顺,开得自然,这里我想跟大家分享两个场景视频,这是媒体朋友测完我们的测发过来的,第一个叫倒车避让,进退有距。

我们再来看第二个场景叫多把掉头,周旋有度。

接下来我想说说世界模型的应用。世界模型像大语言模型一样,有很强的通用性和泛化能力,大语言模型可以拿来写文章,写代码,做数学,而我们已经在自动驾驶不同的垂直领域验证了世界模型的通用性,包括在量产乘用车和Robotaxi、RoboVan等场景,这带来了很强的平台效应,能够摊薄每一个领域的研发成本,相当于原来的电商有垂直电商,有平台电商,长期来看平台电商更有竞争力。对于自动驾驶来说,世界模型的基座平台也会带来更长久的竞争力。

除了在量产车型应用以外,世界模型基座平台,还有Robotaxi和Robovan的应用,目前Robotaxi的应用已经落地在全球,在苏州、上海、无锡、深圳、阿布扎比、慕尼黑等地都取得了测试运营许可,并持续拓展业务。

海外方面,我们与阿联酋主权基金成立的合资公司计划2028年部署5000-10000台车,在东南亚、欧洲分别与Grab、Uber达成战略合作,国内我们和上汽享道出行开展了运营合作。Robovan方面我们已经打通了从0到1,明年会进入规模化1到N的阶段,2028年我们判断L4的引爆点将会到来,规模会有进一步的爆发式增长。

这里和大家分享一下我们内部的一个重要思考,大模型芯片正在加速智驾摩尔定律。智驾摩尔定律在过去四年(2022-2026)基本上每两年提升10倍,2022年早期用户更多把智驾当成一个大玩具,用户没那么多,渗透率也没那么高,智驾摩尔定律两年提升10倍。到2024年体验就已经足够好了,迎来了城市NOA引爆点。2026年最新城市NOA渗透率达到25%,未来还会进一步快速提升,这是过去的智驾摩尔定律。

如果从这个时间点往后看,智驾摩尔定律还在加速,从两年十倍提升到每年十倍。其中有一个非常关键的因素就是大模型定义芯⽚。将智驾的摩尔定律从两年十倍带到每年十倍,芯片提升带来了Model Scaling的提升。按照我们对⻋端模型演进的观察,过去四年模型规模⼤致增⻓了5-10倍。但是有了大模型芯片,车端模型规模未来两年有机会增长10-100倍,模型能力有可能超越人类老司机中的老司机。

海量数据,大模型芯片和模型能力的提升共同推动智驾摩尔定律再次加速,我们判断未来每年十倍增长将带来两个新的关键节点。2028年有望复刻2024年在城市NOA的引爆,成为L3、L4的引爆点,而2030年将迎来L3、L4规模化落地。

最近我参加了世界智能⽹联汽⻋大会,报告提到2030年我国L3级⾃动驾驶渗透率有可能达到30%。听到这个数字的时候特别有共鸣,因为相似的历史已经在城市NOA上发生过了。同样的节奏,很可能在2026-2030年之间,在L3,L4上再次兑现,而这个过程最重要变化是什么呢?安全性。

行业领先的头部公司到2028年底就有机会做到超越人类驾驶的水平,甚至人类驾驶十倍的安全性,到2030年进⼀步提升安全性,有可能达到人类驾驶一百倍的安全性,甚至更多。

当安全性到达了这样的⽔平,⾃动驾驶会极大的普及,颠覆性的改变我们的出行生活和经济运转方式。如果对照数字AI Coding是⼀个很有启发的例⼦。去年的AI Coding特别像“辅助驾驶”,⼤概是L2的⽔平,是AI辅助人来工作。今年AI Coding发生了巨大的进步,开始从L2走向L4。这个变化带来市场10-100倍的增长,开始改变我们的生活、⼯作,甚⾄未来企业的组织⽅式。我们认为,⾃动驾驶也会经历类似的过程。

最后,我想说,我们将携手XHEART,共同迎接2028年L4引爆点的到来,我们正站在一个新的起点上,在大模型芯片基础上让世界模型真正理解推演物理世界,让物理AI从技术突破走向规模化量产。我们也特别期待和在座各位一起迎来L4规模化的未来,让更安全、更安心的出行惠及全球更多人,对此,我们充满信心,也充满期待。

——————————————

雷递由媒体人雷建平创办,若转载请写明来源。