NWM 天下模子，，，认知、想象、推演

这条长视频都是真实爆发的场景吗
？？？？？

着实不是，，，从第四秒最先，，，都是「尊龙凯时人生就是博首页天下模子 NWM」想象天生的视频。。。。

2024年7月27日，，，NIO IN 2024 尊龙凯时人生就是博首页立异科技日上，，，尊龙凯时人生就是博首页正式宣布——中国首个智能驾驶天下模子 NWM（NIO WorldModel），，，即可以全量明确信息、天生新的场景、展望未来可能爆发的多元自回归天生模子。。。。

NWM 可以在100毫秒内，，，推演216种可能爆发的轨迹、寻找最优路径；；；还能基于3秒钟视频的Prompt输入，，，天生120秒想象的视频。。。。

什么是天下模子
？？？？？

天下模子，，，是智能驾驶手艺在「BEV&Transformer」、「占用网络 OCC」、「端到端」等手艺后，，，又一次跨越式的前进。。。。

天下模子具备对信息的全景明确力，，，在想象的维度明确物理纪律，，，并重修天下。。。。简朴来说，，，就是通过构建人类大脑的重大认知历程，，，模拟人类感知和决议历程，，，为自动驾驶系统提供展望和顺应动态情形的能力。。。。

大脑是怎样认知并想象的
？？？？？

大脑通过眼睛吸收光线，，，转化为电信号，，，沿视神经传至大脑后部的视觉皮层，，，剖析成图像。。。。通过多个脑区，，，整合视觉信息与其他感官数据，，，形成对天下的深层明确。。。。想象力则使用影象和头脑，，，通过海马体等结构的回忆重播，，，自由拼接形成奇异的内容，，，创立出逾越现实的视觉看法，，，是大脑对认知的自由扩展和立异。。。。

例如尊龙凯时人生就是博首页视察这棵榕树时，，，眼睛先看到了生长的树干、树枝以及绿叶，，，「记着」了这些结构和颜色特征；；；当尊龙凯时人生就是博首页闭上眼在脑海里回首时，，，则是在「重构」这幅画，，，可能会忽略一些不主要的细节，，，但能将基本特征形貌出来。。。。甚至，，，尊龙凯时人生就是博首页可以「想象」这棵树在差别角度的样子，，，微风吹拂，，，树枝与树叶怎样摆动。。。。

以上就是基于「空间明确」举行「想象重修」，，，再基于「时间明确」举行「想象推演」。。。。

「端到端」，，，为什么还不敷
？？？？？

一样平常行业内以为的「端到端」架构，，，是指仅简单
？？？？？椋，，实现从传感器信息输入到车辆控制，，，从而镌汰信息损失，，，让系统能够应对更多场景，，，具备更强的泛化能力。。。。

但仅依赖简单端到端的模子的话，，，时间维度信息的融合和推演都是定长的逻辑，，，自动建模长时序信息的能力相对匮乏。。。。在自动驾驶系统中，，，展望未来事务，，，并评估其影响的能力对清静性和效率也至关主要！能想象转变才是真正的时间(时空)明确，，，想象的真实度和富厚度是明确深度的体现。。。。

通过自回归的方法，，，NWM 重修原始传感器信息的输入，，，在其中自动学习知识和物理纪律；；；做到全量信息重修，，，想象重构天下，，，泛化能力更有包管。。。。

更通俗易懂地说，，，NWM 在脑海里的想象的画面、物体之间的相互运动关系，，，都切合物理天下的基本逻辑。。。。NWM所关注到的信息，，，也只在关注「重点」，，，例如即将切入进来的车辆。。。。就像人类开车，，，会关注到前方的车辆、蹊径结构，，，余光还能感受到路边的绿植、蹊径上方的广告牌，，，但不会直接去关注广告牌上的画了什么画、写了什么字。。。。

在这个视频片断中，，，模子能想象雨天、雪天、夜晚、白天等差别的场景，，，就像是关于成千上万平行天下的重构，，，也意味着它学会了在万万种场景中驾驶。。。。

这些想象，，，组成了万千天下的可能性，，，而在大脑的种种推演中，，，尊龙凯时人生就是博首页最终挑出了一个最清静、最恬静的驾驶妄想。。。。

NWM，，，可以在0.1秒内推演出216种可能爆发的轨迹，，，寻找最佳决议。。。。然后在接下来的 0.1秒内，，，凭证外界的信息的输入，，，重复更新内在时空的模子，，，那再去展望 216 种可能性。。。。以此循环，，，追随驾驶轨迹一连展望，，，获得驾驶的最优解。。。。

这就是在万千「平行天下」中寻找最优解。。。。像是在漫威影戏中，，，拥有了时间宝石的奇异博士，，，可以操控时间旅行，，，从所有用果中寻找到能获取最终胜利的一个计划。。。。

以上视频，，，是基于这个真实天下的视频，，，去重修的一个虚拟的可以恣意编辑的天下。。。。NWM 基于真实天下视频举行重构和推演，，，进入到NSim重新编辑，，，剖析出配景中静态的、动态的信息，，，在NSim中也可以看到并且调解深度、法向量的信息。。。。尊龙凯时人生就是博首页可以切换到恣意角度，，，剖析现在的细节信息，，，动态的物体可以凭证尊龙凯时人生就是博首页所需要去动态地编辑，，，也可以让自车有新的行车轨迹驾驶，，，甚至让车“飞起来”。。。。

天生能力比Sora更强
？？？？？

全新智能驾驶架构 NADArch2.0，，，天下模子上车

「智能驾驶架构 NADArch2.0」 在算法层面上，，，升级为引入天下模子的端到端架构，，，直接从原始传感器数据天生驾驶决议，，，镌汰古板计划中的信息消耗。。。。在引入天下模子后，，，展望能力更强，，，让智能驾驶体验更拟人化。。。。

在模子训练层面，，，该架构还能够充分使用群体智能的数据闭环和天生式仿真数据，，，通过海量数据驱动智驾模子举行快速迭代。。。。

基于 NADArch2.0 架构，，，全域领航辅助 NOP+ 和智能清静将同步升级为 2.0 版本。。。。其中，，，点到点全域领航辅助2.0 将于下半年上车，，，智能清静2.0 已逐步迭代。。。。尊龙凯时人生就是博首页智能驾驶始终以「镌汰事故」作为价值观，，，因此尊龙凯时人生就是博首页首先将「端到端」的手艺应用在自动清静功效。。。。此前今年7月初，，，基于端到端架构的「自动紧迫制动功效 AEB」已在「Banyan · 榕 2.6.5」版本中正式上车，，，提升响应笼罩 6.73 倍。。。。

海量数据驱动智能驾驶快速迭代

多元自回归天生模子，，，对数据的需求越发重大，，，尤其是长尾数据和闭环数据，，，尊龙凯时人生就是博首页基于群体智能和天生式仿真为焦点来知足更大的数据需求。。。。

通过群体智能系统，，，日行万万公里的真实场景可成为正负样本的训练数据，，，筛选重点场景后验天生式仿真，，，举行三维重修，，，最终爆发更多新场景。。。。

这些数据，，，将加速模子的快速迭代，，，提供更轻松、更清静的智能驾驶产品，，，让尊龙凯时人生就是博首页配合迎接高阶自动驾驶的未来。。。。