“在 AI 技术生态上，生成式大模型已成为自动驾驶系统进化的关键，基于 Transformer 大模型训练的感知、认知算法，将逐步在车端进行落地部署。”
在最新的毫末 AI DAY 上，毫末智行董事长张凯给出了这一判断，并基于这一判断发布业内首个自动驾驶生成式大模型 DriveGPT，中文名“雪湖·海若”。
自去年年末以来， GPT 的热度一直高涨不下，尤其是 ChatGPT 的大火更是引发全行业关注。此前，GPT 多应用于文本生成、代码生成或是搜索领域，但由于缺乏数据支撑，GPT 在自动驾驶行业这一垂类的应用并不高。
截至业内也仅有毫末一家率先将 GPT 应用到自动驾驶领域，即 DriveGPT 雪湖·海若。 DriveGPT 能为智能驾驶做什么？
GPT 的全称是生成式预训练 Transformer 模型，本质上是在求解下一个词出现的概率。即根据输入的前序文本，模型会输出可能出现的下一个字的几率分布，再从中取样出几率较高的字。如此循环往复，直到完整地写完下文。
据官方介绍，DriveGPT 雪湖·海若的底层模型采用 GPT（Generative Pre-trained Transformer）生成式预训练大模型，与 ChatGPT 使用自然语言进行输入与输出不同，DriveGPT 输入是感知融合后的文本序列，输出是自动驾驶场景文本序列，即将自动驾驶场景 Token 化，形成“Drive Language”。 Drive Language 基于毫末的 CSS 场景库理论，将驾驶空间进行离散化处理，每一个 Token 都表征场景的一小部分，相当于许多个可能在未来出现的平行宇宙，最终完成自车的决策规控、障碍物预测以及决策逻辑链的输出等任务。截至毫末从真实驾驶场景库中提取的token序列，规模达到 50 万个。
有了 Drive Language，毫末就可以用人类驾驶的数据对模型进行预训练。 在预训练阶段通过引入量产驾驶数据，训练初始模型，再通过引入驾驶接管 Clips 数据完成反馈模型（Reward Model）的训练，然后再通过强化学习的方式，使用反馈模型去不断优化迭代初始模型，形成对自动驾驶认知决策模型的持续优化。
DriveGPT 雪湖·海若会根据输入端的提示语以及毫末 CSS 自动驾驶场景库的决策样本去训练模型，让模型学习推理关系，从而将完整驾驶策略拆分为自动驾驶场景的动态识别过程，完成可理解、可解释的推理逻辑链生成。
毫末智行 CEO 顾维灏表示，毫末 DriveGPT 雪湖·海若通过引入驾驶数据建立 RLHF（人类反馈强化学习）技术，对自动驾驶认知决策模型进行持续优化。据毫末方面的说法，在 RLHF 的加持下，Hard Case 通过率提升了 48%。毫末 DriveGPT 雪湖·海若实现了模型架构与参数规模的升级，参数规模达 1200 亿，预训练阶段引入 4000 万公里量产车驾驶数据，RLHF 阶段引入 5 万段人工精选的困难场景接管 Clips。
毫末方面表示，DriveGPT雪湖·海若现阶段主要用于解决自动驾驶的认知决策问题。“在感知到了周围的世界之后，怎么样把车开得更安全，把车开得更顺滑，怎么样跟周围的交通参与者互相博弈。”顾维灏说道。
毫末判断，DriveGPT雪湖·海若还将在城市 NOH、智能陪练、驾驶捷径推荐、脱困场景中得到应用，最终目标是要实现端到端自动驾驶
毫末在 AI DAY 上宣布，DriveGPT雪湖·海若将在即将量产上市的新摩卡DHT-PHEV首发。
毫末基于GPT技术的探索，毫末衍生出服务于业界的能力和新的商业模式，即向业界开放DriveGPT的能力，4月11日开放单帧自动标注服务，可降低标注成本，之后还将陆续开放驾驶行为验证、困难场景脱困等功能。 DriveGPT 背后的支持
DriveGPT 雪湖·海若的训练和落地，离不开算力的支持。
今年 1 月，毫末和火山引擎共同发布了其自建智算中心“毫末雪湖·绿洲 MANA OASIS”。毫末表示，OASIS 的算力高达 67 亿亿次/秒，存储带宽 2T /秒，通信带宽达到 800G /秒。
只有算力还不够，还需要训练和推理框架的支持，由此毫末进行了三方面升级——
一是训练稳定性优化。毫末在大模型训练框架的基础上，与火山引擎共同建立了全套训练保障框架，可以通过集群调度器实时获取服务器异常，将异常节点从训练 Task group 中删除，再结合CheckPoint 功能，利用 VePFS 高性能存储和 RDMA 网络高效分发，以保障 DriveGPT雪湖·海若大模型训练的稳定性。 二是弹性调度资源的升级。毫末构建了一个大模型持续学习系统，数据以动态数据流的形式结合增量学习，持续不断地将量产回传和筛选的存量数据，传入认知和感知 Pretrain 大模型。
三是吞吐效率的升级。在 Transformer 的大矩阵计算上，毫末通过对内外循环的数据拆分，尽量保持数据在 SRAM 中提升计算的效率；在传统的训练框架中，通过引入火山引擎提供的 Logo核心算子库实现融合，端到端吞吐提升 84%。
毫末表示，自动驾驶数据智能体系MANA架构已迎来全线升级。截至2023年4月， MANA 学习时长超 56 万小时，相当于人类司机 6.8 万年。
在 MANA 发布迭代一年后，在本次 AI DAY 也迎来升级，具体包括：MANA 感知和认知相关大模型能力统一整合到 DriveGPT 雪湖·海若中；MANA计算基础服务针对大模型训练在参数规模、稳定性和效率方面做了专项优化，并集成到 OASIS 中；第三，增加了使用NeRF技术的数据合成服务，降低 Corner Case 数据的获取成本；针对多种芯片和多种车型的快速交付难题优化了异构部署工具和车型适配工具。
在视觉感知能力上，毫末对视觉自监督大模型做了一次架构升级，将预测环境的三维结构，速度场和纹理分布融合到一个训练目标里面，强迫模型练好内功，使其能从容应对各种具体任务。目前毫末视觉自监督大模型的数据集超过 400 万 Clips，感知性能提升 20%。顾维灏举例称，在泊车场景下，毫末将鱼眼相机也引入到视觉 BEV 的感知框架当中，鱼眼图像通过 2D backbone 提取出视觉特征，经过空间转换映射至 BEV 空间，并在该空间下对于障碍物的轮廓边界进行识别和测量，目前可做到在 15 米范围内达测量精度 30cm，2 米内精度高于 10cm。
除了用自监督大模型练内功，毫末还公开了在纯视觉三维重建方面的一些进展。
毫末对 NeRF 做了升级，将视觉感知结果转化为可用于 BEV 模型训练的带 3D 标注的真值数据，目前可以做到重建误差小于 10cm。
单趟重建有时会受到遮挡的影响，不能完整地还原三维空间，因此毫末尝试了多趟重建的方式——即将同一地点不同车辆在不同时间经过的数据合并做多趟重建，由此提升场景还原度，重建效率可提升 5 倍。
重建之后，MANA 可以编辑场景合成难以收集的 Corner Case。毫末表示，近期训练了一个可以在静态场景做虚拟动态物体编辑的模型，可以控制虚拟物体在场景中按照设定的轨迹运动，由此合成各种 hardcase，例如近距离回车，行人、电动车交互行为等。
2023年将是智驾产品大考之年
“2023 年智驾产品进入全线爆发期。”毫末智行董事长张凯在活动上表示。
张凯判断，城市导航辅助驾驶产将在 2023 年将围绕量产上车发力，主要玩家的城市导航辅助驾驶产品进入到真实用户覆盖和多城市落地的比拼。
行泊一体和末端物流自动配送产业商业化将成为自动驾驶公司深耕的重点。在乘用车领域，搭载行泊一体功能的智驾产品将迎来前装量产潮；在末端物流自动配送领域，末端物流自动配送车在商超、快递等场景迎来爆发，2023 年将在这些场景实现可持续商业化闭环。在 AI DAY 上，毫末表示其城市 NOH 已在北京、保定、上海等城市开启泛化测试，即将量产上车。张凯表示，到2025 年，毫末城市 NOH 将有序落地 100 城。
一年之内，从三座城市扩张至百城，毫末给出的目标可以说十分激进。
截至毫末三代乘用车产品搭载车型近 20 款，毫末辅助驾驶用户行驶里程突破4000万公里，HPilot2.0 日均里程使用率 12.6%。
毫末智行透露，目前已与 3 家主机厂（包括长城）签署定点合同，相关项目正在交付中。 结合毫末往届 AI DAY 的动态来看，从发布中国首个数据智能体系 MANA，到建设智算中心雪湖·绿洲，再在其基础上训练出参数规模达 1200 亿作为 DriveGPT 雪湖·海若模型，毫末的闭环思维始终贯彻其技术始末，并逐渐形成数据驱动的闭环。
正如毫末所言，2023 年将是智能驾驶冲刺之年、大考之年。这对毫末来说，这也是长久技术布局走向落地应用的关键时期；毕竟，毫末要在 2025 年实现城市 NOH 落地 100 城，这并不是一个简单的事情。
【本文来自易车号作者钛AUTO，版权归作者所有,任何形式转载请联系作者。内容仅代表作者观点，与易车无关】
扫码关注公众号
扫码体验小程序版
暂无数据
“知道才着急打一数”是一道经典的谜语，其答案是“九”。这个谜语的关键在于“知道”，也就是说，只有知道谜底的人才会着急地去打出答案。而“一数”则是指一个数字，也就是答案。
为什么答案是九呢？这是因为“九”在汉语中有着特殊的含义。在中国传统文化中，九被视为最大的单数，代表着长久、永恒、完美和吉祥。九还有“久”的谐音，寓意着长时间的坚持和努力。在许多场合中，九被用来表示最高、最好、最吉祥的意思。
回到这道谜语中来，为什么“知道才着急打一数”会让人想到九呢？这是因为答案本身并没有什么特殊的含义，但是“知道才着急”这个提示却让人想到了“急九”，也就是“九九不离十”的谚语。这个谚语表示的是即使没有达到完美的九九得到了十的结果，也已经非常接近了。这也与九的含义相符合。
这道谜语的答案是九，是因为它涵盖了九的特殊含义和“急九”的谚语，而这些都是通过“知道才着急”这个提示来引导人们想到的。
ChatGPT 具备一定程度的逻辑推理能力，但它并不是专门为了逻辑推理而设计的。ChatGPT 是一种基于深度学习的自然语言生成模型，它的推理能力主要来自于对大量文本数据的训练和统计模式的学习。
在回答问题和生成文本时，ChatGPT 可以基于上下文来理解并建立逻辑关系。这意味着它可以从上一个对话回合中的问题、陈述或背景中获取信息，并根据这些信息来生成响应。ChatGPT 还可以对常见的逻辑问题进行辨别和处理，例如对因果关系、条件语句和比较性问题的识别。
由于深度学习模型的局限性，ChatGPT 也存在一些潜在的逻辑推理方面的挑战。当面临复杂的逻辑问题、歧义或模棱两可的语句时，ChatGPT 可能会出现理解或回答错误的情况。这是因为它倾向于依赖于统计模式和训练数据中的表面特征，而不是真正理解问题的含义或进行深层次的逻辑推理。
虽然ChatGPT在一般情况下可以展示出一定的逻辑推理能力，但对于复杂的逻辑问题或对严格的形式逻辑的需求来说，它可能并不是最佳选择。在这种情况下，传统的逻辑推理方法或专门设计的推理模型可能更加适合。
ChatGPT在一定程度上具有逻辑推理能力，但并不是完全准确或全面的。作为一个基于大规模预训练的语言模型，它可以通过学习大量的文本数据来理解自然语言，并在其回答中展示一些逻辑和推理能力。
ChatGPT可以根据输入的问题或上下文进行思考和分析，从而生成合理的回答。它可以识别问题的关键要素，使用逻辑推理来构建答案。当问及两个事物之间的关系时，它可以基于先前学到的知识提供相关的逻辑推断。
由于ChatGPT是通过预测下一个词的方式进行训练的，并没有直接训练逻辑推理的任务，因此它有时可能会出现逻辑上不合理或模棱两可的回答。它的回答可能是基于出现频率较高的模式或常见的推理方式而生成的，而不是真正的逻辑推理。
ChatGPT具备一定的逻辑推理能力，但并不完美。随着模型的继续改进和训练数据的增加，它的逻辑推理能力有望得到进一步提升。
AI时代来临,哪些工作会被AI代替?计算机和IT领域：例如软件测试员、数据分析师等。医疗保健领域：例如医学影像技师、实验室技术员等。
消防/救援员由于很多区域人类无法进入，或者存在救亡危险，人工智能控制的机器人就可以代替人类去救援，比如火灾，野外救援等工作。
司机无人驾驶正在研发之中，预计无人驾驶汽车就可以实现商用。如此看来，汽车驾驶员这个职业将会是首先被人工智能技术所取代的职业。
一些需要严谨逻辑和推理的工作，如法律、财务等也有可能被AI取代。这些工作需要非常精准的思考和分析，而AI在这方面的表现也越来越出色。
因此人类的工作未来并不会全部被AI取代。二是我们需要了解的是，在科技高速发展的时代里，会出现一种新的工作形态，它是在人类和AI之间的合作，这就是所谓的“协同工作模式”。gpt3.5可以论文降重吗gpt写论文查重率不高。从检测的结果，可以发现，初稿的重复率基本上可以控制在30%以下，一般的本科高校要求是20%，比较宽松的是30%。作为论文的初稿，是完全可以接受的。
TA可以帮您构思论文思路，论文大纲撰写，论文润色，论文降重，辅助你快速高效的完成论文。
GPT-4的应用场景和目标也会影响其障重性。如果GPT-4的应用场景是简单的语言生成或问那么它的障重性可能会比较高；但如果应用场景是复杂的对话系统或自然语言处理，那么障重性可能会面临更多的挑战。
使用GPT写论文使用得当并且在适当的情况下，是不太可能被发现的。虽然GPT已经非常优秀，但它还不是完美的，仍有一些明显的缺陷、漏洞和限制。
该同学在校期间能够遵守校纪校规，学习方面能够完成各项学习任务，掌握了基本的专业知识，具有一定的实践能力。尊敬师长，团结同学，具有良好的沟通能力，并能积极参加各项活动，是一名合格的大学生。gpt3.5参数量GPT-5的速度限制是取决于所使用的硬件和模型参数配置，包含175B参数的GPT-3模型的推理速度比较慢，需要大量的计算资源才能完成。
GPT4预计将拥有超过100万亿个参数（1e+15），而GPT3只有1750亿个参数（75e+11）。GPT4是一个多模态（multimodal）模型，即它可以接受图像和文本作为输入，并输出文本；而GPT5只能接受文本作为输入，并输出文本。
gtp4的模型规模预计将达到100万亿个参数，而gtp5的模型规模只有1750亿个参数。这意味着gtp4可以处理更多的数据，生成更长、更复杂、更连贯、更准确、更多样化和更有创造力的文本。
苹果GPT-5模型的训练参数量比GPT-3小，但是在一些特定的任务上表现更加出色。
GPT-5是一个基于GPT-3的改进版本，它可以生成高质量的文本，并且可以模拟人类的语言表达能力。虽然GPT-5可以生成新的语言表达，但是它并不能直接用于论文降重。gpt4概念是什么1、GPT4是OpenAI旗下GPT系列模型的最新成果，之前他们已经出过GPT、GPTGPT3和GPT5这几个版本。GPT系列模型都是基于深度学习技术搞出来的大规模语言模型，可以吸收海量数据进行预训练，并在不同任务上进行微调或零样本学习。
2、GPT-4是一个人工智能语言模型，目前尚未正式发布。由于其技术含量和商业价值极高，因此它的购买方式可能会受到一定的限制。
3、GPT-4的全称是GenerativePre-trainedTransformer4，它是一个基于Transformer的深度学习模型，使用了预训练和微调的技术。
4、gpt4全称：生成式预训练转换器4凭借ChatGPT掀起人工智能（AI）应用热潮的OpenAI发布了最新作品——GPT-4，得到这种新模型支持的ChatGPT将迎来升级。
5、GPT4是一种基于深度学习的自然语言处理技术，它是GPT列的最新版本。GPT-4的原理是通过大规模的语料库训练神经网络模型，从而实现自然语言生成、文本分类、机器翻译等多种自然语言处理任务。分区讲解系统怎么选？1、但使用其他的分区程序，如OS/2的BootManager便可以在一块硬盘中分区出至多四个主分区(对BootManager来说，扩充分区也算一个主分区)，然后选择要用来启动的分区(假设该分区中存在有操作系统的引导代码)。
2、步骤在“此电脑”上右键点击，选择“管理”，然后在“计算机管理”窗口的左侧列表中选择“磁盘管理”。在Windows10中也可以右键点击开始菜单，直接选择“磁盘管理”功能。
3、完成分区：最后一步是完成分区，可以选择格式化分区，使其能够存储数据。检查硬盘状态：使用硬盘检测工具检查硬盘的状态，确保硬盘没有损坏或坏道。苹果gpt是3.5还是41、苹果GPT是5版本。GPT（GenerativePre-trainedTransformer）是一种基于自然语言处理的人工智能技术。苹果公司在WWDC2021大会上发布了新的机器学习框架CoreML3，其中包括了GPT-3和其他一些模型。
2、GPT4是一个多模态（multimodal）模型，即它可以接受图像和文本作为输入，并输出文本；而GPT5只能接受文本作为输入，并输出文本。
3、gpt5和0区别有：模型规模、完善度、推理能力、创造力。模型规模gtp4的模型规模预计将达到100万亿个参数，而gtp5的模型规模只有1750亿个参数。
4、这也就意味着，GPT-4将更接近于人脑，并且可以实现更复杂的任务。GPT-5已经被广泛运用于聊天机器人等人工智能应用中。GPT-4的应用范围将更加广泛，包括语音、视频等多种形式。
5、苹果GPT是苹果公司研发的一种自然语言处理技术，全称为“GenerativePre-trainedTransformer”。它是一种基于机器学习的算法，可以分析和理解人类语言，进而生成自然语言文本。苹果GPT主要通过训练大规模的语言模型来实现。
GPT之于自动驾驶意味着什么？
文丨智驾网 黄华丹
ChatGPT带火了AI，当GPT遇到自动驾驶，又会发生怎样的化学反应？
GPT全称Generative Pre-trained Transformer，即生成式预训练Transformer。简单概括即是一种基于互联网可用数据训练的文本生成深度学习模型。
4月11日，在第八届毫末AI DAY上，毫末CEO顾维灏正式发布了基于GPT技术的DriveGPT，中文名雪湖·海若。
DriveGPT能做到什么？又是如何构建的？顾维灏在AI DAY上都做了详细解读。AI DAY还展示了毫末自动驾驶数据体系MANA的升级情况，主要是其在视觉感知能力上的进展。
01.
什么是DriveGPT？能实现什么？
顾维灏首先讲解了GPT的原理，生成式预训练Transformer模型本质上是在求解下一个词出现的概率，每一次调用都是从概率分布中抽样并生成一个词，这样不断地循环，就能生成一连串的字符，用于各种下游任务。
以中文自然语言为例，单字或单词就是Token，中文的Token词表有5万个左右。把Token输入到模型，输出就是下一个字词的概率，这种概率分布体现的是语言中的知识和逻辑，大模型在输出下一个字词时就是根据语言知识和逻辑进行推理的结果，就像根据一部侦探小说的复杂线索来推理凶手是谁。而作为适用于自动驾驶训练的大模型，DriveGPT雪湖·海若三个能力：
1.可以按概率生成很多个这样的场景序列，每个场景都是一个全局的场景，每个场景序列都是未来有可能发生的一种实际情况。
2.是在所有场景序列都产生的情况下，能把场景中最关注的自车行为轨迹给量化出来，也就是生成场景的便会产生自车未来的轨迹信息。
3.有了这段轨迹之后，DriveGPT雪湖·海若还能在生成场景序列、轨迹的输出整个决策逻辑链。
也就是说，利用DriveGPT雪湖·海若，在一个统一的生成式框架下，就能做到将规划、决策与推理等多个任务全部完成。具体来看，DriveGPT雪湖·海若的设计是将场景Token化，毫末将其称为Drive Language。
Drive Language将驾驶空间进行离散化处理，每一个Token都表征场景的一小部分。目前毫末拥有50万个左右的Token词表空间。如果输入一连串过去已经发生的场景Token序列，模型就可以根据历史，生成未来所有可能的场景。也就是说，DriveGPT雪湖·海若同样像是一部推理机器，告诉它过去发生了什么，它就能按概率推理出未来的多个可能。
一连串Token拼在一起就是一个完整的驾驶场景时间序列，包括了未来某个时刻整个交通环境的状态以及自车的状态。
有了Drive Language，就可以对DriveGPT进行训练了。
毫末对DriveGPT的训练过程根据驾驶数据以及之前定义的驾驶尝试做一个大规模的预训练。通过在使用过程中接管或者不接管的场景，对预训练的结果进行打分和排序，训练反馈模型。也就是说利用正确的人类开法来替代错误的自动驾驶开法。
后续就是用强化学习的思路不断优化迭代模型。
在预训练模型上，毫末采用Decode-only结构的GPT模型，每一个Token用于描述某时刻的场景状态，包括障碍物的状态、自车状态、车道线情况等等。毫末的预训练模型拥有1200亿个参数，使用4000万量产车的驾驶数据，本身就能够对各种场景做生成式任务。
这些生成结果会按照人类偏好进行调优，在安全、高效、舒适等维度上做出取舍。毫末会用部分经过筛选的人类接管数据，大概5万个Clips去做反馈模型的训练，不断优化预训练模型。在输出决策逻辑链时，DriveGPT雪湖·海若利用了prompt提示语技术。输入端给到模型一个提示，告诉它“要去哪、慢一点还是快一点、并且让它一步步推理”，经过这种提示后，它就会朝着期望的方向去生成结果，并且每个结果都带有决策逻辑链。每个结果也会有未来出现的可能性。这样我们就可以选择未来出现可能性最大，最有逻辑的链条驾驶策略。可以用一个形象的示例来解释DriveGPT雪湖·海若的推理能力。假设提示模型要“抵达某个目标点”，DriveGPT雪湖·海若会生成很多个可能的开法，有的激进，会连续变道超车，快速抵达目标点，有的稳重，跟车行驶到终点。这时如果提示语里没有其他额外指示，DriveGPT雪湖·海若就会按照反馈训练时的调优效果，最终给到一个更符合大部分人驾驶偏好的效果。
02.
实现DriveGPT毫末做了什么？
DriveGPT雪湖·海若的训练和落地，离不开算力的支持。
今年1月，毫末就和火山引擎共同发布了其自建智算中心，毫末雪湖·绿洲MANA OASIS。OASIS的算力高达67亿亿次/秒，存储带宽2T/秒，通信带宽达到800G/秒。光有算力还不够，还需要训练和推理框架的支持。毫末也做了以下三方面的升级。
一是训练稳定性的保障和升级。大模型训练是一个十分艰巨的任务，随着数据规模、集群规模、训练时间的数量级增长，系统稳定性方面微小的问题也会被无限放大，如果不加处理，训练任务就会经常出错导致非正常中断，浪费前期投入的大量资源。
毫末在大模型训练框架的基础上，与火山引擎共同建立了全套训练保障框架，通过训练保障框架，毫末实现了异常任务分钟级捕获和恢复能力，可以保证千卡任务连续训练数月没有任何非正常中断，有效地保障了DriveGPT雪湖·海若大模型训练的稳定性。
二是弹性调度资源的升级。毫末拥有量产车带来的海量真实数据，可自动化的利用回传数据不断的学习真实世界。由于每天不同时段回传的数据量差异巨大，需要训练平台具备弹性调度能力，自适应数据规模大小。
毫末将增量学习技术推广到大模型训练，构建了一个大模型持续学习系统，研发了任务级弹性伸缩调度器，分钟级调度资源，集群计算资源利用率达到95%。
三是吞吐效率的升级。在训练效率上，毫末在Transformer的大矩阵计算上，通过对内外循环的数据拆分、尽量保持数据在SRAM中来提升计算的效率。在传统的训练框架中，算子流程很长，毫末通过引入火山引擎提供的Lego算之库实现算子融合，使端到端吞吐提升84%。
有了算力和这三方面的升级，毫末可对DriveGPT雪湖·海若进行更好的训练迭代升级。
03.
MANA大升级，摄像头代替超声波雷达
毫末在2021年12月的第四届AI DAY上发布自动驾驶数据智能体系MANA，经过一年多时间的应用迭代，现在MANA迎来了全面的升级。
据顾维灏介绍，本次升级主要包括：
1.感知和认知相关大模型能力统一整合到DriveGPT。
2.计算基础服务针对大模型训练在参数规模、稳定性和效率方面做了专项优化，并集成到OASIS当中。
3.增加了使用NeRF技术的数据合成服务，降低Corner Case数据的获取成本。
4.针对多种芯片和多种车型的快速交付难题，优化了异构部署工具和车型适配工具。
前文我们已经详细介绍了DriveGPT相关的内容，以下主要来看MANA在视觉感知上的进展。
顾维灏表示，视觉感知任务的核心目的都是恢复真实世界的动静态信息和纹理分布。因此毫末对视觉自监督大模型做了一次架构升级，将预测环境的三维结构，速度场和纹理分布融合到一个训练目标里面，使其能从容应对各种具体任务。目前毫末视觉自监督大模型的数据集超过400万Clips，感知性能提升20%。在泊车场景下，毫末做到了用鱼眼相机纯视觉测距达到泊车要求，可做到在15米范围内达测量精度30cm，2米内精度高于10cm。用纯视觉代替超声波雷达，进一步降低整体方案的成本。在纯视觉三维重建方面，通过视觉自监督大模型技术，毫末不依赖激光雷达，就能将收集的大量量产回传视频转化为可用于BEV模型训练的带3D标注的真值数据。
通过对NeRF的升级，毫末表示可以做到重建误差小于10
【本文来自易车号作者智驾网，版权归作者所有,任何形式转载请联系作者。内容仅代表作者观点，与易车无关】
全球一重覆盖是指在全球范围内建立一个统一的通信网络，使得用户可以在任何地方都能够接收到信号并进行通信。这个网络覆盖范围广泛，包括城市、乡村、海洋、山区等各种地形和环境。实现全球一重覆盖需要建立大量的基站和卫星通信设施，以确保信号的覆盖范围和质量。这样的覆盖可以提高通信的可靠性和稳定性，方便人们在全球范围内进行商务、旅游、教育等各种活动。
“在 AI 技术生态上，生成式大模型已成为自动驾驶系统进化的关键，基于 Transformer 大模型训练的感知、认知算法，将逐步在车端进行落地部署。”
在最新的毫末 AI DAY 上，毫末智行董事长张凯给出了这一判断，并基于这一判断发布业内首个自动驾驶生成式大模型 DriveGPT，中文名“雪湖·海若”。
自去年年末以来， GPT 的热度一直高涨不下，尤其是 ChatGPT 的大火更是引发全行业关注。此前，GPT 多应用于文本生成、代码生成或是搜索领域，但由于缺乏数据支撑，GPT 在自动驾驶行业这一垂类的应用并不高。
截至业内也仅有毫末一家率先将 GPT 应用到自动驾驶领域，即 DriveGPT 雪湖·海若。 DriveGPT 能为智能驾驶做什么？
GPT 的全称是生成式预训练 Transformer 模型，本质上是在求解下一个词出现的概率。即根据输入的前序文本，模型会输出可能出现的下一个字的几率分布，再从中取样出几率较高的字。如此循环往复，直到完整地写完下文。
据官方介绍，DriveGPT 雪湖·海若的底层模型采用 GPT（Generative Pre-trained Transformer）生成式预训练大模型，与 ChatGPT 使用自然语言进行输入与输出不同，DriveGPT 输入是感知融合后的文本序列，输出是自动驾驶场景文本序列，即将自动驾驶场景 Token 化，形成“Drive Language”。 Drive Language 基于毫末的 CSS 场景库理论，将驾驶空间进行离散化处理，每一个 Token 都表征场景的一小部分，相当于许多个可能在未来出现的平行宇宙，最终完成自车的决策规控、障碍物预测以及决策逻辑链的输出等任务。截至毫末从真实驾驶场景库中提取的token序列，规模达到 50 万个。
有了 Drive Language，毫末就可以用人类驾驶的数据对模型进行预训练。 在预训练阶段通过引入量产驾驶数据，训练初始模型，再通过引入驾驶接管 Clips 数据完成反馈模型（Reward Model）的训练，然后再通过强化学习的方式，使用反馈模型去不断优化迭代初始模型，形成对自动驾驶认知决策模型的持续优化。
DriveGPT 雪湖·海若会根据输入端的提示语以及毫末 CSS 自动驾驶场景库的决策样本去训练模型，让模型学习推理关系，从而将完整驾驶策略拆分为自动驾驶场景的动态识别过程，完成可理解、可解释的推理逻辑链生成。
毫末智行 CEO 顾维灏表示，毫末 DriveGPT 雪湖·海若通过引入驾驶数据建立 RLHF（人类反馈强化学习）技术，对自动驾驶认知决策模型进行持续优化。据毫末方面的说法，在 RLHF 的加持下，Hard Case 通过率提升了 48%。毫末 DriveGPT 雪湖·海若实现了模型架构与参数规模的升级，参数规模达 1200 亿，预训练阶段引入 4000 万公里量产车驾驶数据，RLHF 阶段引入 5 万段人工精选的困难场景接管 Clips。
毫末方面表示，DriveGPT雪湖·海若现阶段主要用于解决自动驾驶的认知决策问题。“在感知到了周围的世界之后，怎么样把车开得更安全，把车开得更顺滑，怎么样跟周围的交通参与者互相博弈。”顾维灏说道。
毫末判断，DriveGPT雪湖·海若还将在城市 NOH、智能陪练、驾驶捷径推荐、脱困场景中得到应用，最终目标是要实现端到端自动驾驶
毫末在 AI DAY 上宣布，DriveGPT雪湖·海若将在即将量产上市的新摩卡DHT-PHEV首发。
毫末基于GPT技术的探索，毫末衍生出服务于业界的能力和新的商业模式，即向业界开放DriveGPT的能力，4月11日开放单帧自动标注服务，可降低标注成本，之后还将陆续开放驾驶行为验证、困难场景脱困等功能。 DriveGPT 背后的支持
DriveGPT 雪湖·海若的训练和落地，离不开算力的支持。
今年 1 月，毫末和火山引擎共同发布了其自建智算中心“毫末雪湖·绿洲 MANA OASIS”。毫末表示，OASIS 的算力高达 67 亿亿次/秒，存储带宽 2T /秒，通信带宽达到 800G /秒。
只有算力还不够，还需要训练和推理框架的支持，由此毫末进行了三方面升级——
一是训练稳定性优化。毫末在大模型训练框架的基础上，与火山引擎共同建立了全套训练保障框架，可以通过集群调度器实时获取服务器异常，将异常节点从训练 Task group 中删除，再结合CheckPoint 功能，利用 VePFS 高性能存储和 RDMA 网络高效分发，以保障 DriveGPT雪湖·海若大模型训练的稳定性。 二是弹性调度资源的升级。毫末构建了一个大模型持续学习系统，数据以动态数据流的形式结合增量学习，持续不断地将量产回传和筛选的存量数据，传入认知和感知 Pretrain 大模型。
三是吞吐效率的升级。在 Transformer 的大矩阵计算上，毫末通过对内外循环的数据拆分，尽量保持数据在 SRAM 中提升计算的效率；在传统的训练框架中，通过引入火山引擎提供的 Logo核心算子库实现融合，端到端吞吐提升 84%。
毫末表示，自动驾驶数据智能体系MANA架构已迎来全线升级。截至2023年4月， MANA 学习时长超 56 万小时，相当于人类司机 6.8 万年。
在 MANA 发布迭代一年后，在本次 AI DAY 也迎来升级，具体包括：MANA 感知和认知相关大模型能力统一整合到 DriveGPT 雪湖·海若中；MANA计算基础服务针对大模型训练在参数规模、稳定性和效率方面做了专项优化，并集成到 OASIS 中；第三，增加了使用NeRF技术的数据合成服务，降低 Corner Case 数据的获取成本；针对多种芯片和多种车型的快速交付难题优化了异构部署工具和车型适配工具。
在视觉感知能力上，毫末对视觉自监督大模型做了一次架构升级，将预测环境的三维结构，速度场和纹理分布融合到一个训练目标里面，强迫模型练好内功，使其能从容应对各种具体任务。目前毫末视觉自监督大模型的数据集超过 400 万 Clips，感知性能提升 20%。顾维灏举例称，在泊车场景下，毫末将鱼眼相机也引入到视觉 BEV 的感知框架当中，鱼眼图像通过 2D backbone 提取出视觉特征，经过空间转换映射至 BEV 空间，并在该空间下对于障碍物的轮廓边界进行识别和测量，目前可做到在 15 米范围内达测量精度 30cm，2 米内精度高于 10cm。
除了用自监督大模型练内功，毫末还公开了在纯视觉三维重建方面的一些进展。
毫末对 NeRF 做了升级，将视觉感知结果转化为可用于 BEV 模型训练的带 3D 标注的真值数据，目前可以做到重建误差小于 10cm。
单趟重建有时会受到遮挡的影响，不能完整地还原三维空间，因此毫末尝试了多趟重建的方式——即将同一地点不同车辆在不同时间经过的数据合并做多趟重建，由此提升场景还原度，重建效率可提升 5 倍。
重建之后，MANA 可以编辑场景合成难以收集的 Corner Case。毫末表示，近期训练了一个可以在静态场景做虚拟动态物体编辑的模型，可以控制虚拟物体在场景中按照设定的轨迹运动，由此合成各种 hardcase，例如近距离回车，行人、电动车交互行为等。
2023年将是智驾产品大考之年
“2023 年智驾产品进入全线爆发期。”毫末智行董事长张凯在活动上表示。
张凯判断，城市导航辅助驾驶产将在 2023 年将围绕量产上车发力，主要玩家的城市导航辅助驾驶产品进入到真实用户覆盖和多城市落地的比拼。
行泊一体和末端物流自动配送产业商业化将成为自动驾驶公司深耕的重点。在乘用车领域，搭载行泊一体功能的智驾产品将迎来前装量产潮；在末端物流自动配送领域，末端物流自动配送车在商超、快递等场景迎来爆发，2023 年将在这些场景实现可持续商业化闭环。在 AI DAY 上，毫末表示其城市 NOH 已在北京、保定、上海等城市开启泛化测试，即将量产上车。张凯表示，到2025 年，毫末城市 NOH 将有序落地 100 城。
一年之内，从三座城市扩张至百城，毫末给出的目标可以说十分激进。
截至毫末三代乘用车产品搭载车型近 20 款，毫末辅助驾驶用户行驶里程突破4000万公里，HPilot2.0 日均里程使用率 12.6%。
毫末智行透露，目前已与 3 家主机厂（包括长城）签署定点合同，相关项目正在交付中。 结合毫末往届 AI DAY 的动态来看，从发布中国首个数据智能体系 MANA，到建设智算中心雪湖·绿洲，再在其基础上训练出参数规模达 1200 亿作为 DriveGPT 雪湖·海若模型，毫末的闭环思维始终贯彻其技术始末，并逐渐形成数据驱动的闭环。
正如毫末所言，2023 年将是智能驾驶冲刺之年、大考之年。这对毫末来说，这也是长久技术布局走向落地应用的关键时期；毕竟，毫末要在 2025 年实现城市 NOH 落地 100 城，这并不是一个简单的事情。
【本文来自易车号作者钛AUTO，版权归作者所有,任何形式转载请联系作者。内容仅代表作者观点，与易车无关】