智能驾驶系统、方法、设备及存储介质

本申请涉及通信技术领域，具体涉及一种智能驾驶系统、方法、设备及存储介质。

背景技术：

软件定义汽车(softwaredefinedvehicles，sdv)是指以人工智能为核心的软件技术所决定未来汽车。

汽车电子电气架构(又称ee架构)是指整车电子电气系统的总布置方案，即将汽车里的各类传感器、处理器、线束连接、电子电气分配系统和软硬件整合在一起，以实现整车的功能、运算、动力及能量的分配。电子电气架构的关键变化主要体现在硬件架构、软件架构、通信架构三个方面。

随着基于sdv和新型ee电气架构技术发展，具有自动驾驶功能的汽车在迅速普及推广。目前的新能源汽车的车载智能驾驶体系，实际上已经成为以具有高算力、分布式、高性能和异构式的复杂计算机系统所主导的域控制器，通过车载高速计算机网络和数据总线所实现的整体线控系统。

由于车载终端计算和存储资源的局限性，单车智能也在感知、定位、规划方面等功能存在其自身不可避免的局限性。比如体现为感知的盲区，算力的性价比取舍和决策逻辑方面具有不完整性的缺陷，该缺陷会对安全和舒适的自动驾驶造成不利影响。

技术实现要素：

本申请实施例提供一种智能驾驶系统、方法、设备及存储介质，可以降低车载终端的计算负担，以及提升自动驾驶的智能性。

第一方面，提供了一种智能驾驶系统，包括至少一个车载终端，以及与所述至少一个车载终端通信连接的至少一个服务器；所述车载终端包括车载操作系统，所述车载终端基于所述车载操作系统获取第一环境参数，并将所述第一环境参数传输至所述至少一个服务器；所述至少一个服务器具有与所述车载操作系统镜像的孪生操作系统，所述至少一个服务器基于所述孪生操作系统对所述第一环境参数进行处理，并将处理结果回传至所述车载终端；所述车载终端控制所述车载操作系统根据所述处理结果进行车辆控制。

在第一方面中，根据所述车载终端与所述服务器的计算能力和系统运行状态，确定进行通信连接的目标车载终端和目标服务器，所述目标车载终端用于基于所述车载操作系统获取所述第一环境参数，所述目标服务器用于基于所述孪生操作系统对所述第一环境参数进行处理。

在第一方面中，所述系统运行状态包括运行负载信息和场景需求信息。

在第一方面中，所述车载操作系统包括多个执行不同功能的功能模块，以及与所述功能模块对应的多个算子模块；所述孪生操作系统中包含有所述车载操作系统的部分或者全部的功能模块和算子模块。

在第一方面中，根据所述车载终端与所述服务器的计算能力和系统运行状态，确定所述目标车载终端中的车载操作系统中当前需调用的第一目标功能模块和第一目标算子模块，以及确定所述目标服务器的孪生操作系统中当前需调用的第二目标功能模块和第二目标算子模块。

在第一方面中，所述第一目标功能模块与所述第二目标功能模块不相同；所述第一目标算子模块与所述第二目标算子模块不相同。

在第一方面中，若所述目标服务器内配置有多个孪生操作系统，则所述目标服务器从所述多个孪生操作系统中选择与所述车载操作系统相同的目标孪生操作系统，并基于所述目标孪生操作系统对所述第一环境参数进行处理。

在第一方面中，若所述多个孪生操作系统中不存在与所述车载操作系统相同的目标孪生操作系统，则所述目标服务器根据所述车载操作系统生成第二孪生操作系统，并基于所述第二孪生操作系统对所述第一环境参数进行处理。

在第一方面中，所述至少一个服务器包括中心云服务器和多个边缘云服务器，所述边缘云服务器获取的第二环境参数对应的地理范围大于所述车载终端获取的第一环境参数对应的地理范围，所述中心云服务器获取的第三环境参数对应的地理范围大于所述边缘云服务器获取的第二环境参数对应的地理范围。

在第一方面中，所述目标服务器包括所述中心云服务器和所述多个边缘云服务器任一种的一个、多个、或者两种的组合。

在第一方面中，所述至少一个车载终端通过5g网络与所述至少一个服务器通信连接，所述5g网络包括5g接入网、5g核心网中的至少一种。

第二方面，提供了一种智能驾驶方法，应用于车载终端，所述车载终端与至少一个服务器进行通信连接，所述方法包括：基于车载操作系统获取第一环境参数，并将所述第一环境参数传输至所述至少一个服务器；获取所述至少一个服务器回传的处理结果，所述处理结果为所述至少一个服务器基于与所述车载操作系统镜像的孪生操作系统，对所述第一环境参数进行处理得到的处理结果；控制所述车载操作系统根据所述处理结果进行车辆控制。

第三方面，提供了一种终端设备，包括处理器和存储器。该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，执行如第二方面所述的智能驾驶方法。

第四方面，提供了一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如第二方面所述的智能驾驶方法。

第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如第二方面所述的智能驾驶方法。

第六方面，提供了一种计算机程序产品，包括计算机程序指令，计算机程序指令使得计算机执行如第二方面所述的智能驾驶方法。

第七方面，提供了一种计算机程序，当其在计算机上运行时，使得计算机执行如第二方面所述的智能驾驶方法。

本申请实施例提供一种智能驾驶系统、方法、设备及存储介质，该智能驾驶系统，包括至少一个车载终端，以及与至少一个车载终端通信连接的至少一个服务器；车载终端包括车载操作系统，车载终端基于车载操作系统获取第一环境参数，并将第一环境参数传输至至少一个服务器；至少一个服务器具有与车载操作系统镜像的孪生操作系统，至少一个服务器基于孪生操作系统对第一环境参数进行处理，并将处理结果回传至车载终端；车载终端控制车载操作系统根据处理结果进行车辆控制。本申请实施例在服务器端设有与车载操作系统镜像的孪生操作系统，并基于孪生操作系统对车载终端获取的第一环境参数进行处理，以将车载终端的车载操作系统的边界从车载终端扩展到服务器端，以实现车云协同计算，进而降低车载终端的计算负担，以及提升自动驾驶的智能性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的智能网联汽车车云协同计算的基础架构示意图。

图2为本申请实施例提供的智能驾驶系统的结构示意图。

图3为本申请实施例提供的智能驾驶系统的应用场景示意图。

图4为本申请实施例提供的一种智能驾驶方法的流程示意图。

图5为本申请实施例提供的智能驾驶装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着基于sdv和新型ee电气架构技术发展，具有自动驾驶功能的汽车在迅速普及推广。目前的新能源汽车的车载智能驾驶体系，实际上已经成为以具有高算力、分布式、高性能和异构式的复杂计算机系统所主导的域控制器，通过车载高速计算机网络和数据总线所实现的整体线控系统。

由于车载终端计算和存储资源的局限性，单车智能也在感知、定位、规划方面等功能存在其自身不可避免的局限性。比如体现为感知的盲区，算力的性价比取舍和决策逻辑方面具有不完整性的缺陷，该缺陷会对安全和舒适的自动驾驶造成不利影响。

另外，可以认为云端数据中心和云平台的存储资源和计算资源可以无限扩展，通过采用虚拟化、容器、虚拟化网络功能(virtualizenetworkfunction，vnf)、软件定义网络（softwaredefinednetwork，snd）等进行存储资源和计算资源的扩充，以实现灵活、可靠、可扩的各种云服务。

从通讯网络技术的发展来看，从v2x、lte、无线网络一直到5g通讯网络和边缘计算技术的发展和应用，网络通讯层已经可以支撑高速、低延时、高并发、分布式的数据通讯要求。

其中，v2x全称为vihicletoeverything，表示车与任何事物的联系，主要包括v2v车与车(vehicle)，v2i车与基础设施(vechiletoinfrainstructure)，v2p车与人(vehicletopeople)，v2n车与云（vehicletonetwork）。具体的，v2x为车辆通过传感器和网络通讯技术，与其它周边车、人、物进行通讯交流，并根据收集的信息进行分析、决策的一项技术。

基于上述的需求和技术发展的支撑，基于车云协同计算，利用云端无限算力和视角来提高单车智能，达到自动驾驶所需的安全可靠和舒适性要求是一个自然的融合和演进。

如图1所示，图1为本申请实施例提供的智能网联汽车车云协同计算的基础架构示意图。例如，该基础架构主要包括以下几个系统：

a)车载智能驾驶操作系统（on-vehicleoperatingsystem），如图中示出的车载os；

b)边缘云侧车载智能驾驶操作系统（edge-lightoperatingsystem），如图中示出的els；

c)中心云泛化智能驾驶协同操作系统（cloudfulloperatingsystem），如图中示出的cfs。

例如，该基础架构还包括其他子系统：

a)超高可靠超低时延通信（urllcnetwork）的通讯网络系统；

b)支持应用层的虚拟数据总线系统；

c)基于协同孪生（mirror）的车云一体应用功能体系；

d)信息安全和数据安全防御系统。

例如，可以通过协同孪生功能架构将车载智能驾驶操作系统上的功能和数据协同到边缘云侧轻载智能驾驶操作系统。例如，该边缘云侧车载智能驾驶操作系统和中心云泛化智能驾驶协同操作系统集成在智能网联汽车操作系统（intelligentconnectedvehicleoperationsystem，icvos）中，且可以通过协同孪生功能架构将边缘云侧车载智能驾驶操作系统与中心云泛化智能驾驶协同操作系统的功能和数据协同到icvos中。边缘云侧车载智能驾驶操作系统与中心云泛化智能驾驶协同操作系统之间可以通过超高可靠超低时延通信的通讯网络系统进行通讯交互。

如图2所示，图2为本申请实施例提供的具有智能网联汽车车云协同计算的智能驾驶系统的结构示意图。图2阐述了智能网联汽车车云协同计算基础架构的基本运作拓扑。

其中，该智能驾驶系统200，包括至少一个车载终端210，以及与所述至少一个车载终端200通信连接的至少一个服务器；车载终端200包括车载操作系统，所述车载终端基于所述车载操作系统获取第一环境参数，并将所述第一环境参数传输至所述至少一个服务器；所述至少一个服务器具有与所述车载操作系统镜像的孪生操作系统，所述至少一个服务器基于所述孪生操作系统对所述第一环境参数进行处理，并将处理结果回传至所述车载终端；所述车载终端控制所述车载操作系统根据所述处理结果进行车辆控制。

其中，车载终端210可以与车载传感器通信连接，车载传感器包括摄像头、微波雷达、毫米波雷达、超声波雷达、激光雷达等，实现车辆周围静态目标和动态目标的感知。可以通过车载传感器获取第一环境参数。例如，该第一环境参数可以包括车辆设备信息、车辆运动信息、周围环境信息和其他车辆信息等。

例如，车辆设备信息可以包括车辆的颜色、型号、车牌、法律状态、操控数据、使用数据、性能数据、用户数据、工况数据等。例如，操控数据可以包括加速、制动、驻车、档位、远近光/雾灯/位置灯、车窗、安全带、方向盘转角、方向盘转速、空调、音乐/fm/蓝牙、碰撞等级、碰撞检测等数据中的一种或多种。例如，使用数据可以包括里程、生命周期、行驶路段、行驶时间、行驶方向、行驶时段、行驶频次、单次行驶时长、拥堵时长、畅行时长、乘坐人数、进度/维度/海拔、翻滚角/俯仰角/横摆角、胎温/胎压、倒车雷达测距、探头、空调、车速/加速度、雨刷器状态等数据中的一种或多种。例如，性能数据可以包括油门踏板开度、制动踏板百分比、制动踏板状态、发动机转速、瞬时油耗、百公里油耗、剩余油量、百米加速等数据中的一种或多种。例如，用户数据可以包括兴趣、住址、公司、所属人群(比如自驾游人群、通勤族人群、自由职业人群、美食爱好人群、加班族人群等)、驾驶安全等级、不良行为频度、行程分析、常用路线、活动范围等数据中的一种或多种。例如，工况数据可以包括动力蓄电池电压电流温度、电机电压电流温度状态、发送机转速、发动机状态、怠速状态、节气门绝对位置、平均点火角度、主缸压力、进气温度、冷却液温度、abs状态、ebd状态、esp状态、车身稳定性控制状态、牵引力控制系统状态、警告信息。

例如，车辆运动信息可以包括当前位置、目标地点、行驶速度等信息。

例如，周围环境信息可以包括天气、道路类型、道路状况、道路限速、拥堵情况、poi、平顺\拥堵\爬坡\颠簸、交通事故、周边车辆信息、交通信号、交通标识等数据中的一种或多种。

例如，其他车辆信息可以为从云端服务器获取的其他车辆的环境参数。

车载终端210可以包括车载操作系统、车载应用模块、通信模块、信息安全模块、sdk工具等。例如，车载应用模块可以包括辅助驾驶、自动驾驶、拓展应用等应用模块。例如，车载操作系统（车载os）可以为车载智能驾驶操作系统，该车载os可以由多个层次构成，包括异构硬件、系统软件、功能软件和应用软件层。该车载os还可以通过中间件实现通信和应用管理。在通用数据驱动引擎框架上，可以通过车载os实现可插扩的感知、定位、融合、规划、控制、网联云控等各种高阶自动驾驶功能的算法。自动驾驶的算法由各种算法组件（也叫算子）组成。算子包括自动驾驶算子和非自动驾驶算子，算子有灵活的运行形态，可根据实际运行场景和系统运行状态进行静态或动态加载，卸载或重载。算子也有不同的微服务运行形态，比如以进程、虚拟机、容器等形态运行，还可以做细颗粒度的静态或动态的调度或调配。其中，车载os可以通过车云协同计算方式与至少一个服务器进行通信。车载os内的控制功能模块可以通过网联云控、车云协同计算、云孪生智能中的任一种或多种连接方式与其他系统进行通信。

其中，网联云控、车云协同计算、云孪生智能的连接方式可以基于5g网络来实现超高可靠超低时延通信的通信场景。

其中，车载终端210内的车载智能驾驶操作系统（车载os）上的通用数据流引擎运行各种实体插扩式算法和插扩式算法的运行载体，运行载体包括运行模板和数据接口抽象化。来自云控计算结果（处理结果）或者命令下发被可插扩算法的运行载体接受，直接参与车载终端自动驾驶的数据流的运行和逻辑运算。其中，插扩式算法是指智能驾驶所需的感知、融合、定位、跟踪决策规划和控制等算法可以根据具体的驾驶环境和情况，以及车辆的实时运行情况，可以静态的或者实时动态的进行替换，在智能驾驶软件的驱动和调度框架下进行加载、重载等，达到智能驾驶的性能、安全、舒适和高效的结果。可插扩算法与实体插扩算法，两者的对外接口和运行机制是一样的，不同之处为，实体插扩算法是一个真正的算法在运行，而可插扩算法的载体是一个空壳，可插扩算法的运行结果是从云端通过车云协同机制运行后下发的。

可选的，根据所述车载终端210与所述服务器的计算能力和系统运行状态，确定进行通信连接的目标车载终端和目标服务器，所述目标车载终端用于基于所述车载操作系统获取所述第一环境参数，所述目标服务器用于基于所述孪生操作系统对所述第一环境参数进行处理。

可选的，所述系统运行状态包括运行负载信息和场景需求信息。

例如，运行负载信息包括cpu占有率，当前计算任务量，目标算子是否被占用等。例如，场景需求信息可以包括感知场景、规划场景、控制场景等，还可以包括自适应巡航控制场景、自动紧急制动场景、自适应灯光控制场景、盲点监测场景、自动泊车场景等。

可选的，所述至少一个服务器包括中心云服务器230和多个边缘云服务器220，所述边缘云服务器220获取的第二环境参数对应的地理范围大于所述车载终端210获取的第一环境参数对应的地理范围，所述中心云服务器230获取的第三环境参数对应的地理范围大于所述边缘云服务器220获取的第二环境参数对应的地理范围。

可选的，所述目标服务器包括所述中心云服务器230和所述多个边缘云服务器220中的任一种的一个、多个、或者两种的组合。

例如，建立通信连接的目标车载终端和目标服务器，包括：至少一个车载终端210和至少一个边缘云服务器220；或者至少一个车载终端210、至少一个边缘云服务器220和一个中心云服务器230；或者至少一个车载终端210和一个中心云服务器230。

例如，当车载终端210内的车载os的计算能力和系统运行状态完全可以负担起对第一环境参数的计算任务时，可以仅在车载终端210对第一环境参数进行处理，而不用将第一环境参数发送至边缘云服务器220。例如，也可以将第一环境参数的计算任务中的部分任务编排在车载os进行处理，将第一环境参数的计算任务中的另一部分任务编排在边缘云服务器220或者中心云服务器230中的孪生os进行处理。例如，也可以将第一环境参数的计算任务全部编排在边缘云服务器220或者中心云服务器230中的孪生os进行处理，车载os只负责响应处理结果进行车辆控制。例如，当一个边缘云服务器220中的孪生os不能完全承担第一环境参数的计算任务时，可以将第一环境参数发送给两个或两个以上边缘云服务器220，以使得两个或两个以上的边缘云服务器220的孪生os一起承担第一环境参数的计算任务。

例如，边缘云侧和车载终端比较近，可以通过协同孪生、容器化和微服务化等实现智能驾驶的协同感知、融合、规划、控制、定位等各种功能。

例如，对于低配的廉价车辆，车载终端的高级驾驶辅助系统（advanceddrivingassistancesystem，adas）的功能和算力有限，可能只会运行少量局限性的智能驾驶感知或规划算法，或者只有车辆自身定位功能等，这种情况下，可以通过车云协同的方式，在边缘云服务器220和/或中心云服务器230运行完整的各种算法，借助云端无限算力，极大程度地弥补和增强车载终端智能驾驶能力，达到安全、高效出行的目的。

其中，边缘云服务器220可以包括孪生操作系统、应用模块、迁移模块、通信模块、信息安全模块、sdk工具、api接口等。例如，应用模块可以包括路侧感知、协同规划、自动驾驶、拓展应用等应用模块。例如，孪生操作系统（孪生os）可以为边缘云侧车载智能驾驶操作系统，该孪生os可以由多个层次构成，包括异构硬件、系统软件、功能软件和应用软件层。该孪生os还可以通过中间件实现通信和应用管理。其中，可以通过对车载终端210内的车载os进行镜像得到边缘云服务器220内的孪生os。在通用数据驱动引擎框架上，可以通过孪生os实现可插扩的感知、定位、融合、规划和控制等各种高阶自动驾驶功能的算法。自动驾驶的算法由各种算法组件（也叫算子）组成。算子包括自动驾驶算子和非自动驾驶算子，算子有灵活的运行形态，该孪生os也可以根据实际运行场景和系统运行状态进行静态或动态加载，卸载或重载。算子也有不同的微服务运行形态，比如以进程、虚拟机、容器等形态运行，还可以做细颗粒度的静态或动态的调度或调配。其中，边缘云服务器220内的孪生os可以通过车云协同计算方式和云孪生功能方式与至少一个车载终端210进行通信。孪生os内的规划功能模块可以通过车云协同计算和/或云孪生智能的方式与其他系统进行通信。规划功能模块还可以通过云孪生智能方式与应用模块中的路侧感知应用进行通信。

例如，边缘云服务器220可以是基于5g移动边缘计算（mobileedgecomputing,mec）技术的服务器，mec可以把云计算平台从移动核心网络内部迁移到移动接入网边缘，实现计算及存储资源的弹性利用。

其中，中心云服务器230可以包括孪生操作系统、应用模块、通信模块、信息安全模块、数据及应用服务等。例如，应用模块可以包括故障诊断、交通节能、全局规划、拓展应用等应用模块。例如，中心云服务器230内的孪生操作系统（孪生os）可以为中心云泛化智能驾驶协同操作系统，该孪生os可以由多个层次构成，包括异构硬件、系统软件、功能软件和应用软件层。该孪生os还可以通过中间件实现通信和应用管理。其中，可以通过对车载终端210内的车载os进行镜像得到中心云服务器230内的孪生os。在通用数据驱动引擎框架上，可以通过孪生os实现可插扩的感知、定位、融合、规划和控制等各种高阶自动驾驶功能的算法。自动驾驶的算法由各种算法组件（也叫算子）组成。算子包括自动驾驶算子和非自动驾驶算子，算子有灵活的运行形态，该孪生os也可以根据实际运行场景和系统运行状态进行静态或动态加载，卸载或重载。算子也有不同的微服务运行形态，比如以进程、虚拟机、容器等形态运行，还可以做细颗粒度的静态或动态的调度或调配。其中，中心云服务器230内的孪生os可以通过网联云控方式与至少一个车载终端210进行通信。孪生os内的规划功能模块可以通过车云协同计算和/或云孪生智能的方式与其他系统进行通信。规划功能模块还可以通过云孪生智能方式与应用模块中的路侧感知应用进行通信。其中，中心云服务器230与边缘云服务器220之间通过5g网络实现超高可靠超低时延通信的通信场景。

其中，中心云服务器230与车载终端210、边缘云服务器220通信连接，中心云服务器230可以实现车云计算、全局管理、算力编排、监控可视平台等功能。中心云服务器230可以监控各个车载终端210和边缘云服务器220的系统运行状态，以实现全局管理和中央调度，可以灵活调度计算任务，平衡各个车载终端210和边缘云服务器220的计算任务。

其中，中心云服务器230可以实现全栈泛化智能汽车操作系统功能，包括自动驾驶和非自动驾驶的功能，通过协同孪生的体系，利用成熟的云平台部署和管理系统，在中心云端实现全局的部署，管理和数据分析体系，并在全局范围内收集各种数据，对自动驾驶和非自动驾驶的各种算法模型，利用人工智能大数据分析技术进行反复迭代训练，并实现云端，边缘云侧和车载终端的协同闭环。全栈泛化智能汽车操作系统是指一个功能完整的智能汽车操作系统，泛化是指每个功能会做扩展和增强，变成更优化更强大的操作系统。

可选的，所述车载操作系统包括多个执行不同功能的功能模块，以及与所述功能模块对应的多个算子模块；

所述孪生操作系统中包含有所述车载操作系统的部分或者全部的功能模块和算子模块。

可选的，根据所述车载终端与所述服务器的计算能力和系统运行状态，确定所述目标车载终端中的车载操作系统中当前需调用的第一目标功能模块和第一目标算子模块，以及确定所述目标服务器的孪生操作系统中当前需调用的第二目标功能模块和第二目标算子模块。

可选的，所述第一目标功能模块与所述第二目标功能模块不相同；所述第一目标算子模块与所述第二目标算子模块不相同。

例如，根据车载终端210与服务器的计算能力和系统运行状态进行功能模块和算子模块的调用，比如确定目标车载终端210中的车载os中当前需调用定位功能和定位算子模块，确定目标服务器的孪生os中当前需调用规划功能和规划模块。例如，孪生os可以承担第一环境参数的计算任务中大部分计算任务或全部计算任务，因此，第二目标算子模块的计算能力可以大于第一目标算子模块的计算能力。

可选的，若所述目标服务器内配置有多个孪生操作系统，则所述目标服务器从所述多个孪生操作系统中选择与所述车载操作系统相同的目标孪生操作系统，并基于所述目标孪生操作系统对所述第一环境参数进行处理。

可选的，若所述多个孪生操作系统中不存在与所述车载操作系统相同的目标孪生操作系统，则所述目标服务器根据所述车载操作系统生成第二孪生操作系统，并基于所述第二孪生操作系统对所述第一环境参数进行处理。

例如，若目标服务器中已配置的多个孪生os存在与车载os相同的孪生os时，则选择与车载os相同的孪生os对第一环境参数进行处理。若目标服务器中已配置的多个孪生os不存在与车载os相同的孪生os时，则在当前时刻镜像车载os以在目标服务器端重新生成第二孪生os，并基于第二孪生os对第一环境参数进行处理。

其中，可以通过协同孪生功能架构，把车载智能驾驶操作系统的边界从车载终端，扩展到边缘云侧，根据各种云端的计算能力和具体运行要求，边缘云侧可以运行部分自动驾驶智能操作系统的功能，包括某个或者某些算法，并通过超低延时的通讯网络实现车载终端和边缘云侧的实时通讯、协同感知、规划和控制。并实现从云端对于车载终端的数据和命令的下发和控制。该边界可以理解为是将车载智能驾驶操作系统的控制对象和os功能从原来的车载终端推展到了边缘云侧，即将车载os镜像到边缘云侧，以在边缘云侧形成孪生os。通过边缘云侧的孪生os对第一环境参数进行处理，得到处理结果，然后将处理结果回传至车载终端210，车载终端210控制车载os根据处理结果进行车辆控制。由于处理结果是通过与车载os具有相应算子模块和功能模块的孪生os处理得到的，车载os直接使用该处理结果进行车辆控制，数据兼容性更强，响应速度更快。

其中，协同孪生是利用数字孪生和5g高速通讯网络技术，在边缘云或中心云端构造车载智能驾驶操作系统在数字世界中的物理模型镜像，数字世界里的智能驾驶操作系统有不同的运行形态和不同的颗粒度，可以是单个算子的容器，也可以是多个算子组成的功能运行体等。比如智能驾驶系统200中的孪生os基于协同孪生技术来实现。

其中，云端（边缘云或中心云）可以通过数字孪生体系，将车载os镜像后得到孪生os，通过孪生os运行一个或多个车载终端自动驾驶的部分或者完整的算法和数据处理流程，并可以将各个最后的或中间节点的运行结果通过云控系统下发车载终端210，根据实际运行情况和要求，实现车云协同的紧耦合或松耦合。该数字孪生也可以理解为数字镜像孪生。

数字孪生是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。数字孪生就是在虚拟环境中建立一个和现实世界一致的模型。现实世界各种动态可以在虚拟环境里同步更新，而在虚拟环境中做的各种仿真测试、分析优化的结果，可以用来作为指导和干预现实世界决策与行为的重要依据，从而实现现实世界与虚拟环境之间信息互通、状态互动。例如，数字孪生应用在自动驾驶测试场景时，自动驾驶数字孪生测试vril(virtualrealityintheloop)是真实的车辆行驶在真实的测试场地中，同时映射到虚拟的测试环境中的整车闭环测试。在虚拟仿真系统中建立环境、道路、交通参与者、测试车辆的模型及其配置的传感器模型，虚拟传感器在仿真环境中探测到的目标信息发送给搭载自动驾驶算法的测试车辆进行信息融合与决策控制，测试车辆在测试场地内运行的同时，测试车辆的运动状态信息采集并反馈给虚拟场景，从而完成虚、实状态的同步，实现整个数字孪生系统的闭环实时仿真测试。另外，结合场景库数据，可以快速的设置贴近真实交通环境的测试条件，有效提升测试的效率与真实度。

其中，车载os的自动驾驶算法有多种运行形态，成为各种微服务体，微服务化了的算子模块可以在车载终端210运行，也可以在边缘云服务器220运行，最后通过复合仲裁逻辑运算实现算法的最优化计算结果；另一方面，车载os的每个感知、定位、规划、控制等功能，都可以由车载终端和云端的算子通过协同孪生共同实现。例如，复合仲裁逻辑运算可以有多种逻辑运算，比如从简单的n取1，到基于规则的推理运算，到利用复杂算法的推理，到使用高级人工智能ai模型和深度学习运算得出结果。

可选的，所述至少一个车载终端通过5g网络与所述至少一个服务器通信连接，所述5g网络包括5g接入网、5g核心网中的至少一种。

例如，可以利用5g通讯技术，实现超低延时的通讯网络，保证车云协同计算所需的实时性，可靠性和可扩展性。另一方面，基于网络通讯协议，建立跨网络、跨域、跨界的虚拟应用数据总线，实现服务发现、服务订阅和发布、应用数据的通用、存储和管理等功能。例如，可以通过5g接入网（5gnr）、5g核心网（5gc）、超可靠低时延通信（urllc）实现车云通信连接。

其中，可以利用成熟信息安全和数据安全技术，实现车-边-云端到端的全局纵向纵深防护，实现云端全局威胁态势感知，车载终端可信计算环境，安全数据收集、通讯、存储和隐私防护等功能。

例如，如图3所示，将车载终端的智能驾驶功能和应用通过协同孪生和微服务，扩展到边缘云和中心云端，使得云端具有镜像了车载os的孪生os，以成为原生态云计算体系，车-边-云自然的融为一体，弥补车载终端智能驾驶的物理局限性，形成由云端与车载终端融合的逻辑单车，提高了单车智能，并通过态势智能驾驶和智能网联，提高出行的安全性、舒适性和经经济性。在本申请实施例中，整个智能驾驶的操作系统算法和功能可以根据实际的运行环境和实际的运行状态，通过协同孪生和微服务容器化，以及通过5g高速通讯网络，实现实时的协同感知、定位、规划和控制，整个智能驾驶的操作系统从车载终端扩展到边缘云和中心云端，成为云原生的一个整体。不再有明显的物理边界和功能边界，单车智能和其他非智能驾驶应用可以得到原生态的支持。

具体的，将车载智能驾驶操作系统（车载os）的算法和功能，通过容器化和虚拟化，形成不同颗粒度的云原生运行体，通过5g超低延时网络和边缘计算的部署技术，自由灵活的在车载终端或云端激活和运行，或在云端通过数字孪生的技术，实现协同孪生、协同智能驾驶。本申请实施例打破了智能驾驶的车载操作系统在车载终端的边界，使得智能驾驶的车载操作系统的功能和应用从车载终端扩展到云端，成为自然的一体，并根据实际驾驶场景的需求和车载操作系统实时性能和算力的运行情况，进行灵活的调配和协同计算，弥补或提高单车智能，达到安全，高效，舒适的智能驾驶目的。

其中，车载终端智能驾驶所需的功能和算法微服务化，通过高速低延时的数据网络，根据实际设计运行区域（odd）场景和要求，也根据当前车载终端计算资源的动态状况，在车载终端和边缘云和中心云服务器230实现分布式灵活部署和运行，通过纵向协同和横向协同，实现智能驾驶算法的算力和性能的最优化。通过智能网联操作系统在车载终端、边缘云和中心云三端的协同和映射，也可以支持更多非自动驾驶应用开发。例如，非自动驾驶应用可以包括发动机节能应用、车内温控应用等。

例如，微服务化可以是根据具体的驾驶场景，实时动态系统资源，把智能驾驶的算法和功能按照不同颗粒度进行容器化或虚拟化，可以灵活的打包，部署和调度加载。

例如，在封闭高速、城市道路、小区等不同的驾驶环境中，对于智能驾驶的算法和规范要求存在差异，不同车辆的智能驾驶配置和算力也会存在差异，通过边缘云和云端协同孪生和协同智能，可以弥补车载终端智能的不足和单车智能的不足。

云端的智能驾驶感知、规划和控制数据或运算结果通过云控架构和高速低延时通讯网络和通讯协议，下发到车载终端通用云控算法载体，被数据流驱动引擎加载调度，实现云控车联网。

通过协同孪生，将车载终端功能运行在云端（车载终端部分与云端部分共同构成一个逻辑的单车），实现了车云计算的ee架构新模式。逻辑单车可以与云端的其他各种功能、服务直接互动，进一步提高车辆自动驾驶的水平和安全性。同时也涵盖了传统的网联云控功能。

上述所有的技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

本申请实施例提供的智能驾驶系统，包括至少一个车载终端，以及与至少一个车载终端通信连接的至少一个服务器；车载终端包括车载操作系统，车载终端基于车载操作系统获取第一环境参数，并将第一环境参数传输至至少一个服务器；至少一个服务器具有与车载操作系统镜像的孪生操作系统，至少一个服务器基于孪生操作系统对第一环境参数进行处理，并将处理结果回传至车载终端；车载终端控制车载操作系统根据处理结果进行车辆控制。本申请实施例在服务器端设有与车载操作系统镜像的孪生操作系统，并基于孪生操作系统对车载终端获取的第一环境参数进行处理，以将车载终端的车载操作系统的边界从车载终端扩展到服务器端，以实现车云协同计算，进而降低车载终端的计算负担，以及提升自动驾驶的智能性。

请参阅图4，图4为本申请实施例提供的智能驾驶方法的流程示意图。应用于车载终端，所述车载终端与至少一个服务器进行通信连接，该方法包括：

步骤401，基于车载操作系统获取第一环境参数，并将所述第一环境参数传输至所述至少一个服务器；

步骤402，获取所述至少一个服务器回传的处理结果，所述处理结果为所述至少一个服务器基于与所述车载操作系统镜像的孪生操作系统，对所述第一环境参数进行处理得到的处理结果；

步骤403，控制所述车载操作系统根据所述处理结果进行车辆控制。

例如，所述至少一个服务器包括中心云服务器和多个边缘云服务器中任一种的一个、多个、或者两种的组合。

例如，车载终端将所述第一环境参数上报至与该车载终端的地理位置范围最靠近的第一边缘云服务器，第一边缘云服务器根据其自身的计算能力和系统运行状态确定是否能完全承担该第一环境参数的计算任务，若第一边缘云服务器能完全承担该第一环境参数的计算任务，则由该第一边缘云服务器内的孪生os对该第一环境参数进行处理，并将处理结果回传至车载终端，最后由车载终端控制车载操作系统根据处理结果进行车辆控制。

例如，车载终端将所述第一环境参数上报至与该车载终端的地理位置范围最靠近的第一边缘云服务器，第一边缘云服务器根据其自身的计算能力和系统运行状态确定是否能完全承担该第一环境参数的计算任务，若第一边缘云服务器不能完全承担该第一环境参数的计算任务，则该第一边缘云服务器将自身计算能力、系统运行状态及该第一环境参数上报至中心云服务器，由中心云服务器进行算力编排。例如，将第一环境参数的计算任务内的子任务分别由与该车载终端的地理位置范围较靠近的第一边缘云服务器和第二边缘云服务器进行处理，二者分别将处理结果回传至车载终端，最后由车载终端控制车载操作系统将而二者的处理结果进行汇总，然后根据汇总后的处理结果进行车辆控制。例如，将第一环境参数的计算任务由中心云服务器进行处理，中心云服务器将处理结果回传至车载终端，最后由车载终端控制车载操作系统根据处理结果进行车辆控制。

例如，所述处理结果可以包括故障诊断信息、感知信息、定位信息、融合信息、规划信息、控制信息等智能驾驶信息，具体的，根据驾驶环境、车辆实时运行情况和场景需求等信息生成任务请求，根据任务请求对第一环境参数进行处理后，得到与任务请求相匹配的处理结果。

例如，若任务请求为盲点监测，则基于车载os控制与车载终端连接的微波雷达、摄像头获取包含有周围环境信息的第一环境参数，进而通过至少一个服务器上的孪生os对该包含有周围环境信息的第一环境参数进行处理，以得到处理结果，该处理结果指示车辆两侧的后视镜盲区中存在超车车辆或者不存在超车车辆。车载终端根据该处理结果对驾驶者进行提醒，从而避免在行驶或变道过程中由于后视镜盲区而发生事故。

例如，若任务请求为自动泊车，则基于车载os控制与车载终端连接的摄像头、超声波传感器以及红外传感器等，获取包含有停车位置信息和车位环境信息的第一环境参数，进而通过至少一个服务器上的孪生os对该包含有停车位置信息和车位环境的第一环境参数进行处理，以得到处理结果，该处理结果包括绘制的停车地图和实时动态规划的泊车路径。车载终端根据该处理结果控制车辆自动操控方向盘和刹车驶入停车位置。

例如，若任务请求为自适应巡航控制，在车辆行驶过程中，基于车载os控制与安装在车辆前部的车距传感器持续扫描车辆前方道路，同时轮速传感器采集车速信号，以获取包含有车辆前方道路信息和车速信号的第一环境参数，进而通过至少一个服务器上的孪生os对该包含有车辆前方道路信息和车速信号的第一环境参数进行处理，以得到处理结果，该处理结果包括当前车辆与前方车辆之间的距离。车载终端根据该处理结果进行车辆控制，比如若当前车辆与前方车辆之间的距离小于预设安全距离，可以通过控制车轮适当制动、控制发动机的输出功率下降等方式，以使车辆与前方车辆始终保持安全距离。

例如，若任务请求为自动紧急制动，在车辆行驶过程中，基于车载os控制与车载终端连接的毫米波雷达、激光雷达、声纳雷达、红外线传感器、摄像头等同步实时监测前方障碍物，前方障碍物包括移动的车辆、行人以及自行车等，以获取包含有本车速度、前方障碍物速度以及本车与前方障碍物之间的距离的第一环境参数，进而通过至少一个服务器上的孪生os对该包含有本车速度、前方障碍物速度以及本车与前方障碍物之间的距离的第一环境参数进行处理，以得到处理结果，该处理结果包括当前车辆与前方车辆之间的距离是否小于安全距离、预计碰撞时间和危险程度等。车载终端根据该处理结果进行车辆控制，比如若当前车辆与前方车辆之间的距离小于安全距离，可以发出报警及刹车指令等。

例如，若任务请求为车道偏离预警，在车辆行驶过程中，基于车载os控制安装在车身侧面或后视镜位置的摄像头时刻采集包含有行驶车道的标识线的第一环境参数，进而通过至少一个服务器上的孪生os对该包含有行驶车道的标识线的第一环境参数进行图像处理，获取车辆在当前车道中的位置参数，并根据车辆在当前车道中的位置参数确定车辆是否偏离车道，以得到车辆是否偏离车道的处理结果。车载终端根据该处理结果进行车辆控制，比如若当前车辆偏离车道，可以发出预警信号等。

上述所有的技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

本申请实施例通过基于车载操作系统获取第一环境参数，并将第一环境参数传输至至少一个服务器；获取至少一个服务器回传的处理结果，处理结果为至少一个服务器基于与车载操作系统镜像的孪生操作系统，对第一环境参数进行处理得到的处理结果；控制车载操作系统根据处理结果进行车辆控制。本申请实施例在服务器端设有与车载操作系统镜像的孪生操作系统，并基于孪生操作系统对车载终端获取的第一环境参数进行处理，以将车载终端的车载操作系统的边界从车载终端扩展到服务器端，以实现车云协同计算，进而降低车载终端的计算负担，以及提升自动驾驶的智能性。

图5为本申请实施例提供的智能驾驶装置的示意性结构图，如图5所示，智能驾驶装置500可以包括：通信接口501，存储器502，处理器503和通信总线504。通信接口501，存储器502，处理器503通过通信总线504实现相互间的通信。通信接口501用于装置500与外部设备进行数据通信。存储器502可用于存储软件程序以及模块，处理器503通过运行存储在存储器502的软件程序以及模块，例如前述方法实施例中的相应操作的软件程序。

在一些实施例中，该处理器503可以调用存储在存储器502的软件程序以及模块执行如下操作：

基于车载操作系统获取第一环境参数，并将所述第一环境参数传输至所述至少一个服务器；获取所述至少一个服务器回传的处理结果，所述处理结果为所述至少一个服务器基于与所述车载操作系统镜像的孪生操作系统，对所述第一环境参数进行处理得到的处理结果；控制所述车载操作系统根据所述处理结果进行车辆控制。

在一些实施例中，智能驾驶装置500例如可以集成在具备储存器并安装有处理器而具有运算能力的终端或服务器中，或者该智能驾驶装置500为该终端或服务器。该终端可以为智能车辆、轮式移动机器人等。该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。

在一些实施例中，本申请还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。例如，该计算机设备可以为车载终端设备。

本申请实施例还提供了一种计算机可读存储介质，用于存储计算机程序。该计算机可读存储介质可应用于计算机设备，并且该计算机程序使得计算机设备执行本申请实施例中的智能驾驶方法中的相应流程，为了简洁，在此不再赘述。

本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得计算机设备执行本申请实施例中的智能驾驶方法中的相应流程，为了简洁，在此不再赘述。

本申请实施例还提供了一种计算机程序，该计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得计算机设备执行本申请实施例中的智能驾驶方法中的相应流程，为了简洁，在此不再赘述。

应理解，本申请实施例的处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器（digitalsignalprocessor，dsp）、专用集成电路（applicationspecificintegratedcircuit，asic）、现成可编程门阵列（fieldprogrammablegatearray，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

可以理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（read-onlymemory，rom）、可编程只读存储器（programmablerom，prom）、可擦除可编程只读存储器（erasableprom，eprom）、电可擦除可编程只读存储器（electricallyeprom，eeprom）或闪存。易失性存储器可以是随机存取存储器（randomaccessmemory，ram），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器（staticram，sram）、动态随机存取存储器（dynamicram，dram）、同步动态随机存取存储器（synchronousdram，sdram）、双倍数据速率同步动态随机存取存储器（doubledataratesdram，ddrsdram）、增强型同步动态随机存取存储器（enhancedsdram，esdram）、同步连接动态随机存取存储器（synchlinkdram，sldram）和直接内存总线随机存取存储器（directrambusram，drram）。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

应理解，上述存储器为示例性但不是限制性说明，例如，本申请实施例中的存储器还可以是静态随机存取存储器（staticram，sram）、动态随机存取存储器（dynamicram，dram）、同步动态随机存取存储器（synchronousdram，sdram）、双倍数据速率同步动态随机存取存储器（doubledataratesdram，ddrsdram）、增强型同步动态随机存取存储器（enhancedsdram，esdram）、同步连接动态随机存取存储器（synchlinkdram，sldram）以及直接内存总线随机存取存储器（directrambusram，drram）等等。也就是说，本申请实施例中的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。