用于致动技术设备的神经网络的虚拟训练方法与流程

背景技术：

1、近来，神经网络在自主系统的开发方面取得了巨大进展，这些自主系统可以在不断变化的环境中独立执行复杂的移动模式或监视任务。但是，这方面的问题是为了充分训练神经网络需要大量的训练数据，特别是当神经网络用于其中错误识别可能导致灾难性后果的安全关键任务时。示例包括用于道路交通的自动驾驶车辆、识别湖中溺水者的智能监视相机、或者搜索区域或建筑物寻找受伤人员的救援机器人。此类系统不仅需要特别大量的多样化训练数据，以便最佳地排除因训练过少或过于片面而导致的故障，而且训练数据还必须包含大量描绘要训练神经网络来可靠地识别和处理的灾难性或关键场景的数据。由于这些场景本质上很少发生，因此对应的数据收集也很少，这意味着收集足够的训练数据需要巨大的工作量。

2、现有技术对此问题的一种已知解决方案是使用计算机模拟生成合成训练数据。在这种情况下，在虚拟环境中重建用于训练神经网络的场景，并且基于重建的场景以神经网络可以理解的形式生成训练数据。以这种方式，虚拟场景可以根据期望轻松变化。但是，一般而言，合成数据并不能完美地重建现实世界的数据，因此原则上存在神经网络习惯于合成训练数据并且没有针对现实世界使用进行充分训练的风险。

3、科学论文“synthetic data for deep learning”，sergey i.nikolenko(2019)，包含了相关现有技术的全面概述。该论文列出了已在虚拟环境中成功训练的神经网络的不同示例。但是，这些只是学术研究，仅证明原则上可以这样做。这并没有改变合成训练数据越真实，使用这些合成数据训练的神经网络越可靠的事实。

技术实现思路

1、本发明涉及借助于合成训练数据来训练用于致动技术设备的神经网络。在这种情况下，如果技术设备是受到严格安全要求的设备，例如高度自动化的车辆，那么必须使用具有高度真实性的合成训练数据进行训练，以确保神经网络在虚拟环境中学习到的能力可以延续到现实世界。因此，有必要提供技术设备的虚拟模拟，使神经网络产生一种出色的、几乎完美它正在现实世界中致动技术设备的幻觉。但是，模拟模型的真实性与其执行速度成反比，因为在模拟中考虑的设备技术组件以及物理现象和交互越多，技术设备的模拟模型的行为就越真实。因此，对尽可能高的真实性的要求与对尽可能快的模拟执行速度以便在合理的时间范围内结束训练的要求相冲突。

2、在此背景下，本发明的目的是加速用于在虚拟训练环境中致动技术设备的神经网络的训练。

3、专利公开de 10 2018 220 865 a1提出了一种训练方法，该方法从纯粹的虚拟训练环境开始，并逐渐用真实世界的训练环境代替虚拟训练环境，以便使神经网络在后期的训练阶段逐渐适应更复杂的现实世界。虽然该方法允许使用相对简单的模拟，但后续的训练阶段依赖于现实世界的训练数据，这具有上面提到的相关联的缺点。

4、本发明是一种训练用于致动技术设备的神经网络的方法，以及用于执行该方法的虚拟训练环境。根据本发明，在待训练的神经网络和技术设备的第一模拟之间建立第一数据链路。为此，第一模拟配备有第一数据接口，借助于该第一数据接口，神经网络可以从第一模拟读出状态数据并将控制数据传送到第一模拟。

5、优选地，第一数据接口重建技术设备的真实世界数据接口，神经网络旨在一旦其训练完成并经过验证就使用所述数据接口来致动真实世界技术设备。状态数据应当被理解为向神经网络提供关于技术设备的当前状态的信息并且神经网络需要该信息来致动技术设备的数据。控制数据应当被理解为适合于将技术设备的当前状态改变为由神经网络指定的技术设备的目标状态的数据。例如，如果技术设备是基于陆地的车辆，那么可能的状态数据的示例是距路边标记线的距离、车辆的速度、距前方车辆的距离、接合的档位、车辆的侧倾角或车辆周围环境的描述，并且可能的控制数据的示例是转向角、节气阀的开度或制动力。

6、另外，设置用于致动第一模拟的第一训练目标，并且通过由神经网络致动的第一模拟来训练神经网络，神经网络的训练进度对照第一训练目标进行定期检查。

7、根据本发明，继续使用第一模拟来训练神经网络，直到神经网络实现第一训练目标。一旦实现了第一训练目标，第一数据链路就被断开，并且在神经网络和第二虚拟模拟之间建立第二数据链路。第二模拟被配置为比第一模拟更真实，并且由于其更高程度的真实性，在模拟周期内需要比第一模拟更多的数学运算。第二数据链路借助于第二模拟的第二数据接口来建立，用于从第二模拟读出状态数据并将控制数据传送到第二模拟。

8、模拟周期是指模拟的模拟步骤，特别是时间步骤的完整执行。

9、根据本发明，因此在训练的早期阶段使用技术设备的相对简单但作为回报快速的模拟模型。一旦神经网络令人满意地掌握了简单模拟模型的致动，如所实现的训练目标所指示的，简单的模拟模型就会被更复杂且更慢但作为回报更现实的模拟模型替换，并且由神经网络致动的第二模拟继续进行训练。

10、本发明的低层假设是模拟模型在早期训练阶段不需要非常现实，因为此时神经网络仍在学习基础知识。对于该示例解释，假设神经网络将被训练以基于根据本发明的方法来操纵自动驾驶道路车辆。未经训练的神经网络首先需要理解其任务实际涉及什么(将车辆保持在右侧边缘标记和中心线之间)以及如何以基本术语掌握此任务(负转向角使车辆向左行驶，正转向角使其向右行驶)。

11、对车辆进行非常简单的模拟就足以学习这些基础知识。一旦神经网络令人满意地学习了它们，第一模拟就被车辆的第二模拟替换，第二模拟考虑更复杂的现象，例如侧倾角、弯道上的不稳定性、驾驶舒适度、打滑状况或侧风。本发明的概念是所谓“迁移学习”的特殊应用，其中神经网络的预先学习的能力被用作学习另一种能力的优势(在这种情况下：致动更真实的模拟)。在出于安全原因必须使用非常复杂、真实的模拟来进行训练的训练场景中，本发明导致显著的时间节省。

12、有利的是，设置用于致动第二模拟的第二训练目标，并且通过致动第二模拟来训练神经网络，直到实现第二训练目标。为此，在第二模拟的致动期间，对照第二训练目标检查神经网络的训练进度。第二训练目标可以与第一训练目标相同或者与第一训练目标不同。一旦实现了第二训练目标，就可以认为训练完成，并且可以在神经网络和现实世界中的技术设备之间建立物理数据链路，以验证神经网络在现实世界中的训练。但是，不言而喻，也可以在现实世界验证之前通过致动第三模拟和技术设备的任何数量的进一步模拟来继续在虚拟训练环境中进行训练，技术设备的每次模拟的真实性在每种情况下都大于之前的模拟。一旦实现了相关训练目标，就终止模拟的致动，并且在每种情况下都会发生向相关的下一次模拟的致动的转变，类似于关于第一模拟和第二模拟的示例所解释的。

13、第一数据接口和第二数据接口优选地相同地配置，使得第一数据链路可以立即被第二数据链路替换，而不修改由神经网络操作的数据交换。

14、有利的是，模拟技术设备包括生成模拟传感器数据，其包含关于技术设备的虚拟环境的信息。当然，这些传感器数据的性质取决于技术设备以及训练神经网络要完成的任务。举例来说，传感器数据可以是基于虚拟环境中的模拟移动或静态对象、车道边界、环境中基于多边形的表面重建或来自图像生成传感器，特别是来自相机、激光雷达、雷达或回声定位器的原始数据生成的对象列表。虚拟传感器数据被传送到神经网络，并且神经网络被训练来评估传感器数据并在致动相关模拟并最终致动技术设备时将其考虑在内。

15、不言而喻，模拟传感器数据必须以神经网络可以理解的格式生成，特别是以与技术设备中也可用的真实世界传感器数据相同的格式生成。现有技术中已有基于虚拟环境可信地模拟传感器数据的解决方案。例如，参见科学论文“development of full speedrange acc with sivic,a virtual platform for adas prototyping,test andevaluation”，dominique gruyer等人，ieee intelligent vehicle symposium(2013年)。

16、在本发明的扩展阶段，也可以同时对虚拟环境进行改变，以增加技术设备的模拟的复杂性。这些可能是纯粹的几何变化，以确保神经网络学习泛化，而不是简单地牢记特定虚拟环境中的移动模式。但是，这些变化也可以是对虚拟环境的对技术设备的模拟行为产生根本性影响的扩展，使得模拟行为更加真实，并且可能对神经网络提出更高的要求。

17、技术设备优选是机器人。机器人应当被理解为借助于计算机、特别是神经网络的致动而被赋予执行独立的、复杂的移动模式以便执行预定义活动的能力的任何装置。特别地，技术设备可以是至少部分自动化的陆运工具、船只或飞行器、机器人臂、用于放置或附着材料和/或对象、用于清洁表面、用于检查空间或表面、用于施加化学物质(例如，用于进行医疗干预的清洁剂、消毒剂、油漆、清漆或涂料)的机器人、或者上述类别机器人的任意组合。

18、训练目标也可以取决于技术设备的类型和神经网络要学习的任务进行不同的配置。例如，它可以是在虚拟训练课程或虚拟测试路线上行驶的预定义路段、在没有任何碰撞的情况下或在预定义移动范围内执行的预定义数量的移动模式、神经网络正确致动第一模拟且没有发生任何非期望事件的预定义时间段、或者针对基于其训练神经网络的奖励函数达到的预定义阈值。奖励函数经常用于训练神经网络，以便在训练期间评估神经网络的输出是否构成对早期训练阶段的改进。奖励函数的定义使得其结果可以显示神经网络如何很好地掌握其特定任务。已导致改善的神经元和突触配置被保留作为进一步训练步骤的基础，并且已导致损害的配置被拒绝。

19、存在不同的选项用于将第二模拟配置为比第一模拟更真实。例如，第二模拟可以比第一模拟考虑更多的技术设备的机械和/或电气部件、它可以考虑更多的机械自由度、它可以更真实地或更高准确度地模拟物理现象和规律、它可以考虑更多数量的物理力或相互作用、或者可以具有更小的模拟步长。