模型监控和异常识别的制作方法

背景技术：

1、例如，由于计算机视觉算法的广泛使用，机器学习模型越来越多地应用于车辆中。越来越多数量的车内外的摄像机时刻监控内部和外部的车辆环境。

2、例如，在高性能片上系统(soc)上使用针对机器学习的模型，这些片上系统通常使用到各种类型的硬件加速器来减轻cpu内核的负载。

3、原则上必须确保：不仅仅机器学习模型而且运行它的硬件都按预期工作。例如，iso 21448标准中处理了对所设功能性的安全性的要求。此外，还应提出符合iso 26262标准的功能安全性要求。这例如在iso 26262标准的意义上非安全的操作系统或非安全的硬件加速器被使用的情况下就很重要。一般来说，由soc和其他技术模块(baustein)(例如工作存储器、电源等)组成的复杂系统是完全由根据iso26262开发的模块组成的这种情况是很少见的。因此，此类系统往往会明确定义一条关键路径，并对其进行特殊保护。

技术实现思路

1、本公开描述了一种用于监控模型的方法。

2、一种实施方式涉及的是计算机实现的用于监控功能模型(funktionsmodell)的方法，该功能模型针对受计算机控制的机器的至少一个功能、特别是图像识别算法提供数据，其中所述功能模型在至少一个第一处理步骤中基于输入数据确定至少一个中间结果，并且其中所述功能模型基于所述中间结果在至少一个进一步的处理步骤中确定功能模型的输出，并且其中将所述中间结果和功能模型的输出提供给监控模型以用于异常识别，并且基于所述中间结果和所述功能模型的输出来执行异常识别，并且其中执行用于验证所述功能模型的功能性和/或所述监控模型的功能性的至少一个步骤。在此，所述至少一个第一处理步骤的中间结果和所述功能模型的输出是在如下意义上交叠的()，使得在错误情况下，即存在异常的情况下，所述错误情况通过执行链(exekutionskette)而传播。

3、在本发明的范畴内，功能模型(funktions-modell)被理解为：适合于针对受计算机控制的机器的至少一个功能提供数据的模型，特别是算法。

4、这种模型的一个示例是硬件和/或软件支持的图像识别算法，其被设计为基于输入数据(在这种情况下特别是数字图像数据)确定输出数据。这种算法例如是分类算法。然而，在异常识别的上下文中证实为有利的是，使该模型是回归算法。然而，这并不排除：模型或模型下游的应用程序进行最终分类。

5、规定为：功能模型在至少一个第一处理步骤中基于输入数据、例如基于推理来确定至少一个中间结果。在至少一个进一步的处理步骤、例如后处理步骤(nachbearbeitungsschritt)中，也称为post-processing，功能模型基于中间结果确定功能模型的输出。

6、不仅中间结果而且所述输出都需要使用监控模型受到(unterziehen)异常识别。在异常识别中，检查受监控的功能模型的结果是否存在异常，例如所谓的异常值(ausreiβer)。异常识别的一个挑战在于，在基于目标功能(sollfunktion)的不正确执行的真“异常值”与假“异常值”之间进行区分，其中在假“异常值”的情况下，通过输入突然变化产生的罕见事件也会造成此类异常值。并非每个异常值都意味着目标功能的不正确执行。因此，仅识别出异常值常常不足以在此基础上得出该功能模型的目标功能被不正确地执行的结论。相反，异常值通常并不表明实际出现了应识别出的错误事件。

7、根据本发明因此提出：通过至少一个用于验证功能模型的功能性和/或监控模型的功能性的步骤来补充异常识别。

8、为了验证功能模型的功能性而建议：例如执行所谓的“内置”自测试，即built-inself-test，bist。

9、例如规定该方法包括：使用功能模型基于参考输入确定参考输出，以及使用监控模型检查参考输出，特别是将参考输出与地面实况数据进行比较。参考输入例如被存放在相应的存储设备中并且被提供给功能模型。术语“地面实况数据”在此被理解为：该数据代表如下参考(referenz)，该参考针对相应目的而足够准确地描述了参考数据的现实性(wirklichkeit)。换句话说，地面实况数据是经客观分析的、被观察或测量的数据。

10、通过使用监控模型检查参考输出，可以根据已知的参考数据来检查该功能模型是否有功能能力在功能模型包括分类算法的情况下有利的是，参考输入覆盖不同的类别，特别是所有类别。

11、可以规定：使用功能模型基于参考输入来确定参考输出，并且使用监控模型周期性地(periodisch)执行参考输出与地面实况数据的比较。例如，可以通过提供至少一个参考输入来触发所述执行。

12、可以规定：在功能模型正常运行期间，即以按规定方式运行期间，使用功能模型基于参考输入来确定参考输出。但也可以将功能模型切换到测试运行。例如，如果功能模型包括其工作方式(funktionsweise)在正在进行的正常运行期间通过使用参考数据而受到影响的算法，则这是有利的。循环神经网络(rnn)就是这样的例子，它实现了内部状态。参考输入会影响内部状态，从而影响后续的预测。

13、补充地或替代地，可以设置进一步的步骤以便验证功能模型的功能性。该方法例如包括以下步骤：使用监控模型提供哈希值，使用功能模型对哈希值进行签名，将经签名的哈希值提供给监控模型并使用监控模型检查经签名的哈希值，特别是比较哈希值与经签名的哈希值。

14、监控模型例如生成随机数并对此生成哈希值。然后将哈希值提供给功能模型。哈希值是在数学上不可逆的函数，以确保功能模型无法自行恢复原始值。

15、例如，通过功能模型而对哈希值进行签名包括：将可逆函数应用于哈希值。监控模型通过应用逆(inversen)并将哈希值与原始生成的哈希值进行比较来检查经签名的哈希值。

16、根据一种实施方式而规定，对哈希值进行签名包括：在功能模型的第一处理步骤中向哈希值添加签名，并且在功能模型的至少一个进一步的处理步骤中添加另外的签名。在功能模型包括进一步的处理步骤的情况下规定：同样在所述进一步的处理步骤中添加签名。因此，功能模型的后续处理步骤将它们的签名(即，可逆函数)应用于相应的先前处理步骤的经签名的哈希值，以便最终生成最终签名的哈希值，该最终签名的哈希值然后被提供给监控模型。

17、有利地规定，在第一处理步骤中利用功能模型来确定中间结果并且生成哈希值的签名。中间结果和经签名的哈希值被传输到至少一个进一步的处理步骤。在所述进一步的处理步骤中，功能模型基于中间结果而确定功能模型的输出以及也确定对上一步骤的经签名的哈希值的签名。因此规定：每个处理步骤将所生成的中间结果和经签名的哈希值传输到下一个处理步骤。最后，最终签名的哈希值与输出一起被传输到监控模型。

18、根据一种实施方式规定该方法还包括：监控在其上执行所述功能模型的第一实例(instanz)与在其上执行所述监控模型的另一实例之间的通信。例如，可以通过监控来探测出通信中的延迟。如果特定延迟超过特定极限值，则无法确保监控仍能正常运行。

19、根据一种实施方式规定：根据异常识别的结果和/或根据通信监控的结果，执行以下步骤中的至少一个：a)使用监控模型检查参考输出与地面实况数据的比较结果；b)使用监控模型检查哈希值与经签名的哈希值的比较结果，c)提供控制信号以操控受计算机控制的机器、特别是受计算机控制的机器的至少一部分和/或受计算机控制的机器的功能，d)将受计算机控制的机器、特别是受计算机控制的机器的至少一部分和/或受计算机控制的机器的功能转换到所定义的状态，e)根据来自a)和/或b)的结果将受计算机控制的机器、特别是受计算机控制的机器的至少一部分和/或受计算机控制的机器的功能转换到所定义的状态。

20、所定义的状态例如是安全状态。安全状态被理解为：例如通过关闭或中断功能而使受计算机控制的机器和/或受计算机控制的机器的功能转换到如下状态，在所述状态中，该功能并非基于该功能模型而执行。此外有利地规定：向其余系统、例如机动车辆的e/e系统和/或该系统的用户通知该功能、特别是执行该功能的组件和/或受计算机控制的机器的关闭或中断。对于机动车辆中的特定功能和/或受计算机控制的机器来说，安全状态的示例是：屏幕上的视觉显示、例如也可以以黑屏的形式的视觉显示，信号灯和/或声音警告。

21、另外的实施方式涉及一种用于监控功能模型的系统，该功能模型针对受计算机控制的机器的至少一个功能、特别是图像识别算法提供数据，其中该系统被设计成使用监控模型来执行根据对于所描述的实施方式的方法的步骤，其中至少使用监控模型所执行的方法步骤在系统的至少一个第一实例上被执行，并且功能模型在系统的至少一个第二实例上被执行，用于针对受计算机控制的机器的至少一个功能、特别是图像识别算法提供数据。

22、为了满足根据iso 26262标准的安全要求可以例如规定：功能模型在根据iso26262标准而言安全的具有安全操作系统的应用处理器上执行，并且监控模型位于同一系统上。在这种情境下，从功能安全性的角度来看，该功能模型和周围系统(umgebendesystem)已经是安全的，因为它是根据iso 26262实现的。然而，例如出于成本原因，并不总是能够提供这样的实现方案。

23、可以有利地规定：至少所述第一实例满足安全完整性等级，例如根据iso标准26262的汽车安全完整性等级、即asil等级。

24、可以有利地规定：所述第一和第二实例分别被设计为公共片上系统、即soc的实例，其中能够在该片上系统的单独计算核心上执行被分配给第一实例的操作系统。通过这种方式，就可以实现无反馈，英文：freedom of interference(无干扰)。

25、可以有利地规定：第一和第二实例在分布式系统上实现。还可以规定，第一实例由第一个处理器提供，第二实例由第二个单独的协处理器提供。这些实例之间的通信必须有相应的保护措施(absicherung)，其确保消息的完整性和消息的真实性，以及所有被传输消息的完整性。

26、可以有利地规定，经相应认证的虚拟机监视器(hypervisor)虚拟化硬件层，并且第一实例是由该虚拟机监视器提供的第一域，而第二实例是由虚拟机监视器提供的另一个域。

27、另外的实施方式涉及根据这些实施方式所述的方法和/或根据这些实施方式所述的系统在受计算机控制的机器中的用途，例如，特别是用于提供自主驾驶功能、部分自动驾驶功能和/或驾驶辅助功能的机动车辆的e/e系统、机器人、家用电器、电动工具、生产机器、自动光学检查装置或访问系统，其中功能模型在受计算机控制的机器中基于输入数据、特别是图像传感器的数字图像数据、特别是视频、雷达、激光雷达、超声波、运动或热成像传感器的数字图像数据而针对受计算机控制的机器的至少一个功能提供数据，并且其中基于所述数据而提供用于执行受计算机控制的机器的功能的至少一个控制信号，并且其中根据该方法来监控该功能模型，和/或其中使受计算机控制的机器，特别是受计算机控制的机器的至少一部分和/或受计算机控制的机器的功能转换到所定义的状态。