深度平衡流估计的制作方法

本公开涉及通过具有机器学习能力的计算机系统(包括神经网络)进行流估计。在具体实施例中，本公开涉及通过根查找方法进行通过基于深度平衡(deq)神经网络模型的固定点求解来进行流估计。

背景技术：

1、神经网络是机器学习的子集，并且是深度学习算法的关键。神经网络包括包含输入层、一个或多个隐藏层和输出层的节点层。每个节点连接到另一个节点，并具有关联的权重和阈值。如果任何个体节点的输出高于阈值，则激活该节点，将数据发送到网络的下一层。

2、最近在神经网络的虑式层方面取得了进展。隐式层的基础是，不是指定如何从输入计算层的输出，而是指定希望层的输出满足的条件。

3、一类隐式层模型是深度平衡(deq)模型。deq建模包括指定一个层，该层查找某个迭代过程的固定点。多尺度深度平衡模型(mdeq)直接求解并同时反向传播多个特征分辨率的平衡点，使用隐式微分来避免存储中间状态。

技术实现思路

1、根据一个实施例，一种用于机器学习(ml)系统的计算机实现方法包括：从传感器接收第一图像帧和第二图像帧，其中第一和第二图像帧是时间序列数据；确定第一图像帧的第一流状态和第一潜在状态；基于第一流状态、第一潜在状态和层函数通过根查找方法来确定基于深度平衡模型(deq)的固定点解，以获得估计的流状态和估计的潜在状态；接收第三图像帧，其中第二和第三图像帧是时间序列数据；基于估计的流状态、估计的潜在状态和层函数通过根查找方法来确定固定点解，以获得更新后的流状态和更新后的潜在状态；以及输出更新后的流状态。

2、根据另一实施例，一种包括可训练函数的系统包括：用于访问可训练函数的输入数据的输入接口；以及与输入接口通信的处理器。处理器被编程为：从与输入接口电耦合的传感器接收第一图像帧和第二图像帧，其中第一和第二图像帧是时间序列数据；确定第一图像帧的第一流状态和第一潜在状态；基于第一流状态、第一潜在状态和层函数通过根查找方法确定固定点解，以获得估计的流状态和估计的潜在状态；接收第三图像帧，其中第二和第三图像帧是时间序列数据；基于估计的流状态、估计的潜在状态和层函数通过根查找方法确定固定点解，以获得更新后的流状态和更新后的潜在状态；以及基于更新后的流状态来控制所述系统。

3、根据另一实施例，一种非暂时性计算机可读介质包括指令，当由一个或多个计算设备执行时，所述指令使得一个或多个计算设备执行操作，包括：从传感器接收第一图像帧和第二图像帧，其中第一和第二图像帧是时间序列数据；确定第一图像帧的第一流状态和第一潜在状态；基于第一流状态、第一潜在状态和层函数通过根查找方法来确定基于深度平衡模型(deq)的固定点解，以获得估计的流状态和估计的潜在状态；接收第三图像帧，其中第二和第三图像帧是时间序列数据；基于估计的流状态、估计的潜在状态和层函数通过根查找方法来确定固定点解，以获得更新后的流状态和更新后的潜在状态；以及输出更新后的流状态。

技术特征：

1.一种用于机器学习(ml)系统的计算机实现方法，包括：

2.根据权利要求1所述的方法，其中固定点解表示为：

3.根据权利要求1所述的方法，进一步包括估计对象相对于ml系统的运动，并基于更新后的流状态控制ml系统的致动器，其中ml系统是半自主载具或自主载具。

4.根据权利要求1所述的方法，进一步包括估计对象相对于ml系统的运动，并基于更新后的流状态控制ml系统的致动器，其中ml系统是安全系统。

5.根据权利要求1所述的方法，其中根查找方法是准牛顿方法。

6.根据权利要求5所述的方法，其中准牛顿方法是anderson求解器或broyden求解器。

7.根据权利要求1所述的方法，其中传感器是视频相机、红外相机、激光雷达传感器、超声波传感器或声学阵列。

8.根据权利要求1所述的方法，其中利用多个图像帧和经由基于深度平衡模型(deq)通过根查找方法进行的固定点求解处理的相关联流数据来训练层函数，以获得训练流状态和训练潜在状态数据，所述训练流状态和训练潜在状态数据与多个图像帧和相关联流数据的基本真值进行比较以获得损耗，并且使用隐函数定理(ift)基于损耗梯度来更新层函数。

9.根据权利要求8所述的方法，其中损耗包括主损耗和校正损耗。

10.一种设备控制系统，包括：

11.根据权利要求10所述的系统，其中固定点解是基于深度平衡模型(deq)的固定点解，其表示为：

12.根据权利要求11所述的系统，其中根查找方法是准牛顿方法。

13.根据权利要求12所述的系统，其中传感器是视频相机、红外相机、激光雷达传感器、超声波传感器或声学阵列。

14.根据权利要求13所述的系统，其中利用多个图像帧和经由基于深度平衡模型(deq)通过根查找方法进行的固定点求解处理的相关联流数据来训练层函数，以获得训练流状态和训练潜在状态数据，所述训练流状态和训练潜在状态数据与多个图像帧和相关联流数据的基本真值进行比较以获得损耗，并且使用隐函数定理(ift)基于损耗梯度来更新层函数，其中损耗包括主损耗和校正损耗。

15.一种用于执行与机器控制相关联的至少一个感知任务的系统，所述系统包括：

16.根据权利要求15所述的系统，其中固定点解表示为：

17.根据权利要求15所述的系统，进一步包括当由处理器执行时使处理器执行操作的指令，所述操作包括估计对象相对于机器的运动，并基于更新后的流状态控制机器的致动器。

18.根据权利要求17所述的系统，其中机器是半自主载具或自主载具、安全系统、访问控制系统、医疗系统或机器人系统。

19.根据权利要求18所述的系统，其中传感器是视频相机、红外相机、激光雷达传感器、超声波传感器或声学阵列。

20.根据权利要求15所述的系统，进一步包括当由一个或多个计算设备执行时使一个或多个计算设备执行操作的指令，所述操作包括利用多个图像帧和经由基于深度平衡模型(deq)通过根查找方法进行的固定点求解处理的相关联流数据来训练层函数，以获得训练流状态和训练潜在状态数据，所述训练流状态和训练潜在状态数据与多个图像帧和相关联流数据的基本真值进行比较以获得损耗，并且使用隐函数定理(ift)基于损耗梯度来更新层函数。

技术总结
提供了深度平衡流估计一种用于机器学习(ML)系统的计算机实现方法包括：从传感器接收第一图像帧和第二图像帧，其中第一图像帧和第二图像帧是时间序列数据；确定第一图像帧的第一流状态和第一潜在状态；基于第一流状态、第一潜在状态和层函数通过根查找方法来确定基于深度平衡模型(DEQ)的固定点解，以获得估计的流状态和估计的潜在状态；接收第三图像帧，其中第二图像帧和第三图像帧是时间序列数据；基于估计的流状态、估计的潜在状态和层函数通过根查找方法来确定固定点解，以获得更新后的流状态和更新后的潜在状态；以及输出更新后的流状态。

技术研发人员：白绍杰,Y·萨瓦尼,J·Z·柯尔特,D·T·维尔莫特,J·D·塞梅多,F·孔德萨
受保护的技术使用者：罗伯特·博世有限公司
技术研发日：
技术公布日：2024/1/15