去噪方法和相关设备与流程

本技术实施例涉及人工智能，尤其涉及一种去噪方法和相关设备。

背景技术：

1、现有的动态视觉传感器(dynamical vision sensor，dvs)信号去噪方法主要为滤波去噪和基于深度学习框架下的人工神经网络(artificial neural network，ann)去噪。滤波去噪方法包括时间滤波方法或空间滤波方法，其主要通过过滤时间或空间上孤立的事件去噪。基于人工神经网络的去噪方法通常把动态视觉传感器数据流压帧成图像以提高数据密度，再采用传统的对rgb图像去噪的网络对该压帧得到的图像去噪；其中，基于二维(2d)卷积神经网络(convolutional neural networks，cnn)的去噪方法通常需要额外定义包含时间信息的噪声模型，而基于三维(3d)卷积神经网络的去噪方法则需要对一段时间窗做时间卷积。

2、然而，滤波去噪方法在数据稀疏时容易把事件和噪声一起过滤，在基准数据集上的表现不如基于人工神经网络的去噪方法；而基于人工神经网络的去噪方法则面临网络规模大、计算量大和处理时间长等问题。并且，因动态视觉传感器信号高度稀疏、数据密度变化范围大和时间分辨率高等特性，现有的动态视觉传感器信号去噪方法无法取得良好的去噪效果。

技术实现思路

1、本技术提供一种去噪方法和相关设备，能够提高动态视觉传感器信号的去噪效果。

2、根据第一方面，本技术涉及一种去噪方法，包括：获取第一动态视觉传感器信号；采用脉冲神经网络(spiking neural network，snn)模型对所述第一动态视觉传感器信号进行去噪处理，以得到第二动态视觉传感器信号，所述脉冲神经网络模型的脉冲神经元(spiking neuron)的突触后膜电压(post-synaptic potential，psp)核函数包括目标参数，所述目标参数是根据动态视觉传感器信号的自相关系数确定的。

3、在本技术中，采用脉冲神经网络模型对动态视觉传感器信号进行去噪处理，该脉冲神经网络模型包括脉冲神经元，且该脉冲神经元的突触后膜电压核函数中的目标参数是根据动态视觉传感器信号的自相关系数确定的，故该突触后膜电压核函数能够让该脉冲神经网络模型学习到动态视觉传感器信号的时间相关性，并去除动态视觉传感器信号中时间相关性弱的噪声事件，从而能够提高该脉冲神经网络模型对动态视觉传感器信号的去噪效果。并且，由于脉冲神经网络模型固有的时间动力学特性，其对高度稀疏的动态视觉传感器信号进行流式去噪，也即脉冲神经网络模型的输入数据与输出数据帧数相同，数据在脉冲神经网络模型中一遍通过，不依赖三维卷积在时间维度进行遍历滑窗计算，故与现有的基于人工神经网络的去噪方法相比，可以极大降低运行时间，网络规模和计算量。

4、在一种可能的实现方式中，所述动态视觉传感器信号的自相关系数包括多个自相关系数，所述多个自相关系数是根据预设时间段内的多个第一目标动态视觉传感器信号得到的；所述目标参数是根据预设自相关系数阈值和预设函数得到的，所述预设函数是根据所述多个自相关系数在时间上的分布拟合得到的。

5、在本实现方式中，基于预设时间段内的多个第一目标动态视觉传感器信号得到的多个自相关系数在时间上的分布，进行函数拟合得到预设函数，故该预设函数表征动态视觉传感器信号的自相关系数与时间的关系；然后针对该预设函数求反函数，得到该预设函数的反函数，故该预设函数的反函数表征时间与动态视觉传感器信号的自相关系数的关系；再将基于预设自相关系数阈值求解该预设函数的反函数得到的时间值，作为脉冲神经元的突触后膜电压核函数中的目标参数的值。如此，实现对突触后膜电压核函数中的目标参数进行调整，以使得脉冲神经网络模型学习到动态视觉传感器信号的时间相关性。

6、在一种可能的实现方式中，所述多个自相关系数中的任一自相关系数为d个第二目标动态视觉传感器信号对应的第一数值的平均值，d为正整数；所述d个第二目标动态视觉传感器信号为所述多个第一目标动态视觉传感器信号中归属于同一第一预设周期的d个第一目标动态视觉传感器信号，所述预设时间段包括多个所述第一预设周期；所述d个第二目标动态视觉传感器信号中的任一第二目标动态视觉传感器信号对应的第一数值是根据多个像素对应的第二数值累加得到的；所述多个像素中的任一像素对应的第二数值是根据所述任一像素的第一信号值和第一目标像素的目标信号值得到的，所述第一目标像素为与所述任一像素的邻近度不大于预设邻近度阈值的像素；所述任一第二目标动态视觉传感器信号包括所述任一像素的第一信号值，所述任一第二目标动态视觉传感器信号为所述多个第一目标动态视觉传感器信号中的第w个第一目标动态视觉传感器信号，w为正整数；所述第一目标像素的目标信号值为所述第一目标像素在第三目标动态视觉传感器信号中的第一信号值，所述第三目标动态视觉传感器信号为所述多个第一目标动态视觉传感器信号中的第w+q个第一目标动态视觉传感器信号，q为正整数。其中，所述多个像素为动态视觉传感器的感光元件中的多个像素，或所述多个像素为二维图像中的多个像素，且该二维图像是通过动态视觉传感器的感光元件采集得到；所述第一目标像素为动态视觉传感器的感光元件中与所述任一像素的邻近度不大于预设邻近度阈值的像素，或所述第一目标像素为二维图像中与所述任一像素的邻近度不大于预设邻近度阈值的像素，且该二维图像是通过动态视觉传感器的感光元件采集得到。

7、在本实现方式中，多个第一目标动态视觉传感器信号是预设时间段内的多个时刻的动态视觉传感器信号，可以通过时间滑窗的方法计算预设时间段内的动态视觉传感器信号的自相关系数；例如以第一预设周期的大小为时间窗大小在预设时间段上滑窗，一次滑动的时间间隔为一个第一预设周期的大小；在一次时间滑窗过程中，时间窗可以框住多个第一目标动态视觉传感器信号中的d个第一目标动态视觉传感器信号，例如记为d个第二目标动态视觉传感器信号；基于该d个第二目标动态视觉传感器信号，计算得到本次时间滑窗对应的动态视觉传感器信号的自相关系数。其中，由于多个第一目标动态视觉传感器信号每个第一目标动态视觉传感器信号包括多个像素的第一信号值，故每个时间窗(或第一预设周期)内的d个第二目标动态视觉传感器信号中的每个第二目标动态视觉传感器信号也包括多个像素的第一信号值，故可以根据相邻像素在不同时刻的第一信号值计算得到每个时间窗(或第一预设周期)对应的自相关系数。如此，以第一预设周期的大小为时间窗大小在预设时间段上经过多次滑窗后，并可以计算到多次时间滑窗对应的动态视觉传感器信号的自相关系数，从而可以得到多个自相关系数。

8、在一种可能的实现方式中，所述第一目标像素包括多个第二目标像素，所述任一像素对应的第二数值是根据所述多个第二目标像素对应的第三数值累加得到的；所述多个第二目标像素中的任一第二目标像素对应的第三数值为所述任一像素的第一信号值和所述任一第二目标像素的目标信号值的乘积。

9、在本实现方式中，针对动态视觉传感器信号中的所有像素中任一像素，将该任一像素在某一时刻的第一信号值分别与该任一像素的每个相邻像素在另一时刻的第一信号值相乘，得到每个相邻像素对应的第三数值，也即得到该任一像素对应的多个第三数值；然后将每个相邻像素对应的第三数值累加，得到该任一像素对应的第二数值；再将所有像素对应的第二数值累加，即可得到该某一时刻的第二目标动态视觉传感器信号对应的第一数值。针对一个时间窗(或第一预设周期)内的所有时刻的第二目标动态视觉传感器信号(例如d个第二目标动态视觉传感器信号)均执行上述操作，即可得到所有时刻的第二目标动态视觉传感器信号(例如d个第二目标动态视觉传感器信号)对应的第一数值；再对这个时间窗(或第一预设周期)内得到的所有第一数值计算平均值，即可得到这个时间窗(或第一预设周期)对应的动态视觉传感器信号的自相关系数。

10、在一种可能的实现方式中，所述多个第一目标动态视觉传感器信号中的任一第一目标动态视觉传感器信号包括的任一像素的第一信号值是根据所述任一像素的第二信号值得到的；其中：若所述任一像素的第二信号值大于0，则所述任一像素的第一信号值为1；若所述任一像素的第二信号值小于0，则所述任一像素的第一信号值为-1；所述任一像素的第二信号值为所述任一像素的m个第三信号值中的任意一个，m为正整数；所述m个第三信号值是根据所述预设时间段内的多个第三动态视觉传感器信号得到的；其中：所述m个第三信号值中的第g个第三信号值为所述m个第三信号值中的第g-1个第三信号值与所述任一像素在第g个第二预设周期内的第四信号值的累加和的和，1≤g≤m，g为正整数，所述多个第三动态视觉传感器信号包括所述任一像素在所述第g个第二预设周期内的第四信号值，所述预设时间段包括所述第g个第二预设周期；且g等于1时，第1个第三信号值为所述任一像素在第1个第二预设周期内的第四信号值的累加和。

11、在本实现方式中，将一定时长内的多个动态视觉传感器信号压缩为一个动态视觉传感器信号，以提高动态视觉传感器信号的数据密度。例如，以第二预设周期的大小为时间窗的大小为时间窗大小对预设时间段内的多个第三动态视觉传感器信号进行压帧，从而得到多个第一目标动态视觉传感器信号，其中的任一第一目标动态视觉传感器信号包括的任一像素的第一信号值是基于该任一像素在多个第三动态视觉传感器信号中的第四信号值的累加值重置得到的，重置的原则为：若该任一像素在多个第三动态视觉传感器信号中的第四信号值的累加值大于0，则将第一信号值设为1，若该任一像素在多个第三动态视觉传感器信号中的第四信号值的累加值大于0，则将第一信号值设为-1。并且，由于第一目标动态视觉传感器信号具有较高的数据密度，相比于第三动态视觉传感器信号，采用第一目标动态视觉传感器信号对脉冲神经网络模型进行训练，可以提高训练效率。

12、在一种可能的实现方式中，所述脉冲神经网络模型包括n个卷积层和n个逆卷积层，其中：所述n个卷积层中的第j个卷积层的输出为所述n个卷积层中的第j+1个卷积层的输入，所述n个逆卷积层中的第j个逆卷积层的输出为所述n个逆卷积层中的第j+1个逆卷积层的输入，所述第j个卷积层的输出还为所述n个逆卷积层中的第n-j个逆卷积层的输入，所述n个卷积层中的第n个卷积层的输出为所述n个逆卷积层中的第1个逆卷积层的输入，1≤i≤n，n和j为正整数。

13、在本实现方式中，脉冲神经网络模型包括对称的n个卷积层和n个逆卷积层，且每个卷积层和与其对称的逆卷积层之间有跳跃连接；如此，该脉冲神经网络模型通过逆卷积和跳跃连接对动态视觉传感器信号进行特征提取和重构，有利于确保提取的特征完整以及重构的特征真实。

14、根据第二方面，本技术涉及一种去噪装置，有益效果可以参见第一方面的描述，此处不再赘述。所述去噪装置具有实现上述第一方面的方法实例中行为的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一种可能的实现方式中，所述去噪装置，包括：获取单元，用于获取第一动态视觉传感器信号；处理单元，用于采用脉冲神经网络模型对所述第一动态视觉传感器信号进行去噪处理，以得到第二动态视觉传感器信号，所述脉冲神经网络模型的脉冲神经元的突触后膜电压核函数包括目标参数，所述目标参数是根据动态视觉传感器信号的自相关系数确定的。

15、在一种可能的实现方式中，所述动态视觉传感器信号的自相关系数包括多个自相关系数，所述多个自相关系数是根据预设时间段内的多个第一目标动态视觉传感器信号得到的；所述目标参数是根据预设自相关系数阈值和预设函数得到的，所述预设函数是根据所述多个自相关系数在时间上的分布拟合得到的。

16、在一种可能的实现方式中，所述多个自相关系数中的任一自相关系数为d个第二目标动态视觉传感器信号对应的第一数值的平均值，d为正整数；所述d个第二目标动态视觉传感器信号为所述多个第一目标动态视觉传感器信号中归属于同一第一预设周期的d个第一目标动态视觉传感器信号，所述预设时间段包括多个所述第一预设周期；所述d个第二目标动态视觉传感器信号中的任一第二目标动态视觉传感器信号对应的第一数值是根据多个像素对应的第二数值累加得到的；所述多个像素中的任一像素对应的第二数值是根据所述任一像素的第一信号值和第一目标像素的目标信号值得到的，所述第一目标像素为与所述任一像素的邻近度不大于预设邻近度阈值的像素；所述任一第二目标动态视觉传感器信号包括所述任一像素的第一信号值，所述任一第二目标动态视觉传感器信号为所述多个第一目标动态视觉传感器信号中的第w个第一目标动态视觉传感器信号，w为正整数；所述第一目标像素的目标信号值为所述第一目标像素在第三目标动态视觉传感器信号中的第一信号值，所述第三目标动态视觉传感器信号为所述多个第一目标动态视觉传感器信号中的第w+q个第一目标动态视觉传感器信号，q为正整数。

17、在一种可能的实现方式中，所述第一目标像素包括多个第二目标像素，所述任一像素对应的第二数值是根据所述多个第二目标像素对应的第三数值累加得到的；所述多个第二目标像素中的任一第二目标像素对应的第三数值为所述任一像素的第一信号值和所述任一第二目标像素的目标信号值的乘积。

18、在一种可能的实现方式中，所述多个第一目标动态视觉传感器信号中的任一第一目标动态视觉传感器信号包括的任一像素的第一信号值是根据所述任一像素的第二信号值得到的；其中：若所述任一像素的第二信号值大于0，则所述任一像素的第一信号值为1；若所述任一像素的第二信号值小于0，则所述任一像素的第一信号值为-1；所述任一像素的第二信号值为所述任一像素的m个第三信号值中的任意一个，m为正整数；所述m个第三信号值是根据所述预设时间段内的多个第三动态视觉传感器信号得到的；其中：所述m个第三信号值中的第g个第三信号值为所述m个第三信号值中的第g-1个第三信号值与所述任一像素在第g个第二预设周期内的第四信号值的累加和的和，1≤g≤m，g为正整数，所述多个第三动态视觉传感器信号包括所述任一像素在所述第g个第二预设周期内的第四信号值，所述预设时间段包括所述第g个第二预设周期；且g等于1时，第1个第三信号值为所述任一像素在第1个第二预设周期内的第四信号值的累加和。

19、在一种可能的实现方式中，所述脉冲神经网络模型包括n个卷积层和n个逆卷积层，其中：所述n个卷积层中的第j个卷积层的输出为所述n个卷积层中的第j+1个卷积层的输入，所述n个逆卷积层中的第j个逆卷积层的输出为所述n个逆卷积层中的第j+1个逆卷积层的输入，所述第j个卷积层的输出还为所述n个逆卷积层中的第n-j个逆卷积层的输入，所述n个卷积层中的第n个卷积层的输出为所述n个逆卷积层中的第1个逆卷积层的输入，1≤j≤n，n和j为正整数。

20、根据第三方面，本技术涉及一种电子设备，包括：一个或多个处理器；计算机可读存储介质，耦合到所述处理器并存储由所述处理器执行的程序，其中所述程序在由所述处理器执行时，使得所述电子设备执行第一方面中任意一种可能的实施例中的方法。

21、根据第四方面，本技术涉及一种计算机可读存储介质，包括程序代码，当其由计算机设备执行时，用于执行第一方面中任意一种可能的实施例中的方法。

22、根据第五方面，本技术涉及了一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有上述芯片的设备执行第一方面中任意一种可能的实施例中的方法。

23、根据第六方面，本技术涉及包括程序代码的计算机程序产品，所述程序代码在运行时执行第一方面中任意一种可能的实施例中的方法。