基于多尺度特征提取机制的图像识别方法

本发明涉及图像处理，特别涉及一种图像识别方法。

背景技术：

1、当前图像识别技术的发展主要集中在两个方向：传统机器学习方法和深度学习方法。传统机器学习方法依赖于手工特征提取，如边缘检测、颜色和纹理分析，并使用支持向量机(svm)、决策树或随机森林等算法进行分类。这些方法在简单或受限的图像数据集上表现良好，但在处理更复杂和多变的图像时，它们通常缺乏必要的灵活性和准确性。

2、相比之下，深度学习，尤其是卷积神经网络(cnn)，已成为图像识别领域的主流技术。cnn通过自动从数据中学习特征，消除了手动特征工程的需求，使得在复杂任务如面部识别、物体检测和图像分割等方面表现出色。然而，尽管深度学习方法取得了显著的进展，但在处理多尺度图像特征时仍存在一些局限性。这些局限性包括增加的计算复杂度和内存需求，特征融合策略的选择挑战，尺度选择和过度拟合问题，以及实时处理和大量标注数据的需求。

3、在这个背景下，脉冲神经网络(snn)作为一种新兴技术，受到了越来越多的关注。snn是一种受生物大脑启发的神经网络，它通过尖峰的时间模式来处理信息，与传统的人工神经网络在处理方式上有本质的不同。在图像处理中，snn已被应用于低功耗图像分类、动态视觉传感器数据处理等领域。由于其生物学上的真实性，snn在处理时间动态信息和进行能量高效计算方面显示出巨大潜力。

4、综上所述，虽然深度学习方法在图像识别领域取得了显著的成就，但多尺度特征提取的挑战和snn的潜力表明，图像识别技术仍有进一步发展和优化的空间。随着技术的不断进步，我们可以期待在未来看到更加高效和准确的图像识别解决方案。

技术实现思路

1、有鉴于此，本发明的目的是提供一种基于多尺度特征提取机制的图像识别方法，以解决在少量数据训练下提升神经网络对图像识别性能的技术问题，并解决增强神经网络对噪声和对抗性攻击的鲁棒性的技术问题，以及解决减少神经网络对计算资源需求的技术问题。

2、本发明基于多尺度特征提取机制的图像识别方法包括以下步骤：

3、1)将静态图片扩展为动态信息i(x,y,t)作为输入，i(x,y,t)表示图像在(x,y)位置t时刻的光强，然后对光强进行三次高斯模糊：

4、

5、公式(1)中，*表示卷积操作，卷积会同时计算过去和未来时间上的光强；

6、2)通过snn模型提取输入图像的特征，其包括：

7、2.1)所述snn模型包括由v1神经网络层、v2神经网络层和第一抑制神经元层组成的预处理模型，通过预处理模型对输入进行初步特征提取：

8、v1神经网络层由v1简单神经元和v1复杂神经元组成，v1简单神经元的接收域为一个基于时空的高维滤波器，使用单位向量来描述高维滤波器的对应的时空方向，′表示矢量变化操作，即转换为单位向量；时空方向与输入移动方向相同时高维滤波器才会被激活，时空方向与输入移动方向垂直时高维滤波器不响应；

9、v1神经网络层先计算v1简单神经元对输入光强的三维高斯滤波响应：

10、

11、式中r表示时空尺度，σv1simple为高斯半径；v1简单神经元在位置(x,y)，时空尺度r，方向处的线性响应为：

12、

13、式中！为阶乘，x＝3-y-t，αv1lin为比例因子，上式简写形式为：

14、lr＝αv1linmbr (4)

15、式中br为r尺度上的微分部分；m为28×28的矩阵，对应部分为每一行对k取不同值，每一列对x，y和t取不同值；响应l在位置(x,y)靠近图片边缘时会变得很大，因此还需要校正处理一下：

16、

17、式中skr即为v1简单神经元的响应，αv1rect为比例因数，αv1semi为半饱和常数，σv1norm为高斯半径，αfilt→rate,r是将无单位的滤波响应值映射到更有意义的放电频率；v1复杂神经元的响应为对v1简单神经元响应的局部加权平均值：

18、

19、式中，σv1comp为高斯半径，αv1comp为比例因子；

20、所述预处理模型中的v2神经网络层对v1复杂神经元的响应进行处理，v2神经网络层包括四组神经元，每组神经元只对四个特定的空间方向：水平、右对角线、垂直和左对角线中的一个方向高度敏感；对于任意一个方向用单位向量来表示，v1复杂神经元到v2神经网络层的投影权重的表达式如下：

21、

22、式中，矩阵m和向量br与公式(4)中相同，表示v1复杂神经元投影到v2神经元的权重，两个神经元对应同样的(x,y)才会连接，最终计算出v1复杂神经元到v2神经元的投影矩阵；

23、v1复杂神经元还与所述第一抑制神经元层连接，第一抑制神经元层还与v2神经网络层连接，第一抑制性神经元聚焦于v2神经网络层中特定方向调谐的邻近神经元，并向反方向调谐的神经元发送抑制性信号；

24、2.2)所述snn模型还包括由v2神经网络层、v4神经网络层和第二抑制神经元层连接组成的基础模型，通过基础模型对预处理模型的输出进行特征提取：

25、v2神经网络层中神经元与v4神经网络层中神经元之间的连接遵循高斯分布，即空间上靠近的神经元之间具有更高的连接概率和更高的初始连接权重；v4神经元向第二抑制神经元组提供前馈兴奋，而第二抑制神经元组向v4神经元提供反馈抑制，两种连接都遵循均匀随机连接，连接概率为10％；

26、预处理模型中v2神经网络层输出的四个方向的脉冲响应经过泊松编码后分别输入到基础模型中，基础模型产生四个方向的权重wi和对应四个方向的v4神经网络层的放电频率hi；

27、3)采用回声状态网络作为决策模型，回声状态网络通过识别v4神经网络层的放电率判定图像的类别。

28、进一步，在步骤2.2)中，v2神经网络层到v4神经网络层的连接权值、v4神经网络层到第二抑制神经元组的连接权值和第二抑制神经元组到v4神经网络层的连接权值通过如下学习方法得到：

29、连接突触前神经元i和突触后神经元j的特定突触wi,j的总影响描述如下：

30、

31、其中参数α和β项用于控制脉冲时序相关性塑性stdp的强度和内稳态honmeostasis，将β的值固定为1，通过演化过程对α的数值进行优化；参数k为调节因子，其减少权重更新时的振荡现象并提升学习速度，k定义如下：

32、

33、其中，参数t是突触后神经元的放电率平均的时间尺度；参数γ是调谐因子，用于影响学习过程的敏感度；

34、公式(8)中第一项描述了稳态尺度，它是神经元j的平均放电率和目标放电率rtarget之间的比值的函数；随着稳态尺度的变化，如果神经元活动过于频繁时，权重变化率降低，如果神经元过度静止，权重变化率增加；公式(8)第二项β(ltpi,j+ltdi.j)描述了stdp，它由长时程增强ltp和长时程抑制ltd组成；stdp根据突触前和突触后放电的时间来加强或减弱突触连接，ltp和ltd被描述为衰减指数函数，表达式如下：

35、

36、其中，参数a+和a-为幅度，参数τ+和τ-为衰减时间常数；

37、将公式(8)命名为stdp-h学习规则，通过stdp-h学习规则以无监督的学习方式更新连接权值。

38、进一步，在步骤2.2)中通过stdp-h学习规则以无监督的方式更新连接权值时，通过由μ和λ与进化策略es组成的命名为(μ,λ)-es的进化策略对每次迭代的stdp-h学习规则的参数进行优化，其中μ表示每一代中的父代个体网络候选解数量，λ表示产生的子代个体网络候选解数量；每次迭代中根据λ个子代解的表现，选择表现最好的μ个候选解作为下一代的父代；

39、通过如公式(11)表示的适应度函数对参数优化结果进行评估：

40、

41、适应度函数中的第一部分通过计算v2神经网络层的输入矩阵v和v4神经网络层的重构矩阵之间的皮尔逊相关性来进行评估的，适应度函数中的第二部分λl为针对v4神经元群体高频放电的惩罚项，该惩罚项通过一个缩放系数λ进行调整；

42、

43、公式(12)中，为单个v4神经元的平均放电率，rv4；t＝250hz为放电率阈值，当v4神经元的最大平均放电率超过放电率阈值时，网络得到一个惩罚分数；

44、将适应度得分传递es，es执行二元锦标赛选择，以选择表现最佳的μ个体网络作为下一代的父代网络，并通过复制和突变修改它们的参数，以生成新的λ个网络个体的种群；学习完成后得到四组v2与v4的连接权重和v4的放电频率：

45、

46、用其重构v2神经网络层的四个输入方向响应，得到重构矩阵进而使用h代表原数据输入决策模型进行分类识别。

47、本发明的有益效果：

48、1、传统的深度学习模型通常依赖于大量的训练数据来达到高准确率，这在数据稀缺的场景中显得不切实际。本基于多尺度特征提取机制的图像识别方法，通过结合先进的多尺度特征提取技术和类脑神经网络结构，能够从有限的数据中学习到更丰富和复杂的特征表示，这使得本图像分类方法不仅在小数据集上具有良好的图像分类性能，也显著降低了对大规模数据集的依赖，使得本图像分类方法在数据受限的应用场景中更具实用性和广泛的适用性。

49、2、本基于多尺度特征提取机制的图像识别方法，对添加了高斯噪声图像和cgan生成的对抗样本都能保持高精度的分类能力，证明了本发明方法在日常环境中使用的实用性及可靠性，本图像识别方法具有很好的鲁棒性。

50、3、本基于多尺度特征提取机制的图像识别方法对新样本具有快速适应能力。在许多实际应用中，模型需要能够快速适应新的数据或环境变化。本发明通过引入时序相关可塑性(stdp)机制，使得网络能够基于新样本的时间动态进行快速调整和学习。这意味着模型能够在不重新训练的情况下，迅速适应新的数据分布或新的任务要求，极大地提高了模型的灵活性和实用性。