一种基于深度神经网络的自然场景重建的方法与流程

技术特征：

1.一种基于深度神经网络的自然场景重建的方法，其特征在于包括如下步骤：

s1，获取自然图片刺激数据及其对应的神经响应数据；

s2，构建脉冲-图片转换器，脉冲-图片转换器是3层全连接的神经网络，包括如下步骤：

s21，第一层神经元接收所有神经节细胞脉冲数据作为输入，第一层神经元个数设置为所使用的rgc数目，第二层为隐藏层，包含一组神经元，接收第一层神经的输出作为输入，公式如下：

表示relu激活函数，s为神经节细胞数据，w¹为第一层与第二层之间的权重，b¹为第二层的偏置，y¹为第二层的输出；

s22，第三层为输出层，接收第二层的输出作为输入，并根据sigmoid函数进行激活，第三层的输出神经元个数设置为刺激图片像素个数，公式如下：

o1＝sigmoid(w²*y¹)+b²)(2)

w²为第二层与第三层之间的连接权重，b²为偏置，o1为第三层的输出，也是脉冲-图片转换器的输出；

s3，构建图片-图片的自动编码器，包括如下步骤：

s31，使用卷积和下采样，减小输入图像的大小，包含四个卷积层，公式如下：

wc¹¹，wc¹²，wc¹³，wc¹⁴为下采样阶段的四层卷积层的卷积核，b¹¹，b¹²，b¹³，b¹⁴为对应的偏置，y¹¹，y¹²，y¹³，y¹⁴为对应的输出；

s32，采用卷积和上采样，对图像进行处理，在增大下采样图像尺寸的同时，恢复下采样图像的纹理，相较下采样阶段，上采样阶段还包括四个卷积层，公式如下：

wc²¹，wc²²，wc²³，wc²⁴为上采样阶段的四层卷积层的卷积核，b²¹，b²²，b²³，b²⁴为对应的偏置，y²¹，y²²，y²³，o2为对应的输出；

s4，将输出o1、o2与刺激图片构建损失函数，优化网络输出的重建结果；

s5，通过训练好的模型，根据神经响应数据重建其刺激图片。

2.如权利要求1所述的一种基于深度神经网络的自然场景重建的方法，其特征在于所述s4，将输出o1、o2与刺激图片i进行比较，通过损失函数l1，来优化模型的输出，公式如下：

l1：loss＝λ1||o1-i||+λ2||o2-i||(5)

||*||是均方误差损失，λ1和λ2两部分损失的权重；优化重建的图片结果，利用逐渐缩小的均方差值，使模型的输出o1、o2分别与刺激图片i逐渐匹配，以优化模型的输出，均方差函数公式如下：

3.如权利要求1所述的一种基于深度神经网络的自然场景重建的方法，其特征在于所述s4，将输出o1、o2与刺激图片i进行比较，通过损失函数l2，使模型的输出o1、o2分别与刺激图片i分别构建两个损失函数，交替优化loss1和loss2，公式如下：

l2：loss1＝λ1||o1-i||，loss2＝λ2||o2-i||(6)

||*||是均方误差损失，λ1和λ2两部分损失的权重；最终得到优化重建的图片结果。

4.如权利要求1所述的一种基于深度神经网络的自然场景重建的方法，其特征在于所述s4，将输出o1、o2与刺激图片i进行比较，通过损失函数l3，仅使模型的最终输出o2与刺激图片i分别构建一个损失函数进行优化，公式如下：

l3：loss＝||o2-i||(7)

||*||是均方误差损失，λ1和λ2两部分损失的权重；最终得到优化重建的图片结果。

5.如权利要求1所述的一种基于深度神经网络的自然场景重建的方法，其特征在于输入的响应数据为脉冲发放率或者体素响应数据，脉冲-图片转换器的输出为初步解码的刺激o1，图像-图像自动编码器的输出为最终重建的刺激图片o2，将两种输出与刺激图片i进行比较，优化模型的输出。

6.如权利要求1所述的一种基于深度神经网络的自然场景重建的方法，其特征在于所述s1，根据真实视网膜神经节细胞白噪声刺激和脉冲响应数据计算感受野，然后构建线性编码模型，输入cifar100的自然图片刺激数据生成模拟神经节细胞响应数据，包括如下步骤：

s11，神经节细胞白噪声刺激数据和真实的响应数据，根据脉冲激发分析的方法，得到该神经元细胞的感受野，在蝾螈视网膜数据记录神经节细胞的数据，并得到神经节细胞的感受野，根据感受野的位置信息，使用二维高斯拟合感受野，生成感受野模块；

s12，将待模拟响应的自然图像转成图片，并作像素归一化处理，根据神经节细胞的感受野模块，累加每个感受野内的像素值生成基于发放率的响应数据。

7.如权利要求1所述的一种基于深度神经网络的自然场景重建的方法，其特征在于所述s1，通过真实生理数据采集，获取神经节细胞刺激数据及其对应的响应数据，刺激包括静态自然图像刺激和动态视频刺激。

8.如权利要求1所述的一种基于深度神经网络的自然场景重建的方法，其特征在于所述s5，使用真实生理数据训练的端到端的基于深度神经网络的自然场景重建的模型，所述真实生理数据包括静态自然图片或视频，当使用静态自然图片进行训练时，通过刺激图片i和神经元群体的脉冲响应s以及模型输出结果o，训练解码模型，然后在该模型中输入神经节群体细胞对新刺激的脉冲响应，重建出该自然刺激图片；当使用真实生理数据训练时，在训练好的模型输入新的神经元群体脉冲响应，重建出刺激视频帧。

9.如权利要求1所述的一种基于深度神经网络的自然场景重建的方法，其特征在于所述s5，使用模拟数据，模拟当cifar100数据集中的自然图片刺激视网膜后神经节细胞的脉冲响应数据，训练解码模型，根据训练好的模型和神经元群体的响应重建出刺激图片。

10.如权利要求1所述的一种基于深度神经网络的自然场景重建的方法，其特征在于所述s5，使用真实生理数据的功能磁共振成像，记录当人在看手写体数字时视觉皮层v1、v2、v3的响应数据，训练解码模型，根据训练好的模型和三个脑区有效体素的响应重建出刺激图片。

技术总结
本发明公开了一种基于深度神经网络的自然场景重建的方法，包括如下步骤：S1，获取自然图片刺激数据及其对应的神经响应数据；S2，构建脉冲‑图片转换器，脉冲‑图片转换器是3层全连接的神经网络，包括如下步骤：S21，第一层神经元接收所有神经节细胞脉冲数据作为输入，第二层为隐藏层，包含一组神经元，接收第一层神经的输出作为输入；S22，第三层为输出层，接收第二层的输出作为输入，并根据激活函数进行激活，第三层的输出神经元个数设置为刺激图片像素个数；S3，构建图片‑图片的自动编码器；S4，将S21、S22的输出与刺激图片构建损失函数；S5，通过训练好的模型，根据神经响应数据重建其刺激图片。

技术研发人员：余肇飞;张祎晨;贾杉杉;刘健
受保护的技术使用者：之江实验室
技术研发日：2021.03.17
技术公布日：2021.07.02