一种用于深度学习的小鼠面部视频数据集制作系统及方法

本发明涉及深度学习图像分类数据，具体涉及一种用于深度学习的小鼠面部视频数据集制作系统及方法。

背景技术：

1、近年来，随着深度学习方法和深度神经网络模型不断涌现，算法性能被不断刷新，计算机视觉技术的应用领域越来越广。在神经科学领域，探索大脑某个脑区的功能，在设计动物实验时，对于动物的行为没有很好的量化方法，只能凭借人眼主观观察，具有很大的主观性，同时难以及时观察到动物细微的行为举止在实验条件改变时发生的变换，计算机视觉技术弥补了这一点，计算机视觉技术定量阐释了机器视觉行为理解与脑神经的内在关联，并能建立稳定映射模型，形成基于大规模计算机视觉行为检测-脑神经信号关联发现行为神经回路的新研究范式。

2、然而应用计算机视觉技术分析小鼠的面部行为，需要采集数量多、高精度的数据集，由于在小鼠的实验中，会改变不同的实验条件，需要在条件触发时立刻对采集的视频进行标注，以区分不同的条件下采集的小鼠面部行为，人工标注不仅耗费大量的时间和劳力成本，而且无法保证在条件触发时及时标注，造成视频数据和电生理数据在时间上没有耦合；导致数据质量下降，影响生物实验的分析结果。

3、因此，急需一种能够实时记录实验条件触发过程中小鼠视频数据的数据集采集系统和方法。

技术实现思路

1、为了克服现有技术上的问题，本发明提供了一种用于深度学习的小鼠面部视频数据集制作系统。

2、本发明提供以下技术方案：

3、一种用于深度学习的小鼠面部视频数据集制作系统，包括红外摄像头、实验条件控制模块、arduino开发板和pc端视频处理模块，所述红外摄像头采集小鼠面部视频数据，并连接pc端视频处理模块将视频数据传输并储存在pc端视频处理模块；所述实验条件控制模块向小鼠发出刺激条件，并向arduino开发板发送电平信号；所述arduino开发板向pc端视频处理模块发送引脚反馈信息，pc端视频处理模块基于opencv库控制红外摄像头，在视频帧中标注颜色标签。

4、进一步的，实验条件控制模块控制刺激条件的释放，刺激条件为刺激性气体的释放或电压释放，在刺激条件释放时向arduino开发板a0～a5引脚发送低电平信号。

5、进一步的，由pc端视频处理模块中的键盘s键和e键控制视频录制的起止，或由arduino开始引脚8和结束引脚13控制视频录制的起止，实验条件控制模块启动时向arduino开发板开始引脚8发送低电平信号，实验条件控制模块终止时向arduino开发板结束引脚13发送低电平信号。

6、进一步的，所述arduino开发板的通过杜邦线连接实验条件控制模块，arduino开发板检测各路引脚的低电平信号，建立各路引脚与不同引脚反馈信息的一一映射关系，引脚反馈信息为数字或英文字符，条件触发引脚a0对应字符“0”，条件触发引脚a1对应字符“1”，条件触发引脚a2对应字符“2”，条件触发引脚a3对应字符“3”，条件触发引脚a4对应字符“4”，条件触发引脚a5对应字符“5”，开始引脚8、结束引脚13分别对应字符“s”和“e”，将字符信号通过串口通信发送至pc端视频处理模块，低电平发射信号时间与实验条件触发时间相耦合。

7、进一步的，pc端视频处理模块将不同数字字符与不同颜色标签建立一一映射关系，pc端视频处理模块控制视频录制，调用摄像头开启录制功能，pc端视频处理模块接收视频数据，检测串口状态，数字字符匹配成功向相应视频帧上标注颜色标签，pc端视频处理模块存储录制的连续帧数视频数据，引脚反馈信息匹配成功时间与标签标注时间相耦合。

8、进一步的，pc端视频处理模块检测到字符“s”或检测键盘s键被触发时开始计时功能；检测到不同数字字符时记录对应实验条件触发的相应时间；检测到字符”e”或检测键盘e键被触发时结束计时功能，生成并存储实验条件触发与时间点的表格。

9、进一步的，由pc端视频处理模块截取相同颜色标签的视频帧，分类保存视频文件。

10、利用上述小鼠面部视频数据集制作系统进行视频数据集制作的方法，包括以下步骤：

11、步骤一、pc端视频处理模块控制红外摄像头开启，对小鼠面部进行视频采集，视频数据存储在pc端视频处理模块；

12、步骤二、启动实验条件控制模块，实验条件控制模块向arduino开发板开始引脚8发送低电平信号，arduino开发板检测到开始引脚8的低电平信号后，将字符“s”通过串口通信发送至pc端视频处理模块，pc端视频处理模块调用摄像头开启录制功能，pc端视频处理模块接收视频数据；

13、步骤三、实验条件控制模块控制刺激条件的释放，向arduino开发板a0-a5引脚发送低电平信号，arduino开发板检测到低电平脉冲，通过串口通信向pc端视频处理模块发送数字字符信号；

14、步骤四、pc端视频处理模块检测串口状态，字符匹配成功后，向当前视频帧中标注对应的颜色标签，pc端视频处理模块存储录制的连续帧数视频；

15、步骤五、实验结束时，当pc端视频处理模块检测到字符”e”，pc端视频处理模块录制功能，视频文件保存于指定的路径。

16、进一步的，在步骤二中，pc端视频处理模块开启计时功能，记录开始时间；在步骤四中，记录不同实验条件触发时间点；在步骤五中记录结束时间，生成并存储实验条件触发与时间点的表格。

17、进一步的，还包括步骤六，由pc端视频处理模块读取视频，对采集的数据在标签预留的位置进行不同颜色的像素值检测，根据检测的像素值分类，截取相同颜色标签的视频帧，分类保存视频文件。

18、采用上述技术方案，本发明具有如下有益效果：

19、(1)本发明提出的数据集制作方法及其系统为自动化流程，只需要提供视频数据保存路径，节省了人工标注导致的时间和劳力成本大的问题，大大提高了数据集的制作效率。

20、(2)本发明标注动作与条件触发动作在时间上高度耦合，在生物实验意义上提高数据集的质量，减小了人为造成的实验误差，确保不会因时间滞后而影响后续分析，并且规划了一套标准的数据集制作流程，对于深度学习方法应用于神经科学领域有重要的使用意义。

技术特征：

1.一种用于深度学习的小鼠面部视频数据集制作系统，包括红外摄像头、实验条件控制模块、arduino开发板和pc端视频处理模块，其特征在于，所述红外摄像头采集小鼠面部视频数据，并连接pc端视频处理模块将视频数据传输并储存在pc端视频处理模块；所述实验条件控制模块向小鼠发出刺激条件，并向arduino开发板发送电平信号；所述arduino开发板向pc端视频处理模块发送引脚反馈信息，所述pc端视频处理模块基于opencv库控制红外摄像头，在视频帧中标注颜色标签。

2.根据权利要求1所述的小鼠面部视频数据集制作系统，其特征在于，实验条件控制模块控制刺激条件的释放，刺激条件为刺激性气体的释放或电压释放，在刺激条件释放时向arduino开发板a0-a5引脚发送低电平信号。

3.根据权利要求2所述的小鼠面部视频数据集制作系统，其特征在于，由pc端视频处理模块中的键盘s键和e键控制视频录制的起止，或由arduino开始引脚8和结束引脚13控制视频录制的起止，实验条件控制模块启动时向arduino开发板开始引脚8发送低电平信号，实验条件控制模块终止时向arduino开发板结束引脚13发送低电平信号。

4.根据权利要求2或3所述的小鼠面部视频数据集制作系统，其特征在于，所述arduino开发板的通过杜邦线连接实验条件控制模块，arduino开发板检测各路引脚的低电平信号，建立各路引脚与不同引脚反馈信息的一一映射关系，引脚反馈信息为数字或英文字符，条件触发引脚a0对应字符“0”，条件触发引脚a1对应字符“1”，条件触发引脚a2对应字符“2”，条件触发引脚a3对应字符“3”，条件触发引脚a4对应字符“4”，条件触发引脚a5对应字符“5”，开始引脚8、结束引脚13分别对应字符“s”和“e”，将字符信号通过串口通信发送至pc端视频处理模块，低电平发射信号时间与实验条件触发时间相耦合。

5.根据权利要求4所述的小鼠面部视频数据集制作系统，其特征在于，pc端视频处理模块将不同数字字符与不同颜色标签建立一一映射关系，pc端视频处理模块控制视频录制，调用摄像头开启录制功能，pc端视频处理模块接收视频数据，检测串口状态，数字字符匹配成功向相应视频帧上标注颜色标签，pc端视频处理模块存储录制的连续帧数视频数据，引脚反馈信息匹配成功时间与标签标注时间相耦合。

6.根据权利要求5所述的小鼠面部视频数据集制作系统，其特征在于，pc端视频处理模块检测到字符“s”或检测键盘s键被触发时开始计时功能；检测到不同数字字符时记录对应实验条件触发的相应时间；检测到字符”e”或检测键盘e键被触发时结束计时功能，生成并存储实验条件触发与时间点的表格。

7.根据权利要求6所述的小鼠面部视频数据集制作系统，其特征在于，由pc端视频处理模块截取相同颜色标签的视频帧，分类保存视频文件。

8.根据权利要求7中任意项所述的小鼠面部视频数据集制作系统进行视频数据集制作的方法，其特征在于，包括以下步骤：

9.根据权利要求8所述的面部视频数据集制作方法，其特征在于，在步骤二中，pc端视频处理模块开启计时功能，记录开始时间；在步骤四中，记录不同实验条件触发时间点；在步骤五中记录结束时间，生成并存储实验条件触发与时间点的表格。

10.根据权利要求8所述的面部视频数据集制作方法，其特征在于，还包括步骤六，由pc端视频处理模块读取视频，对采集的数据在标签预留的位置进行不同颜色的像素值检测，根据检测的像素值分类，截取相同颜色标签的视频帧，分类保存视频文件。

技术总结
本发明提出一种用于深度学习的小鼠面部视频数据集制作系统及方法,红外摄像头采集小鼠面部视频数据，并连接PC端视频处理模块将视频数据传输并储存在PC端视频处理模块；实验条件控制模块向小鼠发出刺激条件，并向Arduino开发板发送电平信号；Arduino开发板向PC端视频处理模块发送引脚反馈信息，PC端视频处理模块基于OpenCV库控制红外摄像头，在视频帧中实时标注颜色标签。本发明提出的数据集制作方法及其系统为自动化流程，只需要提供视频数据保存路径，节省了人工标注导致的时间和劳力成本大的问题，大大提高了数据集的制作效率和质量。

技术研发人员：侯晓森,庆宏,宋达,李丹阳,全贞贞,倪军军,汤元鸿
受保护的技术使用者：北京理工大学
技术研发日：
技术公布日：2024/8/26