基于深度摄像头的动物三维活动轨迹追踪测量记录方法与流程

本发明属于运动物体探测与追踪，具体涉及一种基于深度摄像头的单只实验动物三维活动轨迹准确追踪测量记录方法。

背景技术：

1、在社会老龄化背景下，越来越多的生物医学实验需要通过度量各种退行性疾病的造模实验动物的活动量改变，以及精准的三维活动轨迹等行为学数据来做疾病造模以及康复治疗等实验的评估指标。

2、目前用到的实验动物三维轨迹自动分析方法主要依靠普通摄像头的二维画面，基于深度模型对二维影像进行识别来粗略的估计动物在笼具中的空间位置，这类方法误差波动大，基本达不到量化分析的追踪和测量精度。优化的方案包括采用多个普通摄像头从不同角度同时拍摄被测量对象，原理上和单个摄像头一样，都是基于深度模型识别来估计目标对象在三维空间中的位置。

3、而现有的基于深度摄像头追踪笼具空间中实验动物三维轨迹的方法还没有。microsoft kinect 2.0的sdk2.0提供了深度摄像头捕获的视野范围内和有效深度范围内的最近三维点云信息。然而要将这个数据实际应用在笼具中实验动物的三维轨迹的测量和记录上，面临了以下几个关键问题：1.如何在记录画面(三维)中精确定位和还原笼具内部空间八个顶点的位置，以准确框定记录空间；2.如何去除测量空间内固有物体对追踪测量数据的影像，使数据准确度达到±1cm以内；3.如何提高采集和运行效能，确保实时追踪到准确数据的同时，同步录制追踪数据和影像数据，并维持30帧每秒以上的帧率。

技术实现思路

1、为了解决上述技术问题，本发明提供了一种基于深度摄像头的单只实验动物三维活动轨迹准确追踪测量记录方法；适用于测量在笼具空间中有三维活动的实验动物的活动量/运动/肌张力等相关行为学指标测量，比如准确的活动量，弹跳频次，位置偏好，运动轨迹，是否有活动模式、轨迹异常等等，这些指标的测量有助于各种老年退行性疾病建模、用药效果、康复疗法的效果评估。

2、为了达到上述技术目的，本发明是通过以下技术方案实现的：

3、一种基于深度摄像头的单只实验动物三维活动轨迹准确追踪测量记录方法，包括以下步骤：

4、s1：将深度摄像头安装于透明笼具侧前方1.5～2米，根据笼具的尺寸调整合适的距离，使视野覆盖笼具的前提下画面尽量较大；

5、s2：笼具内部空间八个顶点的精准定位；

6、s3：本底噪点的获取和实时排除；

7、s4：实时测量追踪记录三维轨迹数据的同时，通过调用kinect2.0的红外摄像头，同步录制四分格画面，便于实验者全面回顾数据；

8、优选的，所述s2的顶点定位方法具体为：

9、s2.1：将摄像头三维点云实时数据显示在三维画面上，确保笼具的八个顶点在调整定位时操作者能得到直观的画面反馈；

10、s2.2：根据八个顶点的空间位置，实时计算并以不同颜色反馈标定空间内外的点云像素点；

11、s2.3：利用反光布辅助远端顶点和其他视线受损的顶点的定位操作：由于笼具空间各顶点的三维点云的准确位置往往并不是很清晰，可以借助反光布，它在红外图像中高亮、在点云数据中全无的特点，放置在各顶点角落，配合鼠标三维拖拽旋转，辅助校准定位；

12、s2.4：将校准的顶点物理位置，以及顶点之间在三维画面中对应的物理距离值，在画面上实时反馈给操作者，通过比对笼具的实际尺寸，可进一步调定准确的笼具顶点位置；这样便可准确的框定记录空间，以及便于对齐后续三维追踪记录数据；

13、优选的，所述空间内外的点云像素点标定方法为：

14、s2.2.1：首先根据任一点的x/y(横/纵)位置根据空间线性映射关系计算出它在前/后两个面对应的最小/最大深度值(z)；

15、s2.2.2：其次根据该点的深度值z在其最小/最大深度值所在比例位置，根据空间线性映射关系计算出该点对应的左/右两个面上的最小/最大横轴位置(x)，以及该点对应的上/下两个面上的最小/最大高度位置(y)；

16、s2.2.3：最后判断该点的x/y/z(横/纵/深)三维位置是否均在其对应的最小/最大值范围内，如果在范围内实时标记为黄色，不在范围内则标记为蓝色；

17、优选的，所述s3中的本底噪点的获取与实时排除的具体方法为：

18、s3.1：根据前述定点定位方法步骤框定的记录空间，生成一个大小刚好合适的三维数据阵列，用来记录保存记录空间内固有物体产生的噪点数据；

19、s3.2：在追踪记录过程中，对于每一个在记录空间中的点云数据，在三维噪点数据框中历遍这个数据点附近的3*3*3共27个位置，如果均未发现有记录中的噪点，则将这个数据点判断为当前的有效数据值之一；

20、s3.3：采样率：和主机性能相关，cpu i7 8代，显卡p2200能达到50hz左右的采样率；优化运行效率的方法包括限制范围+间隔+轮动采样计算，比如kinect2.0的深度摄像头有512*424个三维数据像素点，首先以指定的八个顶点的xyz范围值框定有效范围，其次每次间隔n个点进行采样，单帧计算量即降低n*n倍，再增加一个辅助轮动的参数每帧在0-n之间逐一变化，则可保证每n帧所有像素点均被计算过一遍，这样既可以确保数据的准确性，又兼顾了运行效率；

21、优选的，所述四分格画面分别为：1)红外影像录像数据；2)三维画布上的笼具点位+追踪点位显示；3)红外影像录像数据+三维画布上的笼具点位+追踪点位显示；4)实验编号，日期，记录实时流逝时间(毫秒)，实时三维轨迹数值(厘米)。

22、本发明的有益效果是：

23、kinect深度摄像头的三维点云数据是基于真实空间的实时反馈数值，不受透视形变的影响，结合我们的采集方法：精准定位笼具空间，去除本底噪点，优化运算运行效率，全面记录数据和影像采集；能实时高效的解析笼具中单只动物的准确空间坐标位置。其数据的量化精度、准确度都是高于基于二维平面影像估算的数据值的。其次采用本发明的方法，硬件架构相较于多个普通摄像头来说，安装也更为简便。为动物行为实验活动轨迹和活动量数据测量提供一个更为可行，可靠的方法。

技术特征：

1.一种基于深度摄像头的单只实验动物三维活动轨迹准确追踪测量记录方法，其特征在于，包括以下步骤：

2.根据权利要求1所述一种基于深度摄像头的单只实验动物三维活动轨迹准确追踪测量记录方法，其特征在于，所述s2的顶点定位方法具体为：

3.根据权利要求2所述一种基于深度摄像头的单只实验动物三维活动轨迹准确追踪测量记录方法，其特征在于，所述空间内外的点云像素点标定方法为：

4.根据权利要求1所述一种基于深度摄像头的单只实验动物三维活动轨迹准确追踪测量记录方法，其特征在于，所述s3中的本底噪点的获取与实时排除的具体方法为：

5.根据权利要求1所述一种基于深度摄像头的单只实验动物三维活动轨迹准确追踪测量记录方法，其特征在于，所述四分格画面分别为：1)红外影像录像数据；2)三维画布上的笼具点位+追踪点位显示；3)红外影像录像数据+三维画布上的笼具点位+追踪点位显示；4)实验编号，日期，记录实时流逝时间(毫秒)，实时三维轨迹数值(厘米)。

技术总结
本发明公开了基于深度摄像头的动物三维活动轨迹追踪测量记录方法，主要步骤包括：S1：将深度摄像头安装于透明笼具侧前方1.5～2米，根据笼具的尺寸调整合适的距离，使视野覆盖笼具的前提下画面尽量较大；S2：笼具内部空间八个顶点的精准定位；S3：本底噪点的获取和实时排除；S4：实时测量追踪记录三维轨迹数据的同时，通过调用Kinect2.0的红外摄像头，同步录制四分格画面，便于实验者全面回顾数据；适用于测量在笼具空间中有三维活动的实验动物的活动量/运动/肌张力等相关行为学指标测量，比如准确的活动量，弹跳频次，位置偏好，运动轨迹，是否有活动模式、轨迹异常等等，这些指标的测量有助于各种老年退行性疾病建模、用药效果、康复疗法的效果评估。

技术研发人员：何静,魏景宽
受保护的技术使用者：昆明云岸数字科技有限公司
技术研发日：
技术公布日：2024/1/13