一种果蝇飞行轨迹层次化分割与行为模式分析方法

本发明属于生物行为学领域，具体涉及一种果蝇飞行轨迹层次化分割与行为模式分析方法，对果蝇飞行轨迹赋予综合语义标注，可提高研究的效率和结果的准确性并可应用于发现果蝇飞行模式，生物学神经机制的基本研究，果蝇飞行行为数据集的自动标注，以及用于仿生无人机集群行为研究及构建。

背景技术：

1、果蝇作为研究中常用的模式生物之一，拥有个体繁殖力强、易于饲养、飞行行为丰富等特点。由于在统计分布上，果蝇、蜜蜂、信天翁等生物均表现出莱维飞行现象，且行为空间存在相似性，同时果蝇行为易追踪，实验环境及条件更为可控。所以，针对果蝇飞行行为的研究具有代表性，相关研究思路及方法可拓展到其他相关生物的飞行行为模式研究中。对果蝇飞行行为的研究应从两个层面展开，即个体行为空间与群体间的相互作用。生物的大多数行为及意图都可以用模式化的行为空间来描述；同时群体内社会行为依赖于个体间交互的发生，因此，对于社会行为的研究源于准确、可靠的检测个体间是否发生交互。

2、随着人工智能的发展，果蝇飞行行为的研究可以采用机器学习或深度学习的方法，对其进行更加系统化的研究。目前，关于果蝇个体飞行行为模式的提取方法较为单一且缺乏对高层语义空间的判定，主要依赖于专家的手工操作，例如观察果蝇飞行视频或果蝇飞行轨迹，记录果蝇的飞行行为动作。这种手工操作的方式存在操作难、效率低、主观性强、不够全面精细等缺点，难以满足飞行生物行为空间分析研究的需求。目前基于轨迹分析的方法通常采用轨迹分割模块对其分割后，使用聚类方法对轨迹聚类，从而快速得到相似轨迹类别。轨迹分割通常使用三种标准：定长时间、限定变化角度、停留检测，但在果蝇飞行轨迹研究中，由于不同行为的持续时间不同，使得采用这些标准在生成轨迹段时存在缺陷，容易出现过分割现象。同时仅进行一次无监督聚类得到的结果信息较少，较长轨迹段可能由多种基本行为模式组成，具有更高层的语义空间，现有工作缺乏对此问题的讨论。除此之外，交互运动模式的提取也是果蝇飞行行为研究中不可或缺的一环，但现有的工作中缺少对果蝇交互模式进行自动分析的模块。

技术实现思路

1、针对上述果蝇飞行行为研究中存在的局限性，本发明的目的是提供一种果蝇飞行轨迹层次化分割与行为模式分析方法，该方法包含三个技术模块：(1)果蝇飞行行为轨迹段分割模块，用于提取果蝇飞行轨迹段；(2)果蝇个体飞行行为模式提取与分析模块，用于对果蝇飞行轨迹进行个体飞行行为模式的提取；(3)果蝇个体飞行交互模式提取与分析模块，用于检测果蝇个体产生交互行为的轨迹段，结合得到的高层语义空间，对个体间交互运动的关系模式进行判定。通过包含三个模块的个体行为的模式分析方法，实现对果蝇轨迹进行综合飞行行为模式分析，为相关的研究提供系统化的行为分析方法。

2、为实现上述目的，本发明所设计的一种果蝇飞行轨迹层次化分割与行为模式分析方法，包括的三个技术模块如下：

3、(1)果蝇飞行行为轨迹段分割模块：使用插值法计算轨迹点所在贝塞尔连续曲线，计算轨迹点曲率的方差波动，筛选获得轨迹点集合，进而确定轨迹的自适应弯曲阈值，定义局部最大弯曲点、扭曲点、弯曲点、平缓点，对轨迹进行分段处理，生成不定长的果蝇飞行行为轨迹段。

4、(2)果蝇个体飞行行为模式提取与分析模块：对提取的轨迹段进行逐轮无监督聚类，采用定制化的高度、角度、长度能量函数的综合评分体系评估聚类结果，为获得与果蝇飞行行为轨迹段对应的基础行为模式，通过基础行为模式的顺序、次数，对长轨迹进行高层语义空间的判定，从而发现新的组合动作模式，在每次聚类后使用长轨迹分裂方法，对轨迹进行层次化分裂。

5、(3)果蝇个体飞行交互模式提取与分析模块：根据果蝇轨迹数据集，分析每个时刻果蝇个体行为矢量，对果蝇轨迹的每个时间点进行交互模式的检测，并结合交互轨迹段的位置参数和运动参数判断其交互行为模式。

6、优选的，所述步骤(1)构建轨迹段分割模块的具体内容为：

7、(1-1)为得到果蝇飞行行为轨迹段集合，用于后续行为模式的分析，计算果蝇运动轨迹的空间特征，根据空间特征的变化对果蝇原始轨迹进行分。空间特征包括轨迹曲率cur、挠率tor。

8、(1-2)轨迹数据通常表示为轨迹点集合的形式，其本质可以看作包含空间信息的时间序列数据，果蝇轨迹数据表示为：

9、

10、其中，traj是轨迹数据集中的一条轨迹，是组成轨迹的三维轨迹点，t为轨迹点所在的时间戳，i为果蝇个体的编号，t为时间长度，n为果蝇数量。

11、通过计算轨迹曲率、挠率提取空间特征，进而实现对真实数据集与仿真数据集中轨迹段的提取。由于轨迹数据为离散点，难以直接计算曲率、挠率。因此，使用三阶贝塞尔函数计算连续轨迹函数并获得曲率和挠率：

12、

13、其中，bt(tb)是三阶贝塞尔函数，pt-1、pt和pt+1是三个相邻的离散轨迹点，tb是将pt-1和pt+1两个轨迹点间的时间归一化后得到的区间，可以用该公式计算t时刻轨迹点的曲率，pe和pf是通过三个相邻轨迹点计算得到的控制点，计算方法具体为：

14、计算pt-1与pt和pt与pt+1的中点pm和pn，然后计算pm和pn的中点pg，通过平移的方式，将线段pm pn平移至终点pg与pt重合，此时线段的两端点pm'和pn'就是控制点pe和pf。

15、轨迹点曲率可通过轨迹的连续函数代入公式求得，其中轨迹点曲率的计算公式为：

16、

17、其中，curt是t时刻用于计算轨迹点曲率的函数，tndh是将pt-1和pt+1两个轨迹点间的时间归一化后t对应的时间，由于每个轨迹点间时间间隔相同，tndh应该为常数0.5，bt′(tndh)为连续轨迹函数的一阶导数，bt″(tndh)为连续轨迹函数的二阶导数，连续轨迹函数可以通过以下方式进行求解：轨迹点挠率的计算公式为：

18、

19、其中，tort是t时刻用于计算轨迹点挠率的函数，bt″′(tndh)为连续轨迹函数的三阶导数。

20、(1-3)通过绘制曲率随时间变化的曲线可知，轨迹出现显著变化的过程恰好为一个曲线波峰的形成过程，因此波峰的起始点和结束点可用于轨迹段分割，除此之外，不同平面的轨迹交点挠率不为0，利用此交点分割轨迹，使轨迹段中的轨迹点位于同一平面，利用这些轨迹特征可以将轨迹点分为4种类型，包括：

21、

22、其中，pcurmax为局部最大弯曲点，ptor为扭曲点，pcurved为弯曲点，psmooth为平缓点，mcur为弯曲阈值，根据轨迹点类型的变化，可以得到分割点集合，分割标准为：在轨迹中未出现pcurmax的情况下，当第一次出现pcurved时，将该点作为分割点；在轨迹中已出现pcurmax的情况下，当第一次出现psmooth时，将该点作为分割点；当轨迹中出现ptor时，将该点作为分割点。

23、对弯曲阈值mcur的确定方法如下:由于平缓点与弯曲点的曲率存在差距，若在平缓点集合中加入弯曲点，点集的曲率方差将存在显著变化，反之亦然。根据此特点，寻找最优的弯曲阈值，使用弯曲阈值将一条轨迹上的轨迹点集合分为两部分，计算两集合中的方差与均值，优化目标具体为：

24、

25、其中，和为在弯曲阈值取mcur时得到的两个轨迹点集合，varw为弯曲阈值取mcur时，集合的曲率方差，meanq和meanw分别为弯曲阈值取mcur时两集合的平均曲率，scorecur为选取当前弯曲阈值得到的分数，该分数越低，说明通过该阈值区分平缓点和弯曲点的效果越好，弯曲阈值mcur的范围为[curmin,curmax]，curmin和curmax分别为轨迹中曲率最小值和最大值。

26、根据分割标准计算得到的分割点集合，对平滑处理后的果蝇轨迹数据进行分割处理，得到果蝇飞行轨迹段：

27、frags＝{fragk|k∈{1,...,m},length≥4}

28、其中，frags为分割后得到的轨迹段集合，fragk为编号k的轨迹段，轨迹段长度length需要满足大于等于4。

29、优选的，所述步骤(2)构建果蝇个体飞行行为模式提取与发现模块的具体内容为：

30、(2-1)果蝇个体飞行行为模式提取模块根据模块1得到的果蝇飞行轨迹段数据，使用自定义的高度、长度、角度能量函数，计算果蝇飞行轨迹段之间的相似度，通过逐轮无监督聚类，在每次聚类后使用长轨迹分裂方法，得到果蝇飞行行为轨迹段的分类结果，并根据专家知识对每个类中的代表轨迹段进行分析，然后根据得到的基础飞行行为模式，通过基础行为模式的顺序、次数，对长轨迹段进行高层语义空间的判定。

31、(2-2)对于不同时序长度的果蝇飞行轨迹段，若直接使用传统的距离函数计算距离，需要进行空间位置的预处理，为减少计算量，并提高相似度计算的准确性，结合dtw(动态时间规整)定义新的能量函数计算方式，具体为：

32、

33、

34、其中，disfrag(fraga,fragb)计算两条轨迹段之间的距离，计算两个轨迹点之间的距离，fraga和fragb为两条不同的轨迹段，和分别属于fraga和fragb，与距离最近，w1、w2、w3是能量函数中的权重，分别为长度能量函数、角度能量函数、高度能量函数，具体为：

35、ldis＝|la-lb|

36、其中，la、lb为比较轨迹点所在单位轨迹段的长度，单位轨迹段由轨迹点与其上一时刻轨迹点构成。

37、

38、其中，veca、vecb为上一时刻轨迹点指向比较轨迹点的方向向量。

39、

40、其中，la、lb为比较轨迹点所在单位轨迹段的长度，θdis为两轨迹段之间的方向夹角。

41、(2-3)分割后的轨迹段仍较长且单次聚类得到的行为类别较少，为解决此问题，在无监督聚类后增加长轨迹段分裂方法，在完成一次聚类后，以轨迹簇中最短轨迹为标准样本，将长度超过阈值lmax的轨迹段分裂，并对新产生的轨迹段集合进行新一轮聚类，重复此过程直至不产生新的行为类别或到达聚类次数的阈值，具体为：

42、an＝cluster(fragn)|n∈[1,m]

43、其中，cluster代表使用的聚类方法，这里为k-medoids，an是第n次轨迹聚类得到的聚类结果，fragn是第n-1次聚类后分裂轨迹段集合，m为聚类次数阈值。

44、轨迹段分裂的标准具体为：

45、采用自定义的能量函数计算标准样本中每个轨迹点与待分裂轨迹段中每个轨迹点的距离，找出与标准样本中每个轨迹点匹配的距离最小的轨迹点，取目标样本中第一个匹配点和最后一个匹配点作为分裂点，并将分裂后长度大于lmin的轨迹段加入下一轮聚类的轨迹段集合。

46、根据以上步骤得到的聚类结果，从每个类中选取代表轨迹段，通过判断该轨迹段速度、方向的变化及模块1中计算的曲率等空间特征来确定该轨迹段对应的基础行为模式，具体为：

47、s＝{type(am,vt,at,vect)}

48、其中，s为基础动作模式集合，type(am,vt,at,vect)是根据专家知识分析及相关运动特征计算个体飞行行为模式的函数，am为最后一次聚类得到的底层轨迹段的聚类结果，vt和at分别为t时刻个体的速度和加速度，该函数可计算单次聚类结果中每个类别对应的行为运动模式，由此实现对果蝇个体飞行过程中可变长度轨迹的基本模式进行自动提取，赋予类别信息，例如，直行、转弯、螺旋、停顿，在引入动力学信息后，对直行可进行减速、加速、匀速的区分，对于转弯大小，可通过弧度及角速度进行区分。

49、果蝇飞行轨迹基本模式提取后，增加高层语义空间的判定方法，根据长轨迹分类方法中层次化的轨迹分裂过程和基础动作模式的种类、出现次数以及顺序，可以得到轨迹段的基本动作模式组成，具体为：

50、ssenior＝{typesenior(s，fragn)|n∈[1,m-1]}

51、其中，ssenior为发现的果蝇的组成动作模式，typesenior(s，fragn)可以通过给定的基础动作模式以及对应的轨迹段集合，结合果蝇飞行行为模式的生物学研究，对果蝇的高层语义空间构成进行分析，并将其设定为判定空间，当满足高层语义空间构成条件时，为轨迹段进行复杂行为类别的发现，给予类别信息，例如，saccade行为，由基本动作空间中的直行和大于300°/s急速转弯构成；偏航运动，出现身体的旋转，呈螺旋状轨迹。

52、优选的，所述步骤(3)构建果蝇个体飞行交互模式提取与发现模块的具体内容为：

53、(3-1)果蝇个体飞行交互模式提取模块获取果蝇集群中每一时刻果蝇个体邻近分布情况，分析每个时刻果蝇个体行为矢量，结合专家知识，对果蝇轨迹的每个时间点进行交互模式的检测，并基于交互轨迹对的三种参数曲线，即速度差、运动方向夹角、距离差曲线，通过无监督聚类对具体的交互模式进行判断或发现新的交互模式。

54、(3-2)个体间交互行为通常发生在一定空间范围内，并持续一段时间，因此首先需要得到每个时刻个体的邻近个体集合，用于判断交互行为是否发生。

55、对每个时间点的果蝇个体使用kd树进行最近邻搜索，得到每个个体随时间变化的邻近分布集合，根据交互行为发生标准，分析每个时刻果蝇个体行为矢量，判断个体在运动过程中发生交互的时间范围，具体为：

56、

57、其中，为个体i在t时刻的邻近分布集合，mt为该时刻存在的个体数。

58、该集合可用于找出个体发生交互的轨迹段，交互标准为与其他个体距离小于eps且持续时间超过tlast，同时果蝇个体间质心方向的夹角小于阈值θmax，此处采用模块2中计算的运动方向近似代替；综合分析以上标准，得到所有果蝇个体发生交互行为的时间段，对这些时间段进行复杂交互行为模式的判定。

59、(3-3)在实现交互点检测的基础上，根据个体间位置、运动信息等关系，计算发生交互的轨迹段的三种参数：速度差、运动方向夹角、距离差，具体为：

60、

61、其中，vdiff为两个果蝇个体在交互时间[ts,te]范围内的速度差集合，和是个体i和个体j在t时刻的速度。

62、

63、其中，θdiff为两个果蝇个体在交互时间[ts,te]范围内的运动方向夹角集合，和是个体i和个体j在t时刻的运动方向向量，方向由当前轨迹点指向下一时刻轨迹点。

64、

65、其中，disdiff为两个果蝇个体在交互时间[ts,te]范围内的距离差集合，和是个体i和个体j在t时刻的空间位置，用于计算两个空间位置间的欧氏距离。

66、(3-4)以两条发生交互的轨迹段为某一种交互发生模式，对于相似的交互发生模式，其交互个体的位置、运动信息的变化具有相似性，以时间为横轴，三种参数为纵轴生成三种参数曲线，通过比较参数曲线的相似度，可以分析得到交互模式的类别，具体为：

67、distinter(m,n)＝k1*dtw(vm,vn)+k2*dtw(θm,θn)+k3*dtw(dism,disn)

68、其中distinter(m,n)为计算两种交互模式的能量函数，vm和vn为个体m和个体n的速度差参数曲线，θm和θn为个体m和个体n的运动方向夹角参数曲线，dism和disn为个体m和个体n的距离差参数曲线，dtw(curvem,curven)用于计算两曲线之间的dtw距离，curvem和curven分别为两条相同类型的参数曲线，k1、k2、k3分别是三种曲线的距离差异在总距离中的权重。

69、根据此能量函数，计算得到所有交互模式间的距离，使用k-medoids对交互模式进行聚类，具体为：

70、

71、其中，sinter是所有交互模式的集合，是聚类后的某一类交互模式，mmax为总的聚类数量，通过分析聚类簇中的代表轨迹段的三种参数曲线，判别具体的交互模式或是新的交互模式，例如：追逐交互模式的距离差参数曲线呈下降趋势，速度差参数曲线呈上升趋势，运动方向夹角参数曲线呈减小趋势；交配交互模式的速度差、距离差、运动方向夹角参数曲线接近x轴，且呈平缓趋势。

72、至此完成基于果蝇轨迹点的个体行为的模式发现与分析方法的构建。

73、所述的模块(1)的果蝇飞行行为轨迹段分割模块的应用，需针对给定的果蝇轨迹数据集计算所需的轨迹空间特征，包括曲率和挠率，基于轨迹的空间特征对轨迹点的类型进行定义，提取所需的行为轨迹段。

74、所述的模块(2)的果蝇个体飞行行为模式提取模块的应用，需自定义一种能量函数，使用无监督聚类找出空间形状相似的轨迹段集合，该能量函数需要克服空间距离影响、序列长度不同造成的一系列问题。另外，在无监督聚类之后需使用长轨迹分裂方法，增加对高层语义空间的行为分析过程。

75、所述的模块(3)的果蝇个体飞行交互模式提取模块的应用，需要对给定的果蝇轨迹数据集进行处理，获取空间中每一时刻果蝇个体邻近分布情况及果蝇个体行为矢量，结合专家知识，对果蝇轨迹的每个时间点进行交互的检测，基于交互轨迹段间的位置参数和运动参数，实现复杂交互行为模式的判定以及新模式的发现。

76、本发明实现了一种果蝇飞行轨迹层次化分割与行为模式分析方法，可应用于发现果蝇飞行模式，做生物学神经机制的基本研究，以及用于仿生无人机集群行为研究及构建。

77、本发明的有益效果是：

78、(1)定义一种轨迹片段分割标准，计算轨迹的曲率、挠率，对轨迹点类型通过阈值法进行区分，通过计算轨迹点曲率方差波动的方法，计算平缓点集合曲率的平均值、最大值或中位值，获得轨迹的自适应阈值。可减少分割过程中过分割现象的出现；

79、(2)提出了一种基于长轨迹分裂方法的果蝇个体行为模式层次化聚类方法，使用多轮的k-medoids聚类，利用长轨迹分裂方法，对底层轨迹段进行基本行为模式的判别，并由此自下而上的分析上层轨迹段的组合动作模式，得到高层语义空间。可解决人工分析效率过低，组成动作模式分析困难的问题；

80、(3)提出一种基于果蝇运动信息(速度，角度，位置)的果蝇交互模式聚类方法，通过参数化果蝇轨迹对之间的关系，构造交互模式的能量函数，并基于此进行聚类。聚类结果中包含4种交互类别，分别为追逐，交配，躲避，和其余未知模式。可对果蝇交互新模式的发现与分析提供有效帮助；

81、(4)发明可用于研究果蝇飞行行为，提供了一种集群中个体行为模式发现与分析方法，可应用于发现果蝇飞行模式，生物学神经机制的基础研究，果蝇飞行行为数据集的自动标注，以及用于仿生无人机集群行为研究及构建。