一种基于上下文聚合和边界生成的时序行为检测方法

文档序号:36242398发布日期:2023-12-02 05:23阅读:来源:国知局

技术特征:

1.一种基于上下文聚合和边界生成的时序行为检测方法,其特征在于:包括以下步骤:

2.根据权利要求1所述的一种基于上下文聚合和边界生成的时序行为检测方法,其特征在于:所述步骤3中

3.根据权利要求2所述的一种基于上下文聚合和边界生成的时序行为检测方法,其特征在于:所述步骤4中,浅层边界生成器由两个conv1d卷积层组成,并使用sigmoid函数激活输出特征以生成开始点的概率p′s和结束点概率p′e;深层边界生成器设计为编码器-解码器u型结构,通过组合多尺度特征来生成精确的动作边界,并通过一系列的密集卷积块以跳跃连接方式融合相同尺度的编码器和解码器特征,最终使用sigmoid函数激活输出特征以生成开始点的概率p″s″和结束点概率p″e″,融合生成最终的提名边界概率ps和pe的公式为(7):

4.根据权利要求1-3任意一个权利要求所述的一种基于上下文聚合和边界生成的时序行为检测方法,其特征在于:所述步骤5中,对于输入的多路径时序上下文特征d,首先将其转化为边界匹配特征图,然后对其进行采样操作以获得提名匹配特征图p,之后通过提名评估模块中的提名关系感知模块融合相邻提名特征,最终采用sigmoid函数得到提名匹配置信度图,分别用来分类和回归。

5.根据权利要求4所述的一种基于上下文聚合和边界生成的时序行为检测方法,其特征在于:所述提名关系感知模块是一种具有压缩激励块的残差模块变体,对于输入的特征图p首先通过输入特征层进行全局平均池化操作,然后,使用两个全连接层捕获通道之间的关系,在两个全连接之间设置gelu层,之后执行sigmoid以将值固定在[0,1],获得输入特征层的每个通道的权重值,最后与输入特征图p相叠加得到最后的输出特征图。


技术总结
本发明属于计算机视觉和模式识别技术领域,具体涉及一种基于上下文聚合和边界生成的时序行为检测方法。本发明设计了一个多路径时序上下文特征聚合模块,用于有效的聚合长期和短期时间上下文信息,从而增强行为事件的上下文表示。其次,为了生成精确的行为边界,本发明设计了一个多分支时间边界检测器,利用两个边界检测器之间的互补关系优化预测结果。此外,为了准确预测密集分布提名的置信度,本发明设计了一个提名关系感知模块,利用全局相关性进行提名关系建模,增强了提名上下文的表达性和鲁棒性。本发明对于持续时间长和持续时间短的视频都能有效检测,可实现对行为边界的高召回率和高精度捕捉。

技术研发人员:潘晓英,张妮娟,王昊,王贝贝
受保护的技术使用者:西安邮电大学
技术研发日:
技术公布日:2024/1/16
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1