监控方法、多目摄像装置、电子装置和存储介质与流程

文档序号:27551825发布日期:2021-11-24 22:45阅读:116来源:国知局
监控方法、多目摄像装置、电子装置和存储介质与流程

1.本技术涉及成像技术领域,特别是涉及监控方法、多目摄像装置、电子装置和存储介质。


背景技术:

2.随着生活水平的提升,公众对安防的需求不断提高,安防监控技术也不断发展,各种视频通信应用也相应产生,如视频监控。视频监控可以实时了解目标环境的情况,便于进行针对性的防护。具体地,视频监控是通过获取监控目标的视频图像信息,对视频图像进行监视、记录、回溯。通常情况下,基于摄像装置实现视频监控,传统摄像装置主要为单目摄像头,在单目摄像头的基础上也可以形成多目摄像装置。
3.在相关技术中,用于视频监控的多目摄像装置主要为单一平面上的多个摄像头的排布,仅能进行某个确定方向上的视频监控,监控区域覆盖不够全面。
4.目前针对相关技术中的多目摄像装置主要为单一平面上的多个摄像头的排布,导致监控区域覆盖不够全面的问题,尚未提出有效的解决方案。


技术实现要素:

5.本技术实施例提供了一种监控方法、多目摄像装置、电子装置和存储介质,以至少解决相关技术中多目摄像装置主要为单一平面上的多个摄像头的排布,导致监控区域覆盖不够全面的问题。
6.第一方面,本技术实施例提供了一种监控方法,应用于多目摄像装置,所述多目摄像装置包括主摄像层和副摄像层,所述主摄像层和副摄像层能够以各自的主轴为中心旋转,以使得所述主摄像层和副摄像层的监控角度均为至少部分圆周;所述方法包括:
7.通过所述主摄像层获取全景监控数据;
8.获取所述全景监控数据中的识别目标的位置信息;
9.根据所述位置信息、所述主摄像层与所述副摄像层之间的位置映射关系,控制所述副摄像层对所述识别目标进行识别和跟踪。
10.在其中一些实施例中,所述多目摄像装置包括多个副摄像层,多个所述副摄像层对应不同的焦距;在所述获取所述全景监控数据中的识别目标的位置信息之后,所述方法包括:
11.通过所述副摄像层的焦距确定与所述副摄像层对应的监控区域;
12.根据所述识别目标的位置信息与所述监控区域的映射关系,确定目标副摄像层;
13.控制所述目标副摄像层中的成像设备对所述识别目标进行识别和跟踪。
14.在其中一些实施例中,所述副摄像层包括云台,所述控制所述目标副摄像层中的成像设备对所述识别目标进行识别和跟踪包括:
15.通过所述云台控制所述目标副摄像层中的成像设备进行转动和变焦,直至定位到所述识别目标;
16.控制所述目标副摄像层中的成像设备对所述识别目标进行识别和跟踪。
17.在其中一些实施例中,所述主摄像层包括多个成像设备,所述主摄像层的多个成像设备共用所述主摄像层的主轴,所述通过所述主摄像层获取全景监控数据包括:
18.获取各个所述成像设备的局部监控数据;
19.将各个所述局部监控数据进行整合,得到所述全景监控数据,其中,所述整合至少包括匹配、映射、拼接、融合中的一个。
20.在其中一些实施例中,所述根据所述位置信息、所述主摄像层与所述副摄像层之间的位置映射关系,控制所述副摄像层对所述识别目标进行识别和跟踪包括:
21.获取所述识别目标的编码;
22.通过所述主摄像层的全景监控数据和所述副摄像层的识别和跟踪数据,获取所述识别目标的运动轨迹以及所述运动轨迹的编码;
23.将所述识别目标的编码与所述运动轨迹的编码进行关联。
24.在其中一些实施例中,所述多目摄像装置包括第一副摄像层和第二副摄像层,所述根据所述位置信息、所述主摄像层与所述副摄像层之间的位置映射关系,控制所述副摄像层对所述识别目标进行识别和跟踪包括:
25.若判断所述识别目标不在所述第一副摄像层的监控区域内,获取通过所述主摄像层得到的更新后的全景监控数据;
26.根据所述更新后的全景监控数据中所述识别目标的位置信息,确定对应的第二副摄像层;
27.控制所述第二副摄像层对所述识别目标进行识别和跟踪。
28.在其中一些实施例中,所述多目摄像装置的主摄像层为定焦层;所述通过所述主摄像层获取全景监控数据包括:
29.通过所述定焦层获取预设区域的全景监控数据。
30.第二方面,本技术实施例提供了一种多目摄像装置,所述多目摄像装置包括主摄像层、副摄像层和处理器,所述主摄像层和副摄像层能够以各自的主轴为中心旋转,以使得所述主摄像层和副摄像层的监控角度均为至少部分圆周;
31.所述处理器通过所述主摄像层获取全景监控数据;
32.所述处理器获取所述全景监控数据中的识别目标的位置信息;
33.所述处理器根据所述位置信息、所述主摄像层与所述副摄像层之间的位置映射关系,控制所述副摄像层对所述识别目标进行识别和跟踪。
34.第三方面,本技术实施例提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的监控方法。
35.第四方面,本技术实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的监控方法的步骤。
36.相比于相关技术,本技术实施例提供的监控方法,应用于多目摄像装置,该多目摄像装置包括主摄像层和副摄像层,主摄像层和副摄像层能够以各自的主轴为中心旋转,以使得主摄像层和副摄像层的监控角度均为至少部分圆周;监控方法包括:通过主摄像层获取全景监控数据;获取全景监控数据中的识别目标的位置信息;根据位置信息、主摄像层与
副摄像层之间的位置映射关系,控制副摄像层对识别目标进行识别和跟踪。解决了相关技术中多目摄像装置主要为单一平面上的多个摄像头的排布,导致监控区域覆盖不够全面的问题,提高了各个摄像头的旋转能力,扩大了监控视野。
37.本技术的一个或多个实施例的细节在以下附图和描述中提出,以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
38.此处所说明的附图用来提供对本技术的进一步理解,构成本技术的一部分,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:
39.图1是根据本技术实施例的监控方法的应用环境示意图;
40.图2是根据本技术实施例的监控方法的流程图;
41.图3是根据本技术实施例的另一种监控方法的流程图;
42.图4是根据本技术实施例的又一种监控方法的流程图;
43.图5是根据本技术优选实施例的多目摄像装置的摄像层的结构图;
44.图6是根据本技术优选实施例的监控区域的示意图;
45.图7是根据本技术优选实施例的监控方法的流程图;
46.图8为本技术实施例的监控方法的终端的硬件结构框图;
47.图9是根据本技术实施例的多目摄像装置的结构框图。
具体实施方式
48.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。基于本技术提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本技术保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本技术公开的内容相关的本领域的普通技术人员而言,在本技术揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本技术公开的内容不充分。
49.在本技术中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本技术所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
50.除非另作定义,本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连
接,而是可以包括电气的连接,不管是直接的还是间接的。本技术所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“a和/或b”可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
51.本技术提供的监控方法,可以应用于如图1所示的应用环境中,图1是根据本技术实施例的监控方法的应用环境示意图,如图1所示。其中,多目摄像装置包括主摄像层和副摄像层,主摄像层和副摄像层均包括多个摄像头11,主摄像层能够以主轴为中心整层旋转,同样的,副摄像层也能够以主轴为中心整层旋转,以使得主摄像层和副摄像层的监控角度均为至少部分圆周;在监控过程中,主摄像层的摄像头11可以获取全景监控数据,然后提取全景监控数据中的识别目标12的位置信息,最后根据位置信息、主摄像层与副摄像层中各个摄像头11之间的位置映射关系,控制副摄像层中的摄像头11对识别目标12进行识别和跟踪。
52.对于成像设备,焦距越长,能够拍摄到的距离越远,相应的,能够拍摄到的视角越小。因此,通过设置成像设备的焦距,可以得到不同的监控视角和不同的监控距离,从而得到不同的监控区域。
53.本实施例提供了一种监控方法,应用于多目摄像装置,本实施例中的多目摄像装置包括主摄像层和副摄像层,主摄像层和副摄像层在静止时的监控角度均为至少部分圆周,主摄像层和副摄像层能够以各自的主轴为中心旋转,以使得主摄像层和副摄像层的监控角度为全圆周,进一步地,主摄像层和副摄像层的主轴在一条直线上,图2是根据本技术实施例的监控方法的流程图,如图2所示,该方法包括如下步骤:
54.步骤s210,通过主摄像层获取全景监控数据。
55.其中,主摄像层的视角大于副摄像层的视角,所以能够获取最大的监控范围,本实施例中,通过对主摄像层中的成像设备进行设置,使得主摄像层可以获取到全景监控数据。具体地,全景监控数据为整个圆周的监控数据。
56.本实施例中的主摄像层上可以设置一个或者多个成像设备,在仅有一个成像设备的情况下,由于该成像设备在静止状态下的监控区域为部分圆周,所以可以设置该成像设备的旋转周期,以控制该成像设备通过旋转获取全景监控数据,即在一个旋转周期内,该成像设备可以完成整个圆周的全景监控。在主摄像层设置多个成像设备的情况下,可以获取每个成像设备在静止状态下的监控区域,此时,若各个成像设备的监控区域构成完整圆周,可以直接通过各个成像设备的监控数据得到全景监控数据,若各个成像设备共同构成的监控区域仍然为部分圆周,同样可以设置主摄像层的旋转周期,以获取全景监控数据。
57.需要说明的是,本实施例中的成像设备用于获取监控区域中的场景信息,可以为摄像头、相机等等,相应的,全景监控数据可以为连续的视频流,也可以为抓拍图像。
58.步骤s220,获取全景监控数据中的识别目标的位置信息。
59.在主摄像层的成像设备获取到全景监控数据之后,可以在全景监控数据中获取识别目标,其中,识别目标可以预先设置,例如车辆、行人、动物等等,具体地,获取识别目标可以通过特征提取和识别算法实现,例如,通过预先训练的神经网络模型来提取监控数据的特征进行识别,然后与数据库中识别目标的特征进行比对,从而判断监控数据中是否存在识别目标。在获取到识别目标的情况下,根据成像设备预先设置的坐标系,获取识别目标在
该坐标系下的位置信息。其中,成像设备的坐标系可以通过出厂设置得到。优选地,本实施例中的位置信息可以为成像设备监控画面内的像素坐标。
60.步骤s230,根据位置信息、主摄像层与副摄像层之间的位置映射关系,控制副摄像层对识别目标进行识别和跟踪。
61.本实施例在设置主摄像层和副摄像层时,会同步标定主摄像层和副摄像层之间的位置映射关系,即主摄像层的坐标系和副摄像层的坐标系之间的转换关系,所以在获取到识别目标于主摄像层中的位置信息之后,可以根据位置映射关系,得到识别目标在副摄像层中的位置信息,进而控制副摄像层中的成像设备对识别目标进行识别和跟踪。具体地,识别过程可以通过特征提取和识别实现,跟踪过程可以通过多目标跟踪算法实现。
62.通过上述步骤s210至步骤s230,由于本实施例中多目摄像装置的主摄像层可以围绕其主轴旋转,所以可以得到全景监控数据,由于副摄像层可以围绕其主轴进行旋转,所以可以对识别目标在整个圆周范围内进行识别和跟踪,解决了相关技术中多目摄像装置主要为单一平面上的多个摄像头的排布,导致监控区域覆盖不够全面的问题,提高了各个摄像头的旋转能力,扩大了监控视野。
63.优选地,多目摄像装置的主摄像层为定焦层,此时获取全景监控数据具体为通过定焦层获取预设区域的全景监控数据。本实施例中定焦层的焦距小于其他所有副摄像层中的焦距,定焦层的视角大于其他所有副摄像层中的视角。所以,本实施例中通过将主摄像层设置为定焦层,可以扩大监控视角,使得多目摄像装置的监控区域更大。
64.在其中一些实施例中,多目摄像装置包括多个副摄像层,多个副摄像层对应不同的焦距,进一步地,每个副摄像层与焦距一一对应,由于焦距不同,所以各个副摄像层的监控区域和视角均不相同,优选地,各个副摄像层的监控区域可以共同构成主摄像层的监控区域,图3是根据本技术实施例的另一种监控方法的流程图,如图3所示,该方法包括如下步骤:
65.步骤s310,通过副摄像层的焦距确定与副摄像层对应的监控区域。
66.本实施例中,副摄像层的监控区域由该副摄像层的成像设备的监控区域构成,在一个副摄像层具有多个成像设备的情况下,该副摄像层的多个成像设备具有相同的焦距,由于在焦距确定的情况下,监控距离也可以确定,因此,基于副摄像层的旋转,一个副摄像层的监控区域的俯视图为一个环形。
67.在有多个副摄像层的情况下,可以得到多个环形构成的监控区域,每个环形的半径不同。
68.步骤s320,根据识别目标的位置信息与监控区域的映射关系,确定目标副摄像层。
69.由于各个副摄像层的监控区域共同构成主摄像层的监控区域,所以本技术中的多目摄像装置在设置时,可以根据出厂设置来标定主摄像层监控区域中的坐标与各个副摄像层的监控区域之间的映射关系,进一步地,也可以标定各个副摄像层坐标之间的映射关系,可选地,基于标定板实现映射关系的标定。因此,在多目摄像装置的运行过程中,若获取到识别目标在主摄像层中的位置信息,可以基于映射关系得到与该识别目标对应的监控区域以及负责该监控区域的目标副摄像层。
70.步骤s330,控制目标副摄像层中的成像设备对识别目标进行识别和跟踪。
71.本实施例中的副摄像层均包括多个成像设备,在副摄像层旋转时,副摄像层中所
有成像设备之间的相对位置不变,副摄像层整层旋转。在确定目标副摄像层之后,可以进一步根据该目标副摄像层中每个成像设备的监控区域与识别目标的位置信息,确定具体的成像设备,从而实现对识别目标的识别和跟踪。
72.通过上述步骤s310至s330,在映射关系的基础上,通过多个成像设备对识别目标进行识别和跟踪,可以提高对识别目标的跟踪效率和成功率,避免由于监控盲区导致识别目标丢失的情况。
73.进一步地,在多目摄像装置包括多个副摄像层的情况下,由于多个副摄像层对应不同的焦距,所以每个副摄像层对应的监控区域也不同,因此,本实施例可以实现圆周下不同监控距离、不同监控视角的实时监控,覆盖更大的监控场景。
74.在成像设备的焦距可变时,成像设备的监控距离可以为一个范围,由变焦的成像设备构成的副摄像层称为变焦层,此时,副摄像层包括云台,以辅助实现成像设备的变焦功能。具体地,云台是安装、固定成像设备的支撑设备,本实施例中的云台优选为电动云台,电动云台适用于对大范围进行扫描监视,可以扩大成像设备的监视范围。电动云台高速姿态是由两台执行电动机来实现,电动机接受来自控制器的信号精确地运行定位。在控制信号的作用下,云台上的成像设备既可自动扫描监视区域,也可在工作人员的操纵下跟踪监视对象,云台根据其回转的特点可分为只能左右旋转的水平旋转云台和既能左右旋转又能上下旋转的全方位云台。因此,控制目标副摄像层中的成像设备对识别目标进行识别和跟踪包括:通过云台控制目标副摄像层中的成像设备进行转动和变焦,直至定位到识别目标,控制目标副摄像层中的成像设备对识别目标进行识别和跟踪。本实施例中,通过成像设备的云台不仅可以实现成像设备的变焦,还可以实现成像设备的多自由度方向调整,使得成像设备的方位更加灵活,进一步扩大单个成像设备的监控区域,进而扩大单个副摄像层的监控区域,从而减少副摄像层的数量,降低多目成像装置的成本。
75.在其中一些实施例中,主摄像层包括多个成像设备,主摄像层的多个成像设备共用主摄像层的主轴,在主摄像层旋转时,主摄像层中所有成像设备之间的相对位置不变,主摄像层整层旋转,因此本实施例中,通过主摄像层获取全景监控数据具体为:获取各个成像设备的局部监控数据,将各个局部监控数据进行整合,得到全景监控数据,其中,整合至少包括匹配、映射、拼接、融合中的一个,具体地,匹配是指将不同监控数据中的特征进行匹配,映射为将不同监控数据中的特征映射至同一坐标系下,拼接为将不同监控数据进行叠加,融合为将不同监控数据中重复的部分进行删除或者优化处理,本实施例中,可以将各个成像设备的监控画面进行整合,也可以仅对监控数据进行整合。在主摄像层设置多个成像设备的情况下,每个成像设备的监控区域为均为部分圆周,因此需要将各个成像设备获取到的局部监控数据进行整合才能得到全景监控数据。本实施例中对主摄像层设置了多个成像设备,所以可以更快的获取到整个圆周的监控数据,因此可以提高监控效率。
76.进一步地,在相同时间内人流量较多,且需要对多个识别目标进行识别和跟踪时,可以控制主摄像层的多个成像设备分别对不同的识别目标进行识别,实现多个成像设备的分别对多个识别目标进行监控,降低漏拍率。
77.在其中一些实施例中,图4是根据本技术实施例的又一种监控方法的流程图,如图4所示,该方法包括:
78.步骤s410,获取识别目标的编码。
79.本实施例中在对识别目标进行识别和跟踪时,会将识别目标进行编码,例如n1,对于不同的识别目标,设置不同的编码,避免在获取多个识别目标时出现混乱。
80.步骤s420,通过主摄像层的全景监控数据和副摄像层的识别和跟踪数据,获取识别目标的运动轨迹以及运动轨迹的编码。
81.进一步地,在基于主摄像层的全景监控数据获取到识别目标之后,可以基于副摄像层的成像设备对该识别目标进行跟踪,从而获取该识别目标的运动轨迹,并对该运动轨迹进行编码。本实施例中,运动轨迹的编码可以与识别目标的编码一致,例如同样编为n1,便于对不同的识别目标进行识别,另一方面,也可以设置与识别目标相关但是不同的编码,例如l1,其中,n表示识别目标,l表示运动轨迹,1表示具体识别目标的编号。
82.步骤s430,将识别目标的编码与运动轨迹的编码进行关联。
83.在获取到识别目标的编码与运动轨迹的编码之后,需要建立识别目标的编码与运动轨迹的编码之间的关联关系,便于将识别目标的编码与运动轨迹的编码进行管理。
84.通过上述步骤s410至步骤s430,对识别目标和其运动轨迹进行编码,可以实现对监控数据的标签式的有效关联,进一步地实现以识别目标为主体的结构化数据存储,便于监控数据的查找和使用。
85.在其中一些实施例中,多目摄像装置的副摄像层包括第一副摄像层和第二副摄像层,第一副摄像层和第二副摄像层对应不同的监控区域,此时,若识别目标的运动轨迹跨越不同的监控区域,可以根据识别目标的位置信息控制不同的副摄像层对识别目标进行识别和跟踪,具体地,若判断识别目标不在第一副摄像层的监控区域内,获取通过主摄像层得到的更新后的全景监控数据,其中,判断识别目标是否位于第一副摄像层的监控区域可以通过对第一监控区域中的监控图像进行图像识别实现,若在与第一监控区域对应的监控图像中识别不到该识别目标,则说明识别目标不在第一副摄像层的监控区域内;根据更新后的全景监控数据中识别目标的位置信息,确定对应的第二副摄像层,控制第二副摄像层对识别目标进行识别和跟踪,其中,确定对应的第二副摄像层可以通过识别目标的位置信息与监控区域的映射关系得到。本实施例中给出了一种对识别目标进行识别和跟踪时,不同副摄像层的切换方法,实现对识别目标的多摄像层的联合跟踪,采集并提取高质量有效属性,可以提高对识别目标的跟踪效率和跟踪准确率。
86.下面通过优选实施例对本技术实施例进行描述和说明。
87.相关技术中的摄像装置,仅能实现同一平面下的监控,不能解决立体监控场景下的大视角监控问题,以及立体场景下无法同时获取到多个识别目标,还存在全时状态下的摄像装置的监控区域覆盖不完全的问题。
88.本实施例中的多目摄像装置,能够实现全圆周不同监控距离的实时监控。具体地,图5是根据本技术优选实施例的多目摄像装置的摄像层的结构图,如图5所示,本实施例中的多目摄像装置包括多个摄像层,多个摄像层包括一个主摄像层和至少一个副摄像层,直线表示摄像层主轴的方向,曲线分别表示主摄像层和副摄像层,箭头表示摄像层的旋转方向,本实施例中主摄像层位于副摄像层的上方,在其他实施例中,主摄像层的位置可以根据需要调整。每个摄像层包含一个或多个成像设备,每个摄像层中的成像设备共用一个主轴。其中,主摄像层由m个定焦成像设备组成,m≥2,所以主摄像层为定焦层。定焦层中各成像设备之间的相对位置固定,但定焦层可以整层相对主轴进行旋转,旋转过程可以通过手动结
构实现,此时旋转后通过锁紧机构锁紧,旋转过程也可以通过电机自动旋转实现。定焦层各成像设备的监控画面可以进行画面拼接也可以不进行画面拼接,但各个成像设备的局部监控数据需要进行整合处理,且该定焦层的监控数据为主体,定焦层在进行监控数据的采集与分析后输出指令至其他副摄像层各个独立的成像设备。
89.进一步地,图6是根据本技术优选实施例的监控区域的示意图,如图6所示,定焦层的监控区域为所有摄像层里最大的,l2为定焦层监控区域的半径,具体地,虚线将最大的圆形划分多个扇形区域,每个扇形为一个定焦层成像设备的监控区域,定焦层的焦距是所有摄像层中最小的,定焦层中的成像设备可以仅做目标识别而不进行人脸识别,副摄像层则负责人脸识别和/或比对。副摄像层中的成像设备均为变焦设备,因此副摄像层为变焦层,变焦层的最大焦距均大于定焦层,且变焦层的成像设备必须包含一个成像系统和一个多轴云台,该云台自由度大于1。定焦层主要实现的作用是全景监控和虚拟现实(virtual reality,简称为vr)全景画面的获取。定焦层所能够覆盖的监控区域的大小即为该多目摄像装置可覆盖的最大场景,各个变焦层分别主负责该最大监控区域中的一部分,同一变焦层的各成像设备负责同一环形监控区域的不同部分。图6中每个环形为一个变焦层的监控区域,多个环形构成完整的圆形,虚线将环形划分为多个扇环形,每个扇环形为一个变焦层的成像设备的监控区域。l1为一个变焦层的监控区域的半径。
90.基于本实施例中的多目摄像装置,可以实现一种监控方法,图7是根据本技术优选实施例的监控方法的流程图,如图7所示,该方法包括如下步骤:
91.步骤s710,定焦层在其监控区域内对识别目标进行检测。若在监控区域内获取到识别目标,读取识别目标在监控画面内像素坐标位置,作为该识别目标的位置信息,并对该识别目标编码为n1,同时记录n1的运动轨迹,编码为l1,将l1与n1进行关联。若在监控区域内没有获取到识别目标,则定焦层持续在监控区域内进行检测。
92.步骤s720,各个副摄像层的成像设备用于对识别目标进行识别和跟踪,本实施例中会预先标定定焦层和变焦层中成像设备之间的像素坐标映射关系。基于标定的像素坐标映射关系,定焦层的处理器根据识别目标的位置信息向与该位置信息对应的变焦层的成像设备a发送指令,定焦层的成像设备实时读取识别目标在其坐标系下的像素坐标位置作为位置信息。优选的,本实施例中的成像设备为摄像头。
93.步骤s730,成像设备a转动云台至识别目标的位置,同时变焦至与识别目标对应的焦距,对该识别目标进行跟踪和抓拍,得到监控数据。进一步地,可以从获取到的多张监控图像中通过抠图得到识别目标的小图,并将所有的小图关联到n1。
94.步骤s740,随着识别目标在监控区域中移动,定焦层实时分析该识别目标的位置信息,判断识别目标是否离开当前的成像设备a的监控区域。若没有,成像设备a继续驱动云台转动和变焦,对识别目标进行跟踪。
95.步骤s750,若识别目标离开成像设备a所负责的监控区域,先判断识别目标是否仍然在定焦层的监控区域内,若识别目标已经离开定焦测的监控区域,则结束对识别目标的监测,更新并存储n1的运动轨迹。
96.步骤s760,若识别目标仍然在定焦层的监控区域内,例如识别目标位于成像设备b的监控区域内,那么基于标定的像素坐标映射关系,定焦层的处理器根据识别目标的位置信息向与该位置信息对应的变焦层的成像设备b发送指令,定焦层持续实时记录识别目标
的运动轨迹并关联至n1。
97.步骤s770,成像设备b转动云台至识别目标的位置,同时变焦至与识别目标对应的焦距,对该识别目标进行跟踪和抓拍,得到监控数据。进一步地,可以从获取到的多张监控图像中通过抠图得到识别目标的小图,并将所有的小图关联到n1。
98.步骤s780,基于抓拍的监控图像提取识别目标的属性特征,并将该属性特征关联至n1,同时更新该识别目标的运动轨迹l1并将更新后的运动轨迹l1关联至n1。
99.需要说明的是,在上述步骤s710至步骤s780的过程中,若定焦层在成像设备a的监控区域未获取到第二个识别目标,则由定焦层发送指令至成像设备a,命令成像设备a回到默认状态下的云台位置和焦距状态,若定焦层在成像设备a的监控区域获取到第二个识别目标,则定焦层直接发送指令至成像设备a,继续转动云台并变焦跟踪第二个识别目标的位置,以此类推。
100.通过上述步骤s710至步骤s780,由于多目摄像装置包括能够旋转的定焦层和变焦层,所以可以实现全圆周不同距离下的实时监控,提高目标识别的效率,同时降低漏抓率,提高识别准确度。由于对识别目标和对应的运动轨迹进行编码,所以能够得到最佳的结构化数据。
101.进一步地,通过全圆周监控方案,能够大数量捕捉识别目标在不同位置、不同姿势下的画面,实现监控数据可用性和有效性。
102.需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
103.本技术提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例,图8为本技术实施例的监控方法的终端的硬件结构框图。如图8所示,终端80可以包括一个或多个(图8中仅示出一个)处理器802(处理器802可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器804,可选地,上述终端还可以包括用于通信功能的传输设备806以及输入输出设备808。本领域普通技术人员可以理解,图8所示的结构仅为示意,其并不对上述终端的结构造成限定。例如,终端80还可包括比图8中所示更多或者更少的组件,或者具有与图8所示不同的配置。
104.存储器804可用于存储控制程序,例如,应用软件的软件程序以及模块,如本技术实施例中的监控方法对应的控制程序,处理器802通过运行存储在存储器804内的控制程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器804可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器804可进一步包括相对于处理器802远程设置的存储器,这些远程存储器可以通过网络连接至终端80。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
105.传输设备806用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端80的通信供应商提供的无线网络。在一个实例中,传输设备806包括一个网络适配器(network interface controller,简称为nic),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备806可以为射频(radio frequency,简称为rf)模块,其用于通过无线方式与互联网进行通讯。
106.本实施例还提供了一种多目摄像装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
107.图9是根据本技术实施例的多目摄像装置的结构框图,如图9所示,该多目摄像装置包括主摄像层91、副摄像层92和处理器93,主摄像层91和副摄像层92能够以各自的主轴为中心旋转,以使得主摄像层91和副摄像层92的监控角度均为至少部分圆周;处理器93包括获取模块、识别模块和控制模块,其中,获取模块用于通过主摄像层91获取全景监控数据;识别模块用于获取全景监控数据中的识别目标的位置信息;控制模块用于根据位置信息、主摄像层与副摄像层92之间的位置映射关系,控制副摄像层92对识别目标进行识别和跟踪。
108.优选地,本实施例中的主摄像层91为定焦层,以扩大监控视角,使得多目摄像装置的监控区域更大。
109.由于本实施例中多目摄像装置的主摄像层91可以围绕其主轴旋转,所以可以得到全景监控数据,由于副摄像层92可以围绕其主轴进行旋转,所以可以对识别目标在整个圆周范围内进行识别和跟踪,解决了相关技术中多目摄像装置主要为单一平面上的多个摄像头的排布,导致监控区域覆盖不够全面的问题,提高了各个摄像头的旋转能力,扩大了监控视野。
110.在其中一些实施例中,多目摄像装置包括多个副摄像层92,多个副摄像层92对应不同的焦距;处理器93还包括确定模块,该确定模块用于通过副摄像层92的焦距确定与副摄像层92对应的监控区域;根据识别目标的位置信息与监控区域的映射关系,确定目标副摄像层92;控制目标副摄像层92中的成像设备对识别目标进行识别和跟踪。本实施例在映射关系的基础上,确定模块通过多个成像设备对识别目标进行识别和跟踪,可以提高对识别目标的跟踪效率和成功率,避免由于监控盲区导致识别目标丢失的情况。
111.在其中一些实施例中,副摄像层92包括云台,此时处理器93包括变焦模块,该变焦模块,用于通过云台控制目标副摄像层92中的成像设备进行转动和变焦,直至定位到识别目标;控制目标副摄像层92中的成像设备对识别目标进行识别和跟踪。本实施例中,变焦模块通过成像设备的云台不仅可以实现成像设备的变焦,还可以实现成像设备的多自由度方向调整,使得成像设备的方位更加灵活,进一步扩大单个成像设备的监控区域,进而扩大单个副摄像层92的监控区域,从而减少副摄像层92的数量,降低多目成像装置的成本。
112.在其中一些实施例中,主摄像层91包括多个成像设备,主摄像层91的多个成像设备共用主摄像层91的主轴,处理器93还包括整合模块,该整合模块用于获取各个成像设备的局部监控数据;将各个局部监控数据进行整合,得到全景监控数据,其中,整合至少包括匹配、映射、拼接、融合中的一个。本实施例主摄像层91设置了多个成像设备,所以基于整合模块可以更快得获取到整个圆周的监控数据,提高监控效率。
113.在其中一些实施例中,处理器93还包括编码模块,该编码模块用于获取识别目标的编码;通过主摄像层91的全景监控数据和副摄像层92的识别和跟踪数据,获取识别目标的运动轨迹以及运动轨迹的编码;将识别目标的编码与运动轨迹的编码进行关联。本实施例中,编码模块对识别目标和其运动轨迹进行编码,可以实现对监控数据的标签式的有效
关联,进一步地实现以识别目标为主体的结构化数据存储,便于监控数据的查找和使用。
114.在其中一些实施例中,多目摄像装置包括第一副摄像层92和第二副摄像层92,处理器93还包括切换模块,该切换模块用于:若判断识别目标不在第一副摄像层92的监控区域内,获取通过主摄像层91得到的更新后的全景监控数据;根据更新后的全景监控数据中识别目标的位置信息,确定对应的第二副摄像层92;控制第二副摄像层92对识别目标进行识别和跟踪。本实施例中基于切换模块,给出了一种对识别目标进行识别和跟踪时,不同副摄像层92的切换方法,实现对识别目标的多摄像层的联合跟踪,采集并提取高质量有效属性,可以提高对识别目标的跟踪效率和跟踪准确率。
115.需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
116.本实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
117.可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
118.可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
119.s1,通过主摄像层获取全景监控数据。
120.s2,获取全景监控数据中的识别目标的位置信息。
121.s3,根据位置信息、主摄像层与副摄像层之间的位置映射关系,控制副摄像层对识别目标进行识别和跟踪。
122.需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
123.另外,结合上述实施例中的监控方法,本技术实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种监控方法。
124.以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
125.以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术专利的保护范围应以所附权利要求为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1