数据处理方法和数据处理装置、电子设备及存储介质与流程

文档序号:33473993发布日期:2023-03-15 09:30阅读:36来源:国知局
数据处理方法和数据处理装置、电子设备及存储介质与流程

1.本技术涉及数据处理技术领域,尤其是涉及一种数据处理方法和数据处理装置、电子设备及存储介质。


背景技术:

2.安装在车上的各种传感器可以感应周围的环境、收集数据,在此基础上,可以进行静态、动态物体的辨识、侦测等。
3.现有技术中,单一传感器的能力常常是有限的,例如由于不同传感器的识别能力不同,导致部分传感器无法识别目标对象,且即使传感器能够感知目标对象,也会存在传感器仅检测到目标对象的部分,无法识别出目标,导致无法在传感器的检测数据中标识出目标对象,在进行数据的分析和处理时,会由于数据的缺失导致分析结果不准确的问题。
4.所以,在利用传感器感知对象时,可能会发生:无法标识出目标对象导致数据分析结果不准确的技术问题。


技术实现要素:

5.本技术实施例提供一种数据处理方法和数据处理装置、电子设备和存储介质,用以缓解无法标识出目标对象导致数据分析结果不准确的技术问题。
6.本技术实施例提供一种探测数据的数据处理方法,该数据处理方法包括:
7.获取第一传感器的第一探测信息与第二传感器的第二探测信息,所述第一探测信息包括所述第一传感器所探测到的第一对象的第一识别结果,所述第一对象包括目标对象;
8.根据所述第一识别结果,以及所述第二传感器的关联信息,确定需要在所述第二探测信息中融入所述目标对象的第一识别结果;所述关联信息包括所述第二传感器的探测能力信息和/或所述第二探测信息;
9.在所述第二探测信息中融入所述目标对象的第一识别结果。
10.同时,本技术实施例提供一种探测数据的数据处理装置,该数据处理装置包括:
11.获取模块,用于获取第一传感器的第一探测信息与第二传感器的第二探测信息,所述第一探测信息包括所述第一传感器所探测到的第一对象的第一识别结果,所述第一对象包括目标对象;
12.确定模块,用于根据所述第一识别结果,以及所述第二传感器的关联信息,确定需要在所述第二探测信息中融入所述目标对象的第一识别结果;所述关联信息包括所述第二传感器的探测能力信息和/或所述第二探测信息;
13.融入模块,用于在所述第二探测信息中融入所述目标对象的第一识别结果。
14.同时,本技术实施例提供一种电子设备,该电子设备包括存储器,处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述处理器执行程序时实现如上述实施例任一所述的探测数据的数据处理方法中的步骤。
15.同时,本技术实施例提供一种存储介质,所述存储介质中存储有多条指令,指令适于处理器进行加载,以执行如上述实施例任一所述的探测数据的数据处理方法中的步骤。
16.有益效果:本技术实施例提供一种数据处理方法和数据处理装置、电子设备和存储介质,该数据处理方法在获取第一传感器的第一探测信息与第二传感器的第二探测信息后,根据第一传感器所探测到的第一对象的第一识别结果、以及第二传感器的关联信息,确定需要在第二探测信息中融入目标对象的第一识别结果,然后在第二探测信息中融入目标对象的第一识别结果。本技术可以在第二传感器无法标识目标对象时,通过第一传感器所探测到的第一对象的第一识别结果、以及第二传感器的关联信息,确定需要在第二探测信息中融入所述目标对象的第一识别结果,则可以将目标对象的第一识别结果融入到第二探测信息中,使第二传感器在检测到目标对象时,能够标识出目标对象,避免或减轻第二传感器的不足对数据分析结果的影响,例如可避免第二传感器在探测到目标对象的部分时,无法标识出目标对象导致数据分析结果不准确的问题。
附图说明
17.下面结合附图,通过对本技术的具体实施方式详细描述,将使本技术的技术方案及其它有益效果显而易见。
18.图1为本技术实施例提供的数据处理系统的场景示意图。
19.图2为本技术实施例提供的数据处理方法的流程示意图。
20.图3为本技术实施例提供的目标对象的处理过程的示意图。
21.图4为本技术实施例提供的第一传感器和第二传感器对应的图像的示意图。
22.图5为本技术实施例提供的数据处理装置的结构示意图。
23.图6为本技术实施例提供的电子设备的结构示意图。
具体实施方式
24.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
25.以下对本说明书提及的部分名词进行说明:
26.传感器,例如第一传感器与第二传感器,可理解为能够对车内和/或车外环境进行探测的任意传感器。
27.第一探测信息,指第一传感器探测所得到的信息;通常会包含探测到的图像数据或点云数据;该图像数据或点云数据所采用的坐标系,可理解为第一坐标系;以图像数据为例,第一传感器探测到的图像数据可描述为第一图像或第一展示图像;
28.第二探测信息,指第二传感器探测所得到的信息;通常会包含探测到的图像数据或点云数据;该图像数据或点云数据所采用的坐标系,可理解为第二坐标系;以图像数据为例,第二传感器探测到的图像数据可描述为第二图像或第三展示图像;
29.第一传感器,为具备对象识别能力的传感器,例如一种智能传感器,进而,在第一探测信息中,除了包含探测到的图像数据或点云数据之外,还可包含自其中识别出的第一
识别信息;
30.第二传感器,可以为具备对象识别能力的传感器,也可以为不具备对象识别能力;若第二传感器具备对象识别能力,进而,第二探测信息中,除了包含探测到的图像数据或点云数据之外,还可包含自其中识别出的第二识别信息;
31.第一识别结果,可以为对第一传感器探测到的图像数据或点云数据进行对象识别而得到的任意信息,第一传感器所识别出的对象为第一对象;第一识别结果可以为对第一对象的位置、数量、种类、形状、尺寸等至少之一进行描述的任意信息;
32.第二识别结果,可以为对第二传感器探测到的图像数据或点云数据进行对象识别而得到的任意信息,第二传感器所识别出的对象为第二对象;第二识别结果可以为对第二对象的位置、数量、种类、形状、尺寸等至少之一进行描述的任意信息;
33.第一对象,即第一传感器自其图像数据或点云数据中识别出的静态和/或动态的对象;
34.第二对象,即第二传感器自其图像数据或点云数据中识别出的静态和/或动态的对象;
35.目标对象,即需要将识别结果融入到第二探测信息中的第一对象;
36.探测能力信息,可理解为对相应传感器探测能力进行描述的任意信息,包括以下至少之一:是否具备对象识别能力,所能识别的对象的类型、擅长识别的对象的类型、不能识别的对象的类型,不能识别的对象的类型,识别出对象的准确性、探测范围。
37.目标信息范围,可理解为在第二探测信息的图像数据和/或点云数据中划定的对应于目标对象的部分,例如,若第二探测信息包括第二传感器探测到的第二图像,则目标信息范围可以表征为标注于该第二图像中的一个框;
38.调整后信息范围,可理解为在第二探测信息的图像数据和/或点云数据中划定的对应于目标对象的部分,该调整后信息范围是在目标信息范围的基础上调整得到的,例如,若第二探测信息包括第二传感器探测到的第二图像,则目标信息范围可以表征为标注于该第二图像中的一个框;
39.对象信息范围,可理解为在第二探测信息的图像数据和/或点云数据中划定的对应于第二对象的部分,例如,若第二探测信息包括第二传感器探测到的第二图像,则对象信息范围可以表征为标注于该第二图像中的一个框。
40.请参阅图1,图1为本技术实施例提供的数据处理系统的场景示意图,该系统可以包括设备和设备之间通过网络或者网关连接通信,网络可以是广域网或者局域网,又或者是二者的组合,使用无线链路实现数据传输,不在赘述,其中,设备包括数据采集设备11、电子设备12和展示设备13,其中:
41.数据采集设备11包括但不局限于传感器,传感器包括但不局限于毫米波雷达、激光雷达、单/双目摄像头以及卫星导航,用于采集数据;具体的,数据采集设备11可以包括第一传感器和第二传感器,第一传感器可以为摄像头,第二传感器可以为雷达;
42.电子设备12包括但不局限于数据服务器、通信服务器,数据服务器以及通信服务器都可以部署在本地服务器,也可以部分或者全部部署在远程服务器上。
43.展示设备13包括但不限于移动终端、笔记本电脑、个人计算机、全息投影装置、虚拟现实显示装置、车载显示装置、显示屏,用于展示画面。
44.电子设备12可以获取第一传感器的第一探测信息与第二传感器的第二探测信息,所述第一探测信息包括所述第一传感器所探测到的第一对象的第一识别结果,所述第一对象包括目标对象;根据所述第一识别结果,以及所述第二传感器的关联信息,确定需要在所述第二探测信息中融入所述目标对象的第一识别结果;所述关联信息包括所述第二传感器的探测能力信息和/或所述第二探测信息;在所述第二探测信息中融入所述目标对象的第一识别结果。
45.需要说明的是,图1所示的系统场景示意图仅仅是一个示例,本技术实施例描述的服务器以及场景是为了更加清楚的说明本技术实施例的技术方案,并不构成对于本技术实施例提供的技术方案的限定,本领域普通技术人员可知,随着系统的演变和新业务场景的出现,本技术实施例提供的技术方案对于类似的技术问题,同样适用。以下分别进行详细说明。需要说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
46.图2为本技术实施例提供的探测数据的数据处理方法的流程示意图,请参阅图2,该数据处理方法包括以下步骤:
47.201:获取第一传感器的第一探测信息与第二传感器的第二探测信息,第一探测信息包括第一传感器所探测到的第一对象的第一识别结果,第一对象包括目标对象。
48.具体的,第一探测信息可以是第一传感器实时探测的信息,也可以是第一传感器探测后存储的信息。在第一传感器工作时,第一传感器会对第一传感器的载体(例如车辆)的外界信息或者载体的内部消息进行收集,得到第一探测消息,从而可以根据对第一探测信息的分析和处理,确定车辆与外界环境的关系以及车辆自身和车辆内部的信息,并根据上述信息进行提示,从而辅助驾驶车辆。同理,第二探测信息包括第二传感器探测的信息。
49.具体的,在第一传感器为摄像头时,第一探测信息可以包括图像信息,在第一传感器为雷达时,第一探测信息可以包括点云信息,同理,第二探测信息可以包括图像信息和/或点云信息。
50.在一种实施例中,在获取第一传感器的第一探测信息时,可以使第一传感器开启后自动获取第一传感器的第一探测信息,例如第一传感器设置在车辆上,车辆开启或者关闭时会开启第一传感器,则在开启第一传感器时,实时获取第一传感器的第一探测信息。同理,可以实时获取第二传感器的第二探测信息。
51.在一种实施例中,第一传感器的第一探测信息可以实时发送至电子设备,在需要获取第一传感器的第一探测信息时,还可以使电子设备从存储单元中获取第一传感器的第一探测信息。同理,第二传感器的第二探测信息可以实时发送至电子设备或者存储后使电子设备提取第二探测信息。
52.在一种实施例中,可以通过向第一传感器发送指令,指示第一传感器探测得到第一探测信息,并接收第一传感器返回的第一探测信息。具体的,可以通过向第一传感器发送指令,使第一传感器开启,并使第一传感器将实时探测信息或者历史探测信息返回,得到第一探测信息。同理,可以向第二传感器发送指令,获取第二传感器返回的第二探测信息。
53.具体的,向第一传感器发送的指令可以携带指令标识,例如指令标识包括需要获取的人或者物的标识,使第一传感器根据需求可以实时调整角度或者方向,或者第一传感器从多个数据中发送指令标识对应的探测信息,从而可以根据第一探测信息进行处理。同理,向第二传感器发送的指令可以携带指令标识。
54.具体的,第一对象的第一识别结果是指第一传感器的第一探测信息中、识别到的对象的信息,例如,第一探测信息中会包含第一传感器所探测的各个目标的信息,例如行人的信息、车辆的信息,则行人、车辆均为第一对象,行人的信息、车辆的信息为第一识别结果,行人和车辆的信息可以包括其位置、数量、种类、形状、尺寸中的至少一个信息。同理,第二对象的第二识别结果为第二探测信息中识别到的对象的信息。
55.具体的,第一识别结果、第二识别结果可以由相应传感器识别得到并反馈至电子设备,也可以由电子设备基于传感器探测到的图像数据、点云数据等得到。
56.202:根据第一识别结果,以及第二传感器的关联信息,确定需要在第二探测信息中融入目标对象的第一识别结果;关联信息包括第二传感器的探测能力信息和/或第二探测信息。
57.具体的,在确定需要在第二探测信息中融入目标对象的第一识别结果时,可以根据第二传感器的关联信息确定。具体的,第二传感器的探测能力信息包括第二传感器对不同类型的对象的探测能力和/或第二传感器的探测范围,例如第二传感器对车辆的探测能力较差,则可以记录第二传感器对车辆的探测能力作为第二传感器的探测能力信息,还可以记录第二传感器的探测范围作为第二传感器的探测能力信息。
58.具体的,例如第一传感器的探测能力信息表征为具有识别能力,而第二传感器的探测能力信息表征为无识别能力,则可以根据第二传感器的探测能力信息判断需要将目标对象的第一识别结果融入到第二探测信息中。同理,在第一传感器可以识别人,而第二传感器只能识别车;在第一传感器识别人的准确性高于第二传感器识别人的准确性时,均可以根据第二传感器的探测能力信息判断需要将目标对象的第一识别结果融入到第二探测信息中。在一种实施例中,所述目标对象的第一识别结果全部或部分重合于所述第一传感器的第一坐标系的第一区域,所述第一区域与所述第二传感器的第二坐标系中的第二区域用于表征出所述第一传感器与所述第二传感器的重合探测范围;所述第二探测信息包括所述第二传感器所探测得到的第二对象的第二识别结果;
59.所述根据所述第一识别结果,以及所述第二传感器的关联信息,确定需要在所述第二探测信息中融入所述目标对象的第一识别结果的步骤,包括:
60.通过比对所述第一区域中的第一识别结果与所述第二区域中的第二识别结果,确定需要在所述第二探测信息中融入所述目标对象的第一识别结果。
61.具体的,在确定需要在第二探测信息中融入目标对象的第一识别结果时,可以根据第一区域的第一识别结果和第二区域中的第二识别结果进行确定,从而避免后续数据分析过程存在数据缺失导致分析结果不准确的问题。
62.具体的,以第一对象的第一识别结果包括对第一对象的标定结果为例,如图3所示,第一传感器31设置在车辆331上,第一传感器31的第一视角范围内存在多个第一对象,第一对象包括目标对象332,在第一传感器31探测第一对象时,可以确定第一对象在第一坐标系中的坐标,即可以在第一坐标系中确定目标对象的坐标,并可以根据目标对象的坐标在图像中还原目标对象,例如图3中以第一展示图像311还原目标对象332,同时,可以确定目标对象332的标定结果,例如图3中在第二展示图像312中以第一标识框313对目标对象332进行标识,相应的,在数据层面上,第一对象的标定结果则是第一标识框的对角的两个点在第一坐标系中的坐标,则可以根据第一对象的标定结果确定第一识别结果。
63.具体的,第一对象的第一识别结果还可以包括表示对象类型的信息,在图像中可以颜色、文字示出,在数据层面则可以记录为颜色id和/或文字。同理,第二对象的第二识别结果可以包括表示对象类型的信息。
64.具体的,以第二对象的第二识别结果为对第二对象的标定结果为例,以图3为例,第二传感器32设置在车辆331上,第二传感器32的视角范围内存在目标对象332的部分,则可以通过目标对象332的部分的坐标进行在图像中还原目标对象332的部分,例如图3中以第三展示图像321还原目标对象332的部分,但由于第二传感器无法识别出目标对象332,则无法对目标对象332的部分进行标定,导致第二探测信息中缺失目标对象332的部分的标定结果,即第二探测信息中缺失目标对象的第一识别结果,则确定了需要融入第二探测信息中的目标对象的第一识别结果。
65.本技术实施例针对第二探测信息中缺失目标对象的第一识别结果,通过比对第一识别结果与第二识别结果,并在确定目标对象的目标信息范围后可以对目标对象的部分进行标定,例如图3中在第四展示图像322中以第二标识框323对目标对象332的部分进行标定,从而可以确定在第二探测信息中融入目标对象的第一识别结果,并将目标对象的第一识别结果融入第二探测信息中。
66.需要说明的是,实际上,第一传感器可以获取目标对象的三维图像,且可以获取包含目标对象的视频,相应的,第二传感器可以以三维图像还原目标对象,因此,本技术实施例不限定第一传感器仅能获取和还原目标对象的二维图像,同理,第二传感器也可以还原目标对象的三维图像。
67.具体的,第一传感器与所述第二传感器的重合探测范围是指第一传感器会具有一个视角范围,第二传感器会有一个视角范围,两者会存在重叠,相应的重叠区域分别位于第一坐标系和第二坐标系的部分为第一区域和第二区域。
68.具体的,与第一区域对应的第二区域是指第一区域对应的视角范围和第二区域对应的视角范围存在重合,在下述实施例中不再赘述。
69.具体的,如图4所示,以第一坐标系确定的第一展示图像311为例,可以获取第一坐标系的第一区域,例如第一坐标系中的第一展示图像311中的第一区域311a,同时获取第二坐标系的第二区域,例如第二坐标系中的第三展示图像321中的第二区域321a,第一区域311a和第二区域321a表征出第一传感器和第二传感器的重合探测范围,则可以在第一区域311a中检测目标对象332,在第一区域311a内检测到目标对象332时,考虑到第一传感器和第二传感器的视角范围存在重合,则目标对象332可能出现在第二区域内,例如图4中出现目标对象332的手臂333,则可以根据目标对象332对第二探测信息进行检测,在第二探测信息内检测目标对象,然后根据检测结果对第一对象的标定结果进行处理,确定目标对象的目标信息范围。
70.具体的,该第一区域、第二区域可以是根据经验、实验结果而人为划定的,也可以是结合景深、透视效果而自动变化的。一种举例中,可取第一图像中四分之一大小的区域作为第一区域。
71.具体的,图4中以目标对象完全位于第一区域为例进行了详细说明,但本技术实施例不限于此,例如目标对象可以部分位于第一区域内。
72.在一种实施例中,第一区域、第二区域可以通过以下步骤确定:
73.提取n个时刻中每个时刻下第一图像的第一特征点、第二图像的第二特征点,进而,针对每个时刻,通过第一特征点与第二特征点的匹配,找到相匹配的第一特征点与第二特征点作为第一目标特征点与第二目标特征点,其可理解为是描述同一对象的特征点,然后,可基于第一目标特征点与第二目标特征点划定出第一基准区域与第二基准区域,第一基准区域的覆盖范围可适配于将所有第一目标特征点覆盖,第一目标特征点分布的范围越广,第一基准区域就越大,第二基准区域的覆盖范围可适配于将所有第二目标特征点覆盖,第二目标特征点分布的范围越广,第二基准区域就越大;
74.基于此,可获取到n个第一基准区域与n个第二基准区域,进而,可基于n个第一基准区域与n个第二基准区域,确定出第一图像中第一区域的范围,第二图像中第二区域的范围。例如,可取面积最大的第一基准区域作为第一区域,取面积最大的第一基准区域作为第二区域,再例如,可令第一区域的面积大于该面积最大的第一基准区域,例如第一区域的面积为面积最大的第一基准区域的面积的110%,和/或:令第二区域的面积大于该面积最大的第二基准区域,例如第二区域的面积为面积最大的第二基准区域的面积的110%。
75.例如,在第一图像中找到一个车辆和三个人的特征点作为第一特征点,在第二图像中找到一个车辆和一个人的特征点作为第二特征点,且第二图像中找到的一个车辆和一个人的特征点与第一图像中的一个车辆和一个人的特征点重合,则可以将第一图像中与第二图像中特征点重合的一个车辆和一个人的特征点作为第一目标特征点,将第二图像中与第一图像中特征点重合的一个车辆和一个人的特征点作为第二目标特征点,则相应的可以分别确定包含第一目标特征点和第二目标特征点的第一基准区域和第二基准区域,然后根据第一基准区域和第二基准区域确定第一区域和第二区域,例如图4中左图中的虚线右侧的区域可以包含所有第一目标特征点,则可以将该区域作为第一基准区域,并相应确定第一区域,例如将图4中的左图中的虚线进一步左移得到第一区域;同理,可以确定第二区域。
76.进一步举例中,第一基准区域、第二基准区域、第一区域、第二区域均可呈矩形,该矩形的三条边重合于相应图像(例如第一图像、第二图像)的三条边缘,进而,第一基准区域、第二基准区域、第一区域、第二区域的确定,亦即为确定矩形剩余一条边的位置,以图4为参照的话,即通过虚线的左移、右移而确定出第一基准区域、第二基准区域、第一区域、第二区域。
77.一种举例中,可以通过以上步骤,预先标定出第一区域、第二区域,在确定出第一区域、第二区域之后,才执行201至203等步骤。其他举例中,也不排除将以上步骤应用于201至203等步骤的执行过程中,例如间歇性实施以上步骤,从而实现第一区域、第二区域的实时更新。
78.通过以上步骤,可以保障第一区域、第二区域的范围可准确适配于车辆的实际探测状况。
79.具体的,在第一区域中检测到目标对象时,对第二探测信息中的目标对象进行检测,如果检测到目标对象,则无需将目标对象的第一识别结果融入到第二探测信息中,则可以避免浪费资源;如果未检测到目标对象,则可以对第一识别结果进行处理,使第二传感器可以确定目标信息范围,并将目标对象的第一识别结果融入第二探测信息中,从而避免后续数据分析过程存在数据缺失导致分析结果不准确的问题。
80.在一种实施例中,所述通过比对所述第一区域中的第一识别结果与所述第二区域
中的第二识别结果,确定需要在所述第二探测信息中融入所述目标对象的第一识别结果的步骤,包括:
81.根据所述第一区域中的第一识别结果和所述第二区域中的第二识别结果,判断所述第一区域中的第一对象的数量相对于所述第二对象的数量是否变化;
82.在所述第一区域中的第一对象的数量相对所述第二对象的数量发生变化时,将所述第一区域中最新识别出的第一对象作为目标对象,并确定需要在所述第二探测信息中融入所述目标对象的第一识别结果。
83.具体的,在第一区域中识别到的第一对象的数量大于第二区域识别的第二对象的数量时,表示第二传感器存在部分数据确定,则可以将第一区域中最新识别出的第一对象作为目标对象融入到第二探测信息中,以避免第二传感器的第二探测信息无法标识出目标对象导致数据分析结果不准确。且在该过程中,可以对第一区域和第二区域中的对象的数量进行确定,并比对第一区域和第二区域中的对象的数量,根据比对结果进行处理,从而避免无需将目标对象的第一识别结果融入到第二探测信息中时,出现资源浪费的问题。
84.具体的,在确定需要在第二探测信息中融入所述目标对象的第一识别结果前,可以先通过比对第一数量和第二数量确定是否需要在第二探测信息中融入所述目标对象的第一识别结果,例如直接比对第一数量和第二数量,例如第一数量为n1,第二数量为n2,则对比n1和n2,在n1=n2时,确定无需进行将目标对象的第一识别结果融入到第二探测信息的过程,避免资源浪费,在n1》n2时,对目标对象的第一识别结果融入到第二探测信息,避免后续数据分析过程存在数据缺失导致分析结果不准确的问题。
85.具体的,在比对第一数量和第二数量时,还可以通过阈值进行比对,例如第一数量与第二数量的差值大于阈值时,对目标对象的第一识别结果融入到第二探测信息,避免后续数据分析过程存在数据缺失导致分析结果不准确,而第一数量与第二数量的差值小于或者等于阈值时,确定无需进行将目标对象的第一识别结果融入到第二探测信息的过程,避免资源浪费。
86.在一种实施例中,在所述比对所述第一数量和所述第二数量的步骤之前,还包括:监测所述第一数量和所述第二数量,确定所述第一数量和所述第二数量的变化结果;在所述第一区域中的第一对象的数量相对所述第二对象的数量发生变化时,将所述第一区域中最新识别出的第一对象作为目标对象,并确定需要在所述第二探测信息中融入所述目标对象的第一识别结果。通过监测第一数量和第二数量的变化,并在第一区域中的第一对象的数量相对第二对象的数量发生变化时,将第一区域中最新识别出的第一对象作为目标对象融入到第二探测信息中,以避免第二传感器的第二探测信息无法标识出目标对象导致数据分析结果不准确。
87.具体的,可以通过监测第一区域中的第一对象的数量变化和第二区域中的第二对象的数量变化,例如第一区域中的第一对象的数量增加,而第二区域中的第二对象的数量未变化或者减少,或者第一区域中的第一对象的数量未变化,第二区域中的第二对象的数量减少,或者第二区域中的第二对象减少的数量多余第一区域的第一对象减少的数量,均可以判断需要在所述第二探测信息中融入所述目标对象的第一识别结果,从而避免第二传感器的展示区域的第二探测信息无法标识出目标对象导致数据分析结果不准确。
88.具体的,本技术实施例通过在第一传感器能够识别出目标对象,并对目标对象进
行标定时,针对第一传感器和第二传感器的探测范围会存在重叠,目标对象可能会出现在第二传感器的探测范围内,虽然第二传感器无法识别出目标对象,但可以通过第一传感器的第一识别结果和第二传感器的关联信息,确定目标对象的目标信息范围,从而可以在第二传感器中标定出目标对象的部分,并可以对目标对象进行标识,使得在第二传感器中无法识别出目标对象时,通过第一传感器的识别结果确定第二传感器中的目标对象,避免出现传感器在检测到目标对象的部分时,无法标识出目标对象导致数据分析结果不准确的问题。
89.203:在第二探测信息中融入目标对象的第一识别结果。
90.具体的,通过在第二探测信息中融入目标对象的第一识别结果,从而避免第二传感器的展示区域的第二探测信息无法标识出目标对象导致数据分析结果不准确。
91.在一种实施例中,在所述第二探测信息中融入所述目标对象的第一识别结果的步骤,包括:
92.根据指定标定信息,将所述目标对象的第一识别结果自所述第一传感器的第一坐标系投射至所述第二传感器的第二坐标系,得到所述目标对象在所述第二坐标系的目标投射结果;所述指定标定信息用于表征出所述第一坐标系与所述第二坐标系之间的空间投射关系;
93.根据所述目标投射结果,在所述第二探测信息中确定出对应于所述目标对象的目标信息范围。通过将第一识别结果投射至第二坐标系得到目标投射结果,则可以确定目标对象的目标信息范围,从而可以在第二探测信息中标识出目标对象,避免无法标识目标对象导致数据分析结果不准确。
94.具体的,在将第一识别结果投射至第二坐标系时,可以通过参考坐标系进行投射,例如第一传感器的第一坐标系中的图像投射至第二传感器的第二坐标系时,需要先确定图像中各点相对于第一传感器的深度图,然后基于深度图和第一坐标系将第一坐标系中的图像投射至第一传感器的相机坐标系得到第一投射信息,然后将第一投射信息从第一传感器的相机坐标系投射至世界坐标系(可以作为参考坐标系)得到第二投射信息,然后将第二投射信息从世界坐标系投射至第二传感器的相机坐标系得到第三投射信息,然后将第三投射信息从第二传感器的相机坐标系投射至第二坐标系得到目标投射结果。
95.具体的,指定标定信息即表征第一坐标系和第二坐标系中间的空间投射关系的信息,可以参见上述实施例中的投射过程确定指定标定信息。
96.具体的,在确定目标投射结果后可以确定目标信息范围,从而可以在第二探测信息中标识出目标对象。
97.在一种实施例中,所述第一对象的第一识别结果包括所述第一对象的第一数量,所述第二对象的第二识别结果包括所述第二对象的第二数量;
98.所述通过对比所述第一区域中的第一识别结果与所述第二区域中的第二识别结果,确定需要在所述第二探测信息中融入所述目标对象的第一识别结果的步骤,包括:在所述第一数量大于所述第二数量时,确定需要在所述第二探测信息中融入所述目标对象的第一识别结果,并将所述第一数量的第一对象均确定为目标对象;
99.在所述第二探测信息中融入所述目标对象的第一识别结果的步骤之后,还包括:
100.若任一目标对象的第一识别结果融入所述第二探测信息后与所述第二探测信息
中任一第二对象的第二识别结果的重合度高于重合度阈值,则清除融入于所述第二探测信息中的所述任一目标对象的第一识别结果。
101.具体的,在将目标对象的第一识别结果融入第二探测信息时,可以直接将所有第一对象作为目标对象,并将第一对象的第一识别结果融入到第二探测信息中,而考虑到第一对象的第一识别结果和第二对象的第二识别结果可能存在重复,则可以查找第二探测信息中与第二对象的第二识别结果的重合度高于重合度阈值的第一识别结果,在查找到第一识别结果与第二探测信息中的第二识别结果的重合度高于重合度阈值时,表示第一识别结果与第二识别结果出现重复,则可以清除重合的目标对象的第一识别结果,从而可以避免第二探测信息遗漏目标对象的同时,避免第二探测信息中存在重复信息,占用资源过多。
102.具体的,在清除重合的目标对象的第一识别结果时,以第一识别结果为图像中的标识框为例,则可以删除图像中的标识框,相应的在数据层面删除标识框对应的数据,避免数据重复占用资源。
103.具体的,重合度阈值可以根据经验、实验结果而人为划定的,例如第一识别结果和第二识别结果的重合度大于90%时,第一识别结果和第二识别结果标定的对象相同,则可以将重合度阈值设定为90%。
104.在一种实施例中,所述第二探测信息还包括所述第二传感器探测到的第二图像与第二识别结果,所述第二识别结果包括确定与所述第二图像中的各第二对象的对象信息范围;
105.在所述第二探测信息中融入所述目标对象的第一识别结果的步骤,包括:
106.在人机交互部中展示所述第二图像,以及标注于所述第二图像的各目标对象的目标信息范围、各第二对象的对象信息范围;
107.响应于用户对所述人机交互部的操作,对所述目标信息范围进行调整,得到对应于所述目标对象的调整后信息范围;并确定用于训练区域调整模型的第一标注图像与第二标注图像;所述调整包括以下至少之一:所述目标信息范围的尺寸调整、位置调整、形状调整、清除;
108.其中:
109.所述第一标注图像包括所述第二图像,及标注于所述第二图像的目标对象的调整后信息范围、标注于所述第二图像的各第二对象的对象信息范围;
110.所述第二标注图像包括所述第二图像,及标注于所述第二图像的目标对象的目标信息范围、标注于所述第二图像的各第二对象的对象信息范围;
111.所述区域调整模型是通过以下步骤训练的:
112.将所述第二标注图像输入所述区域调整模型,并获取所述区域调整模型输出的第三标注图像,所述第三标注图像包括所述第二图像,及标注于所述第二图像的各第二对象与至少部分目标对象的信息范围;
113.根据所述第三标注图像与所述第一标注图像的差异,调整所述区域调整模型。
114.在目标信息范围存在偏差时,可以通过调整目标信息范围,从而使得第二探测信息中融入目标的第一识别结果准确,避免标识不准确导致数据分析结果不准确的问题。
115.具体的,在判断目标信息范围是否存在偏差时,可以通过展示第二探测信息中的第二图像和第二对象的对象信息范围确定目标信息范围是否存在偏差。
116.具体的,例如在人机交互部中展示第二图像、目标信息范围和对象信息范围,并通过观看人机交互部中展示的各个图像确定目标信息范围是否存在偏差,则可以在目标信息范围存在偏差时对目标信息范围进行调整,避免标识不准确导致数据分析结果不准确的问题。
117.具体的,人机交互部可以是第二传感器对应的载体上的展示区域,也可以是第二传感器对应的展示单元的展示区域,例如,第二传感器设置在车辆上,车辆上具有显示屏,则可以在显示屏对应的展示区域内展示第二图像、目标信息范围、对象信息范围,人机交互部也可以是第二传感器对应的展示单元上的展示区域,例如可以将第二传感器中的数据进行存储,并通过上传、下载等方式发送至展示设备,例如移动终端、个人计算机等展示设备,并在对应的展示区域内展示第二图像、目标信息范围、对象信息范围,则各类人员可以根据展示结果进行处理。
118.具体的,在展示区域展示第二图像、目标信息范围、对象信息范围时,如图3所示,可以第二图像为第四展示图像322、目标信息范围为第二标识框323为例,可以根据第二标识框323与目标对象332的匹配程度判断是否需要修改目标信息范围,避免第二传感器的第二探测信息中标识出的目标对象不准确导致数据分析结果不准确。
119.具体的,如图3所示,以目标信息范围为图3中的第二标识框为例,可以看到图中以第二标识框323对目标对象进行标识,由于指定标定信息可能存在参数不准确的问题,导致第二标识框与目标对象不匹配,例如第二标识框未完整标识目标对象,第二标识框内仅有目标对象的一部分,或者第二标识框的尺寸与目标对象的尺寸的比例超出目标对象的尺寸10倍,导致第二标识框无法准确标识目标对象,则需要调整第二标识框,例如增大或者缩小第二标识框,调整第二标识框的位置,使展示框能够准确的标识出目标对象。
120.具体的,在相应于用户对人机交互部的操作时,对人机交互部的操作可以是例如通过鼠标点击、拖动展示框进行调整的操作,从而确定调整后信息范围。
121.具体的,在对目标信息范围进行调整时,可以训练区域调整模型,通过区域调整模型对目标信息范围进行调整。在对区域调整模型进行训练时,可以对区域调整模型调整尺寸、调整位置、调整形状和清除目标信息范围进行训练。
122.在一种实施例中,所述在所述目标信息范围存在偏差时,对所述目标信息范围进行调整,得到对应于所述目标对象的调整后信息范围的步骤,包括:
123.使用区域调整模型对所述目标信息范围进行调整,得到对应于所述目标对象的调整后信息范围。通过使用区域调整模型对目标信息范围进行修改,使得在目标信息范围与目标对象不匹配时,可以自动对目标信息范围进行修改,避免目标信息范围的标定不准确导致查看不便和处理时出现错误。
124.具体的,在确定调整后信息范围后,可以修正指定标定信息,从而使得根据第一识别结果确定的目标信息范围较为准确。
125.具体,根据调整后信息范围可以确定目标对象的标定数据,则可以提取目标对象的第一特征数据,例如为手臂的多个特征点n1,n2,

,然后根据目标信息范围确定这些特征点在参考坐标系对应的特征点,例如n1

,n2



,得到第二特征数据,同时,在参考坐标系中已有人的特征点的数据,包括通过第一传感器确定参考坐标系中的人的特征点的数据,例如n1,n2,

,得到第三特征数据,然后对第二特征数据和第三特征数据进行匹配,由于两
者均会形成人的手臂,因此,即使两者的特征点不同,仍然可以进行匹配,则可以在第三特征数据中确定第二特征数据对应的数据,将该数据作为第四特征数据,则可以根据第四特征数据和第二特征数据的偏移数据,对指定标定信息进行修正。
126.具体的,本技术实施例并不限定只能通过第一传感器识别的对象确定第二传感器识别的对象的位置以及图像,也可以通过第二传感器识别的对象确定第一传感器识别的对象的位置以及图像。
127.具体的,例如第一传感器中识别到第一个人,并确定第一个人的第一识别结果,但第一传感器无法识别出第二个人,而第二传感器无法识别出第一个人,但可以识别出第二个人的第二识别结果,则可以根据将第一个人的第一识别结果融入到第二探测信息中,将第二个人的第二识别结果融入到第一探测信息中。
128.具体的,在第一传感器只能感知人、或者感知其他对象的能力较弱,第二传感器只能感知车、或者感知其他对象的能力较弱时,可以通过第一传感器和第二传感器对两者的感知能力进行互补,从而可以在传感器中存在目标对象的部分时,无法标识出目标对象导致数据分析结果不准确的问题。
129.需要说明的是,本技术实施例以第一传感器和第二传感器进行说明,但本技术实施例并不限于此,例如还可以有第三传感器、第四传感器。一种举例的应用场景下,第一传感器、第二传感器的第一探测信息、第二探测信息可被记录仪统一收集,进而通过4g、5g、wifi等手段传送至电子设备,电子设备可用于执行探测数据的数据处理方法。
130.此外,电子设备执行该方法的过程可以伴随于第一传感器、第二传感器的探测过程而实时进行,也可在收集到探测信息后,事后对探测信息进行处理。
131.本技术实施例提供一种数据处理方法,该数据处理方法可以在第二传感器无法标识目标对象时,通过第一传感器所探测到的第一对象的第一识别结果、以及第二传感器的关联信息,确定需要在第二探测信息中融入所述目标对象的第一识别结果,则可以将目标对象的第一识别结果融入到第二探测信息中,使第二传感器在检测到目标对象时,能够标识出目标对象,避免或减轻第二传感器的不足对数据分析结果的影响,例如可避免第二传感器在探测到目标对象的部分时,无法标识出目标对象导致数据分析结果不准确的问题。
132.相应的,图5为本技术实施例提供的探测数据的数据处理装置的结构示意图,请参阅图5,该数据处理装置包括以下模块:
133.获取模块401,用于获取第一传感器的第一探测信息与第二传感器的第二探测信息,所述第一探测信息包括所述第一传感器所探测到的第一对象的第一识别结果,所述第一对象包括目标对象;
134.确定模块402,用于根据所述第一识别结果,以及所述第二传感器的关联信息,确定需要在所述第二探测信息中融入所述目标对象的第一识别结果;所述关联信息包括所述第二传感器的探测能力信息和/或所述第二探测信息;
135.融入模块403,用于在所述第二探测信息中融入所述目标对象的第一识别结果。
136.在一种实施例中,融入模块403用于根据指定标定信息,将所述目标对象的第一识别结果自所述第一传感器的第一坐标系投射至所述第二传感器的第二坐标系,得到所述目标对象在所述第二坐标系的目标投射结果;所述指定标定信息用于表征出所述第一坐标系与所述第二坐标系之间的空间投射关系;
fidelity)模块507、包括有一个或者一个以上处理核心的处理器508、以及电源509等部件。本领域技术人员可以理解,图6中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部分,或者不同的部件布置。其中:
144.rf电路501可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器508处理;另外,将涉及上行的数据发送给基站。存储器502可用于存储软件程序以及模块,处理器508通过运行存储在存储器502的软件程序以及模块,从而执行各种功能应用以及数据处理。输入单元503可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
145.显示单元504可用于显示由用户输入的信息或提供给用户的信息以及服务器的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。
146.电子设备还可包括至少一种传感器505,比如光传感器、运动传感器以及其他传感器。音频电路506包括扬声器,扬声器可提供用户与电子设备之间的音频接口。
147.wifi属于短距离无线传输技术,电子设备通过wifi模块507可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图6示出了wifi模块507,但是可以理解的是,其并不属于电子设备的必须构成,完全可以根据需要在不改变申请的本质的范围内而省略。
148.处理器508是电子设备的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器502内的软件程序和/或模块,以及调用存储在存储器502内的数据,执行电子设备的各种功能和处理数据,从而对手机进行整体监控。
149.电子设备还包括给各个部件供电的电源509(比如电池),优选的,电源可以通过电源管理系统与处理器508逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
150.尽管未示出,电子设备还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,电子设备中的处理器508会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中,并由处理器508来运行存储在存储器502中的应用程序,从而实现以下功能:
151.获取第一传感器的第一探测信息与第二传感器的第二探测信息,所述第一探测信息包括所述第一传感器所探测到的第一对象的第一识别结果,所述第一对象包括目标对象;根据所述第一识别结果,以及所述第二传感器的关联信息,确定需要在所述第二探测信息中融入所述目标对象的第一识别结果;所述关联信息包括所述第二传感器的探测能力信息和/或所述第二探测信息;在所述第二探测信息中融入所述目标对象的第一识别结果。
152.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文的详细描述,此处不再赘述。
153.本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一存储介质中,并由处理器进行加载和执行。
154.为此,本技术实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以实现以下功能:
155.获取第一传感器的第一探测信息与第二传感器的第二探测信息,所述第一探测信息包括所述第一传感器所探测到的第一对象的第一识别结果,所述第一对象包括目标对象;根据所述第一识别结果,以及所述第二传感器的关联信息,确定需要在所述第二探测信息中融入所述目标对象的第一识别结果;所述关联信息包括所述第二传感器的探测能力信息和/或所述第二探测信息;在所述第二探测信息中融入所述目标对象的第一识别结果。
156.以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
157.其中,该存储介质可以包括:只读存储器(rom,read only memory)、随机存取记忆体(ram,random access memory)、磁盘或光盘等。
158.由于该存储介质中所存储的指令,可以执行本技术实施例所提供的任一种方法中的步骤,因此,可以实现本技术实施例所提供的任一种方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
159.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
160.以上对本技术实施例所提供的一种数据处理方法和数据处理装置、电子设备和存储介质进行了详细介绍,本文中应用了具体个例对本技术的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的技术方案及其核心思想;本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例的技术方案的范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1