检测框信息的确定方法、装置、存储介质及电子装置与流程

1.本发明实施例涉及数据处理技术领域，具体而言，涉及一种检测框信息的确定方法、装置、存储介质及电子装置。


背景技术：

2.目前，相关技术中后端存储硬盘录像机设备都是支持人脸、周界、结构化等智能算法的，但是由于芯片的算法算力、cpu性能都是固定的，并且一般的产品也是将芯片的能力压榨到了极致，在压力比较大的场景下，智能识别出的物体轨迹框跟踪滞后成为一个很常见的问题，也是很多设备的痛点。例如，图1是相关技术中的智能显示方案，图1中描述了当前设备显示方案和智能轨迹框的跟踪方案，采集到视频之后会将数据送往两个后级：数据流1，直接将采集到画面进行显示，实时显示，采集和显示的时间偏差基本可以忽略不记；数据流2，将数据送算法处理，算法处理之后会返回画面中检测到的物体的检测框(或轨迹框)坐标，将检测框坐标叠加到显示画面上。但是，由于算法处理是一个非常复杂的过程，特别是在设备压力较大时，算法处理会存在很长耗时，这就导致算法返回的检测框对应的是当前显示画面往前推几秒的检测结果，检测框会存在严重的滞后，从而导致轨迹框与显示画面不匹配的问题。在算法返回的结果存在滞后的情况下，如何将叠加到显示画面上的检测框和当前正在显示的画面进行匹配成为亟待解决的问题。
3.针对相关技术中存在的检测框与画面显示不匹配的问题，目前尚未提出有效的解决方案。


技术实现要素：

4.本发明实施例提供了一种检测框信息的确定方法、装置、存储介质及电子装置，以至少解决相关技术中存在的检测框与画面显示不匹配的问题。
5.根据本发明的一个实施例，提供了一种检测框信息的确定方法，包括：获取第一帧图像，其中，所述第一帧图像是对目标视频流进行预定处理后所得到的目标图像帧组中包括的帧图像；对所述第一帧图像进行分析，以得到分析结果，其中，所述分析结果中包括目标对象的目标信息，所述目标信息包括所述目标对象的第一检测框的目标标识、第一检测框的第一坐标及第一时间，所述第一时间用于指示采集所述第一帧图像的时间；在确定目标存储单元中存在所述目标标识，且所述目标存储单元中所述目标标识的记录次数大于或等于预定阈值的情况下，基于所述第一坐标、所述第一时间及第二目标信息确定所述目标对象的目标预测速率，其中，所述第二目标信息用于指示对第二帧图像进行分析所得到的包括所述目标对象的信息，所述第二帧图像为在所述第一帧图像之前所采集的图像，所述目标预测速率用于指示所述目标对象在所述第一时间之后的预测移动速率；基于所述目标预测速率确定所述目标对象在第三帧图像中的第三检测框信息，其中，所述第三帧图像为在所述第一帧图像之后所采集的图像。
6.在一个示例性实施例中，基于所述第一坐标、所述第一时间及第二目标信息确定
所述目标对象的目标预测速率，包括：基于所述第一坐标、所述第一时间及第二坐标、第二时间确定所述目标预测速率，其中，所述第二目标信息中包括所述目标对象的第二检测框的所述第二坐标及所述第二时间，所述第二时间用于指示采集所述第二帧图像的时间。
7.在一个示例性实施例中，基于所述第一坐标、所述第一时间及第二坐标、第二时间确定所述目标预测速率，包括：基于所述第一坐标、所述第一时间、所述第二坐标及所述第二时间按照以下公式确定所述目标预测速率：vx＝(x2-x1)
÷
(t2-t1)，vy＝(y2-y1)
÷
(t2-t1)，其中，(x2,y2)表示所述第一坐标，(x1,y1)表示所述第二坐标，t2表示所述第一时间，t1表示所述第二时间，vx表示所述目标预测速率中包括的对应于x方向的速率，vy表示所述目标预测速率中包括的对应于y方向的速率。
8.在一个示例性实施例中，基于所述目标预测速率确定所述目标对象在第三帧图像中的第三检测框信息，包括：基于所述目标预测速率、所述第一时间、第三坐标及第三时间，确定所述第三检测框的第四坐标，其中，所述目标信息中包括所述第一检测框中的至少一个点的所述第三坐标，所述第一坐标为所述第一检测框中的预定点的坐标，所述第三时间用于指示采集所述第三帧图像的时间，所述第三检测框信息中包括所述第四坐标。
9.在一个示例性实施例中，基于所述目标预测速率、所述第一时间、第三坐标及第三时间，确定所述第三检测框的第四坐标，包括：基于所述目标预测速率、所述第一时间、所述第三坐标及所述第三时间按照以下公式确定所述第四坐标：px＝(t3-t2)*vx+x，py＝(t3-t2)*vy+y，其中，(x，y)表示所述第三坐标，(px，py)表示所述第四坐标，t3表示所述第三时间。
10.在一个示例性实施例中，所述方法还包括：在确定所述目标存储单元中不存在所述目标标识的情况下，在所述目标存储单元中新建第一记录信息，其中，所述第一记录信息中包括所述目标标识、所述记录次数及目标速率参数，将所述记录次数设置为预定数值，并将所述目标速率参数设置为0；在确定所述目标存储单元中已建立有所述第一记录信息及所述第一记录信息中包括所述目标标识，且所述第一记录信息中包括的所述记录次数小于所述预定阈值的情况下，对所述第一记录信息中包括的所述记录次数执行加1操作。
11.在一个示例性实施例中，所述方法还包括：在确定所述目标存储单元中已建立有第一记录信息及所述第一记录信息中包括所述目标标识，且所述第一记录信息中包括的所述记录次数大于或等于所述预定阈值的情况下，将所述第一记录信息中包括的所述记录次数重置为预定数值，并将所述第一记录信息中包括的目标速率参数更新为所述目标预测速率。
12.在一个示例性实施例中，所述方法还包括：当确定所述目标对象的目标状态信息为预定状态的情况下，删除所述第一记录信息，其中，所述目标信息中包括所述目标对象的所述目标状态信息，所述目标状态信息用于指示所述目标对象出现或消失或更新的信息。
13.在一个示例性实施例中，在基于所述目标预测速率确定所述目标对象在第三帧图像中的第三检测框信息之后，所述方法还包括：将所述第三检测框信息发送至目标显示设备，以指示所述目标显示设备基于所述第三检测框信息确定第三检测框，在所述第三帧图像上叠加所述第三检测框，并显示叠加后的图像。
14.根据本发明的另一个实施例，还提供了一种检测框信息的确定装置，包括：获取模块，用于获取第一帧图像，其中，所述第一帧图像是对目标视频流进行预定处理后所得到的
目标图像帧组中包括的帧图像；分析模块，用于对所述第一帧图像进行分析，以得到分析结果，其中，所述分析结果中包括目标对象的目标信息，所述目标信息包括所述目标对象的第一检测框的目标标识、第一检测框的第一坐标及第一时间，所述第一时间用于指示采集所述第一帧图像的时间；第一确定模块，用于在确定目标存储单元中存在所述目标标识，且所述目标存储单元中所述目标标识的记录次数大于或等于预定阈值的情况下，基于所述第一坐标、所述第一时间及第二目标信息确定所述目标对象的目标预测速率，其中，所述第二目标信息用于指示对第二帧图像进行分析所得到的包括所述目标对象的信息，所述第二帧图像为在所述第一帧图像之前所采集的图像，所述目标预测速率用于指示所述目标对象在所述第一时间之后的预测移动速率；第二确定模块，用于基于所述目标预测速率确定所述目标对象在第三帧图像中的第三检测框信息，其中，所述第三帧图像为在所述第一帧图像之后所采集的图像。
15.根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
16.根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
17.通过本发明，通过获取第一帧图像并对第一帧图像进行分析以得到分析结果，其中，分析结果中包括目标对象的第一检测框的目标标识、第一检测框的第一坐标及第一时间的信息，当确定目标存储单元中包括目标标识且该目标标识的记录次数大于或等于预定阈值时，基于第一坐标、第一时间及第二目标信息确定目标对象的目标预测速率，其中，第二目标信息是指对第一帧图像之前采集的第二帧图像进行分析所得到的包括目标对象的信息，然后，基于目标预测速率确定目标对象在第三帧图像中的第三检测框信息，其中，第三帧图像为第一帧图像之后所采集的图像，即，根据对第一帧图像和第二帧图像的分析结果中所包括的目标信息确定目标对象在第一时间之后的目标预测速率，然后基于目标预测速率确定目标对象在第三帧图像中的检测框信息。避免了相关技术中因算法处理的耗时导致对当前帧图像进行分析所得到的检测框信息相对于当前显示画面存在滞后的问题，解决了相关技术中存在的检测框与画面显示不匹配的问题，达到了提高用户使用体验的效果。
附图说明
18.图1是相关技术中的智能显示方案；
19.图2是本发明实施例的检测框信息的确定方法的移动终端硬件结构框图；
20.图3是根据本发明实施例的检测框信息的确定方法的流程图；
21.图4是根据本发明具体实施例的智能显示方法的整体流程图；
22.图5是根据本发明具体实施例的返回结果处理的流程图；
23.图6是根据本发明实施例的检测框信息的确定装置的结构框图。
具体实施方式
24.下文中将参考附图并结合实施例来详细说明本发明的实施例。
25.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
26.本技术实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图2是本发明实施例的检测框信息的确定方法的移动终端硬件结构框图。如图2所示，移动终端可以包括一个或多个(图2中仅示出一个)处理器202(处理器202可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器204，其中，上述移动终端还可以包括用于通信功能的传输设备206以及输入输出设备208。本领域普通技术人员可以理解，图2所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。
27.存储器204可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的检测框信息的确定方法对应的计算机程序，处理器202通过运行存储在存储器204内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器204可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器204可进一步包括相对于处理器202远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
28.传输装置206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置206包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置206可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
29.在本实施例中提供了一种检测框信息的确定方法，图3是根据本发明实施例的检测框信息的确定方法的流程图，如图3所示，该流程包括如下步骤：
30.步骤s302，获取第一帧图像，其中，所述第一帧图像是对目标视频流进行预定处理后所得到的目标图像帧组中包括的帧图像；
31.步骤s304，对所述第一帧图像进行分析，以得到分析结果，其中，所述分析结果中包括目标对象的目标信息，所述目标信息包括所述目标对象的第一检测框的目标标识、第一检测框的第一坐标及第一时间，所述第一时间用于指示采集所述第一帧图像的时间；
32.步骤s306，在确定目标存储单元中存在所述目标标识，且所述目标存储单元中所述目标标识的记录次数大于或等于预定阈值的情况下，基于所述第一坐标、所述第一时间及第二目标信息确定所述目标对象的目标预测速率，其中，所述第二目标信息用于指示对第二帧图像进行分析所得到的包括所述目标对象的信息，所述第二帧图像为在所述第一帧图像之前所采集的图像，所述目标预测速率用于指示所述目标对象在所述第一时间之后的预测移动速率；
33.步骤s308，基于所述目标预测速率确定所述目标对象在第三帧图像中的第三检测框信息，其中，所述第三帧图像为在所述第一帧图像之后所采集的图像。
34.通过上述步骤，通过获取第一帧图像并对第一帧图像进行分析以得到分析结果，其中，分析结果中包括目标对象的第一检测框的目标标识、第一检测框的第一坐标及第一
时间的信息，当确定目标存储单元中包括目标标识且该目标标识的记录次数大于或等于预定阈值时，基于第一坐标、第一时间及第二目标信息确定目标对象的目标预测速率，其中，第二目标信息是指对第一帧图像之前采集的第二帧图像进行分析所得到的包括目标对象的信息，然后，基于目标预测速率确定目标对象在第三帧图像中的第三检测框信息，其中，第三帧图像为第一帧图像之后所采集的图像，即，根据对第一帧图像和第二帧图像的分析结果中所包括的目标信息确定目标对象在第一时间之后的目标预测速率，然后基于目标预测速率确定目标对象在第三帧图像中的检测框信息。避免了相关技术中因算法处理的耗时导致对当前帧图像进行分析所得到的检测框信息相对于当前显示画面存在滞后的问题，解决了相关技术中存在的检测框与画面显示不匹配的问题，达到了提高用户使用体验的效果。
35.其中，上述步骤的执行主体可以为终端，或设备，或图像处理设备，例如，具备对图像进行分析和处理能力的设备，或者为配置在存储设备上的具备人机交互能力的处理器，或者为具备类似处理能力的处理设备或处理单元等，但不限于此。下面以图像处理设备执行上述操作为例(仅是一种示例性说明，在实际操作中还可以是其他的设备或模块来执行上述操作)进行说明。
36.在上述实施例中，图像处理设备获取第一帧图像，其中，第一帧图像是对目标视频流进行预定处理后所得到的目标图像帧组中包括的帧图像，例如，第一帧图像是对目标视频流进行处理后的任意一帧图像，上述预定处理可包括缩放、帧率控制等处理，例如，因为算法识别有个最优的分辨率，所以在送算法帧数据之前，我们会对采集的画面进行缩放，缩放到固定的尺寸后再送入算法，而因为设备算力等限制，在将帧数据送算法之前，可进行帧率控制，丢弃一部分帧，均匀的提取一部分帧送算法；对第一帧图像进行分析，以得到分析结果，例如，将第一帧图像送入智能算法进行分析，当然对其它帧图像也送入智能算法进行分析，其中，分析结果中包括目标对象的目标信息，目标信息包括目标对象的第一检测框的目标标识、第一检测框的第一坐标及第一时间，第一时间用于指示采集第一帧图像的时间，例如，第一坐标可以是第一检测框的中心点坐标，也可以是第一检测框的顶点或角点坐标，还可以是第一检测框中包括的其它点的坐标；在确定目标存储单元中存在目标标识，且目标存储单元中目标标识的记录次数大于或等于预定阈值的情况下，基于第一坐标、第一时间及第二目标信息确定目标对象的目标预测速率，例如，当对第一帧图像或其它帧图像进行分析得到目标对象的第一检测框的目标标识(如id01)时，如果目标存储单元中不存在该标识(如id01)，则在目标存储单元中新增该标识的记录信息，如果目标存储单元中存在该标识，则对该标识出现的记录次数进行管理，例如，对记录次数进行加1操作，以上述预定阈值等于3(或4，或其它值)为例，当目标存储单元中记录的目标标识(如上述id01)的记录次数大于或等于3时，可基于第一坐标(如第一检测框的中心点坐标)、第一时间(如第一帧图像的采集时间)及第二目标信息确定目标对象的目标预测速率，在实际应用中，也可当记录次数达到预定阈值后将目标次数重置为0(或1，或其它值)，即对上述目标对象的目标标识出现的记录次数重新进行统计，当记录次数被重置为0(或1，或其它值)之后，在下一个统计周期中当记录次数再次达到预定阈值时，再次确定目标对象的目标预测速率，通过上述步骤，当对多帧图像进行分析得到同一个目标对象出现多次的情况下，可周期性地确定目标对象的目标预测速率，或者说，可以周期性地对目标对象的目标预测速率进行更新，从而可
以对目标对象在第一时间之后的检测框信息进行预测，其中，上述第二目标信息用于指示对第二帧图像进行分析所得到的包括目标对象的信息，第二目标信息中也可以包括目标对象的检测框的标识(例如，第二检测框的标识)、坐标(例如，第二检测框的第二坐标)及第二时间(如第二帧图像的采集时间)，第二帧图像为在第一帧图像之前所采集的图像，目标预测速率用于指示目标对象在第一时间之后的预测移动速率；然后，基于目标预测速率确定目标对象在第三帧图像中的第三检测框信息，其中，第三帧图像为在第一帧图像之后所采集的图像，即对目标对象在第三帧图像中的检测框信息进行预测，上述第三帧图像可以是当前显示画面中正在显示的帧图像，上述第一帧图像是在第三帧图像之前采集的图像，因为算法处理的耗时可能导致算法返回的结果(相当于上述目标信息，即第一检测框的相关信息)相对于当前正在显示的帧图像(如上述第三帧图像)存在滞后，而本实施例中的上述步骤通过确定目标预测速率以及基于目标预测速率确定第三检测框信息，可以避免上述滞后的问题，在实际应用中，当基于第三检测框信息生成检测框后再将第三检测框与当前正在显示的帧图像进行叠加，可以实现检测框与画面显示匹配的目的。解决了相关技术中存在的检测框与画面显示不匹配的问题，达到了提高用户使用体验的效果。
37.在一个可选的实施例中，基于所述第一坐标、所述第一时间及第二目标信息确定所述目标对象的目标预测速率，包括：基于所述第一坐标、所述第一时间及第二坐标、第二时间确定所述目标预测速率，其中，所述第二目标信息中包括所述目标对象的第二检测框的所述第二坐标及所述第二时间，所述第二时间用于指示采集所述第二帧图像的时间。在本实施例中，第二目标信息中包括目标对象的第二检测框的第二坐标及第二时间，当然，第二目标信息中也可包括目标对象的第二检测框的标识，第二检测框的标识与第一检测框的目标标识相同，均指同一个目标对象(如车辆，或人，或其他对象)，例如，第一坐标是第一检测框的中心点坐标(可以是第一检测框中包括的其它点的坐标)，第二坐标是第二检测框的中心点坐标(当然，也可以是第二检测框中包括的其它点的坐标)，这样可基于第一坐标、第一时间及第二坐标、第二时间确定出目标预测速率。通过本实施例，实现了根据第一帧图像和第二帧图像的分析结果确定目标预测速率的目的。
38.在一个可选的实施例中，基于所述第一坐标、所述第一时间及第二坐标、第二时间确定所述目标预测速率，包括：基于所述第一坐标、所述第一时间、所述第二坐标及所述第二时间按照以下公式确定所述目标预测速率：vx＝(x2-x1)
÷
(t2-t1)，vy＝(y2-y1)
÷
(t2-t1)，其中，(x2,y2)表示所述第一坐标，(x1,y1)表示所述第二坐标，t2表示所述第一时间，t1表示所述第二时间，vx表示所述目标预测速率中包括的对应于x方向的速率，vy表示所述目标预测速率中包括的对应于y方向的速率。在本实施例中，可按照公式vx＝(x2-x1)
÷
(t2-t1)、vy＝(y2-y1)
÷
(t2-t1)分别计算目标对象在x方向、y方向的目标预测速率，上述第一坐标可以是第一检测框的中心点坐标，也可以是第一检测框的顶点或角点坐标，还可以是第一检测框中包括的其它点的坐标，同样，上述第二坐标可以是第二检测框的中心点坐标，也可以是第二检测框的顶点或角点坐标，还可以是第二检测框中包括的其它点的坐标。通过本实施例，实现了基于第一检测框的坐标、第一帧图像的采集时间及第二检测框的坐标、第二帧图像的采集时间确定出目标预测速率中包括的x方向和y方向的速率的目的。
39.在一个可选的实施例中，基于所述目标预测速率确定所述目标对象在第三帧图像中的第三检测框信息，包括：基于所述目标预测速率、所述第一时间、第三坐标及第三时间，
确定所述第三检测框的第四坐标，其中，所述目标信息中包括所述第一检测框中的至少一个点的所述第三坐标，所述第一坐标为所述第一检测框中的预定点的坐标，所述第三时间用于指示采集所述第三帧图像的时间，所述第三检测框信息中包括所述第四坐标。在本实施例中，在确定目标预测速率后，可基于目标预测速率确定目标对象在第三帧图像中的第三检测框信息，例如，基于目标预测速率、第一时间、第三坐标以及第三时间，确定目标对象在第三帧图像中的第三检测框的第四坐标，在实际应用中，可基于第一检测框中的至少一个点的第三坐标，如至少一个点可包括第一检测框的四个顶点或角点，和/或第一检测框的中心点，和/或第一检测框中包括的其它点，在实际应用中，上述至少一个点也可只选取第一检测框的四个顶点中的其中2个或3个，而前述第一坐标是第一检测框中的预定点，该预定点可以是上述至少一个点中的其中一个点，也可以是上述至少一个点之外的点。通过本实施例，实现了基于目标预测速率、第一时间、第三坐标及第三时间确定目标对象在第三帧图像中的第三检测框的坐标的目的。
40.在一个可选的实施例中，基于所述目标预测速率、所述第一时间、第三坐标及第三时间，确定所述第三检测框的第四坐标，包括：基于所述目标预测速率、所述第一时间、所述第三坐标及所述第三时间按照以下公式确定所述第四坐标：px＝(t3-t2)*vx+x，py＝(t3-t2)*vy+y，其中，(x，y)表示所述第三坐标，(px，py)表示所述第四坐标，t3表示所述第三时间。在本实施例中，可按照公式px＝(t3-t2)*vx+x、py＝(t3-t2)*vy+y分别确定第四坐标中包括的x方向和y方向的坐标，即px和py。通过本实施例，实现了基于目标预测速率、第一帧图像的采集时间、第一检测框中包括的至少一个点的第三坐标及第三帧图像的采集时间确定出第三检测框的第四坐标的目的。
41.在一个可选的实施例中，所述方法还包括：在确定所述目标存储单元中不存在所述目标标识的情况下，在所述目标存储单元中新建第一记录信息，其中，所述第一记录信息中包括所述目标标识、所述记录目标次数及目标速率参数，将所述记录目标次数设置为预定数值，并将所述目标速率参数设置为0；在确定所述目标存储单元中已建立有所述第一记录信息及所述第一记录信息中包括所述目标标识，且所述第一记录信息中包括的所述记录目标次数小于所述预定阈值的情况下，对所述第一记录信息中包括的所述记录目标次数执行加1操作。在本实施例中，当确定目标存储单元中不存在第一检测框的目标标识时，在目标存储单元中新建第一记录信息，即，当第一次检测出前述目标对象的第一检测框的目标标识时，在目标存储单元中建立第一记录信息，第一记录信息中可包括目标标识、记录目标次数及目标速率参数，其中，记录目标次数可设置为预定数值，例如预定数值为0或1或其它值，目标速率参数可设置为0，此时，可将该目标速率参数作为目标预测速率来确定或预测上述第三检测框信息；当确定目标存储单元中已建立第一记录信息及第一记录信息中包括目标标识，且目标标识的记录目标次数小于预定阈值(如3，或4，或其它值)时，此时对第一记录信息中包括的记录目标次数加1。通过本实施例，实现了根据分析出的目标标识出现的次数在目标存储单元中建立第一记录信息或对第一记录信息中包括的记录目标次数进行更新的目的。
42.在一个可选的实施例中，所述方法还包括：在确定所述目标存储单元中已建立有第一记录信息及所述第一记录信息中包括所述目标标识，且所述第一记录信息中包括的所述记录次数大于或等于所述预定阈值的情况下，将所述第一记录信息中包括的所述记录次
数重置为预定数值，并将所述第一记录信息中包括的目标速率参数更新为所述目标预测速率。在本实施例中，当目标存储单元中包括第一记录信息且第一记录信息中包括的目标标识的记录次数大于或等于预定阈值(如3，或4，或其它值)时，将第一记录信息中包括的记录次数重置为预定数值(如0或1或其它值)，同时还将第一记录信息中包括的目标速率参数更新为上述目标预测速率，即随着分析得出的目标标识出现的次数的增加，按照预定周期对记录次数进行更新，以及周期性地对目标速率参数进行更新。通过本实施例，实现了对第一记录信息中包括的记录次数及目标速率参数进行更新的目的。
43.在一个可选的实施例中，所述方法还包括：当确定所述目标对象的目标状态信息为预定状态的情况下，删除所述第一记录信息，其中，所述目标信息中包括所述目标对象的所述目标状态信息，所述目标状态信息用于指示所述目标对象出现或消失或更新的信息。在本实施例中，目标信息中还可包括目标对象的目标状态信息，例如目标对象出现或消失或更新的状态信息，而当确定目标状态信息为预定状态时，则删除目标存储单元中的第一记录信息，例如，当根据某一帧图像确定对象a已消失(例如在该帧图像之前的其它帧图像中出现过对象a)时，即可删除该对象a对应的第一记录信息。通过本实施例，实现了对目标存储单元中的信息进行及时清理的目的，达到了节约存储资源的效果。
44.在一个可选的实施例中，在基于所述目标预测速率确定所述目标对象在第三帧图像中的第三检测框信息之后，所述方法还包括：将所述第三检测框信息发送至目标显示设备，以指示所述目标显示设备基于所述第三检测框信息确定第三检测框，在所述第三帧图像上叠加所述第三检测框，并显示叠加后的图像。在本实施例中，在确定出上述第三检测框信息之后，可将第三检测框信息发送给目标显示设备，以指示目标显示设备根据第三检测框信息生成第三检测框并将第三检测框与第三帧图像进行叠加，以显示叠加后的图像。需要说明的是，目标显示设备是实时显示对前述目标视频流进行预定处理后得到的图像帧组的，例如，上述第三帧图像为显示设备当前正在显示的帧图像，将第三检测框与第三帧图像叠加后，显示画面中即可以同时显示当前帧图像也能显示当前帧图像中所包括的目标对象的检测框，实现了检测框与显示画面匹配的目的，当然，第三帧图像也可能包括多个不同的对象，同理，按照上述步骤，将多个不同的对象中包括的每个对象的检测框信息确定出来，均叠加到第三帧图像中，这样即可在当前显示画面中同时显示多个不同对象的检测框。通过本实施例，实现了基于预测的第三检测框信息确定出第三检测框并将第三检测框叠加到当前显示的帧图像中的目的。
45.显然，上述所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。下面结合实施例对本发明进行具体说明。
46.本实施例的基本思想是在送智能算法分析前，将当前送算法帧采集的帧时间戳通过私有指针随帧带入，算法分析完返回轨迹框等结果，对轨迹框结果进行处理，对当前预览显示帧的轨迹框进行预测；核心部分是结果处理和轨迹框预测，下面进行详细描述。
47.图4是根据本发明具体实施例的智能显示方法的整体流程图，该流程包括：
48.step1：采集、缩放、帧率控制
49.都是目前设备开启智能支持的。
50.采集：指前端相机采集到数据，通过ad转换输入到后端设备；
51.缩放：因为算法识别有个最优的分辨率，所以在送算法帧数据之前，我们会对采集
的画面进行缩放，缩放到固定的尺寸送算法；
52.帧率控制：因为设备算力等限制，在送算法帧数据之前，会进行帧率控制，丢弃一部分帧，均匀的提取一部分帧送算法；
53.需要说明的是，采集到视频之后会将数据送往两个后级，如图4中数据流1和数据流2，step1中对数据流1和数据流2均进行处理，如上述缩放、帧率控制等。
54.step2：打当前时间戳
55.送智能算法的时，送入的帧数据是可以带入随帧信息的，算法结果返回时将随帧信息带出，此处可以在送算法时将当前帧采集的时间戳加入随帧信息中，算法结果返回时带出，后面步骤会详细介绍时间戳的作用。
56.step3：算法分析
57.采集到的帧数据送算法之后，算法会对当前帧进行智能分析，识别出帧画面中的物体，可以是人、车、动物等，并将物体的id、物体状态(出现、消失、更新)、物体所在的坐标框返回，即上文所述轨迹框。
58.step4：结果处理
59.下面详细介绍算法返回结果处理的流程，如图5所示，图5是根据本发明具体实施例的返回结果处理的流程图，该流程包括：
60.s502，算法结果返回，在物体管理链表(对应于前述目标存储单元)中搜索当前物体id(对应于前述目标标识)是否存在；
61.s504，如果不存在则新增物体id的管理；
62.s506，并将当前物体id对应的下列信息保存到链表中管理：
63.1)计算并保存当前物体轨迹框的中心坐标(x1，y1)；
64.2)保存当前帧采集的pts1(pts即时间戳，送算法分析时带入的随帧信息)；
65.3)设置当前id的count＝0(count用于计数，表示当前物体连续出现的帧数，count相当于前述目标次数)；
66.4)设置当前横纵坐标的运动速率vx＝0，vy＝0；
67.s508，使用当前轨迹框，然后进入s518进行显示；
68.s510，在上述步骤s502中，如果搜索发现已经存在了当前物体id，则判断count值是否大于等于3(count的引入是为了实时更新物体运动速率，判断物体连续出现3帧更新一次物体运动的速率)。
69.上述步骤s510中也可以设置为判断count值是否大于等于其它值，如4或5，或其它值等。
70.s512，如果count大于等于3了，则按照下面公式5.1重新计算物体的运动速率：
[0071][0072]
现对上述公式中相关参数或符号说明如下：
[0073]
①
保存的3帧前物体中心点坐标：(x1，y1)(对应于前述第二坐标)；
[0074]
②
当前帧物体轨迹框中心点坐标(x2，y2)(对应于前述第一坐标)；
[0075]
③
3帧前算法返回结果帧对应的采集帧时间戳：pts1(对应于前述第二时间)；
[0076]
④
当前算法返回结果帧对应的采集帧时间戳：pts2(对应于前述第一时间)；
[0077]
s514，计算出新的速率之后需要更新保存如下信息到物体id对应的链表中：
[0078]
1)保存当前物体的轨迹框中心坐标为(x1，y1)，即将链表中物体id对应的轨迹框中心坐标(x1，y1)替换为当前物体的轨迹框中心坐标(x2，y2)；
[0079]
2)保存当前帧对应的采集帧时间戳为pts1，即将链表中物体id对应的采集帧时间戳pts1替换为当前帧对应的采集帧时间戳pts2；
[0080]
3)保存当前横纵坐标的运动速率vx、vy；
[0081]
4)count修改为0并保存。
[0082]
需要说明的是，上述步骤s506，s514中也可以设置count＝1或其它。
[0083]
s516，如果count没有大于等于3，则将count+1(或count++)，并使用已保存的物体运动速率进行轨迹框预测。
[0084]
上述步骤s502-s516中针对不同情形确定了物体运动速率的预测方法，进而为了后续步骤进行轨迹框的预测。
[0085]
step5：轨迹框预测
[0086]
(1)当出现step4中步骤s504的情况：不进行预测，直接使用当前算法上报的轨迹框显示(对应前述步骤s508)；
[0087]
(2)当出现step4中步骤s512的情况：进行预测，按照下面公式5.2，使用新计算出的运动速率预测轨迹框；
[0088]
(3)当出现step4中步骤s516的情况：进行预测，按照下面公式5.2，使用保存的运动速率预测轨迹框；
[0089][0090]
对上述公式中相关参数或符号说明如下：
[0091]
①
当前预览画面正在显示帧的时间戳记为：pts3(即当前系统时间)；
[0092]
②
当前算法返回结果帧对应的采集帧时间戳：pts2；
[0093]
③
当前横纵坐标的运动速率vx、vy；
[0094]
④
x、y：表示当前帧返回的物体四个点的横纵坐标，例如，物体的轨迹框(或目标检测框)的四个角点(或顶点)的横纵坐标，或者，轨迹框(或目标检测框)的中心点坐标；
[0095]
step6：叠加显示
[0096]
使用step5计算出的预测坐标(即上述公式5.2计算出的预测的x坐标、预测的y坐标)进行显示界面的轨迹框叠加。
[0097]
step7：删除物体id
[0098]
当算法返回当前物体id的状态为消失时，从管理链表中删除当前物体id，该步骤step7在图4中未示出。
[0099]
在上述实施例中，相比相关技术中的方案，本技术实施例的优点是：不管当前设备处于什么压力环境，算力和cpu是否超额，物体的相对运动速率是不变的，使用不变的运动速率和采集帧时间戳，可精准的预测出当前显示帧物体的轨迹框所在，提升体验感，并且，整个判断不会太多占用cpu和内存，同时解决了产品的一大痛点。
[0100]
通过上述实施例，算法帧携带出来的采集帧的pts和相当于采集pts差值的运动距离计算出运动速率，从而使用运动速率预测出算法返回结果时刻相对于采集时刻物体运动的距离，预测出当前显示帧pts所对应的轨迹框，实现轨迹框的实时跟踪；以物体真实不变的运动速率，预测出变化的轨迹滞后距离。即在算法返回的结果存在滞后的情况下，实现了将叠加到显示画面上的轨迹框和当前正在显示画面进行匹配的目的。
[0101]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0102]
在本实施例中还提供了一种检测框信息的确定装置，图6是根据本发明实施例的检测框信息的确定装置的结构框图，如图6所示，该装置包括：
[0103]
获取模块602，用于获取第一帧图像，其中，所述第一帧图像是对目标视频流进行预定处理后所得到的目标图像帧组中包括的帧图像；
[0104]
分析模块604，用于对所述第一帧图像进行分析，以得到分析结果，其中，所述分析结果中包括目标对象的目标信息，所述目标信息包括所述目标对象的第一检测框的目标标识、第一检测框的第一坐标及第一时间，所述第一时间用于指示采集所述第一帧图像的时间；
[0105]
第一确定模块606，用于在确定目标存储单元中存在所述目标标识，且所述目标存储单元中所述目标标识的记录次数大于或等于预定阈值的情况下，基于所述第一坐标、所述第一时间及第二目标信息确定所述目标对象的目标预测速率，其中，所述第二目标信息用于指示对第二帧图像进行分析所得到的包括所述目标对象的信息，所述第二帧图像为在所述第一帧图像之前所采集的图像，所述目标预测速率用于指示所述目标对象在所述第一时间之后的预测移动速率；
[0106]
第二确定模块608，用于基于所述目标预测速率确定所述目标对象在第三帧图像中的第三检测框信息，其中，所述第三帧图像为在所述第一帧图像之后所采集的图像。
[0107]
在一个可选的实施例中，上述第一确定模块606包括：第一确定单元，用于基于所述第一坐标、所述第一时间及第二坐标、第二时间确定所述目标预测速率，其中，所述第二目标信息中包括所述目标对象的第二检测框的所述第二坐标及所述第二时间，所述第二时间用于指示采集所述第二帧图像的时间。
[0108]
在一个可选的实施例中，上述第一确定单元包括：第一确定子单元，用于基于所述第一坐标、所述第一时间、所述第二坐标及所述第二时间按照以下公式确定所述目标预测速率：vx＝(x2-x1)
÷
(t2-t1)，vy＝(y2-y1)
÷
(t2-t1)，其中，(x2,y2)表示所述第一坐标，(x1,y1)表示所述第二坐标，t2表示所述第一时间，t1表示所述第二时间，vx表示所述目标预测速率中包括的对应于x方向的速率，vy表示所述目标预测速率中包括的对应于y方向的速率。
[0109]
在一个可选的实施例中，上述第二确定模块608包括：第二确定子单元，用于基于所述目标预测速率、所述第一时间、第三坐标及第三时间，确定所述第三检测框的第四坐
标，其中，所述目标信息中包括所述第一检测框中的至少一个点的所述第三坐标，所述第一坐标为所述第一检测框中的预定点的坐标，所述第三时间用于指示采集所述第三帧图像的时间，所述第三检测框信息中包括所述第四坐标。
[0110]
在一个可选的实施例中，上述第二确定子单元包括：第二确定子单元，用于基于所述目标预测速率、所述第一时间、所述第三坐标及所述第三时间按照以下公式确定所述第四坐标：px＝(t3-t2)*vx+x，py＝(t3-t2)*vy+y，其中，(x，y)表示所述第三坐标，(px，py)表示所述第四坐标，t3表示所述第三时间。
[0111]
在一个可选的实施例中，上述装置还包括：新建模块，用于在确定所述目标存储单元中不存在所述目标标识的情况下，在所述目标存储单元中新建第一记录信息，其中，所述第一记录信息中包括所述目标标识、所述记录次数及目标速率参数，将所述记录次数设置为预定数值，并将所述目标速率参数设置为0；执行模块，用于在确定所述目标存储单元中已建立有所述第一记录信息及所述第一记录信息中包括所述目标标识，且所述第一记录信息中包括的所述记录次数小于所述预定阈值的情况下，对所述第一记录信息中包括的所述记录次数执行加1操作。
[0112]
在一个可选的实施例中，上述装置还包括：处理模块，用于在确定所述目标存储单元中已建立有第一记录信息及所述第一记录信息中包括所述目标标识，且所述第一记录信息中包括的所述记录次数大于或等于所述预定阈值的情况下，将所述第一记录信息中包括的所述记录次数重置为预定数值，并将所述第一记录信息中包括的目标速率参数更新为所述目标预测速率。
[0113]
在一个可选的实施例中，上述装置还包括：删除模块，用于当确定所述目标对象的目标状态信息为预定状态的情况下，删除所述第一记录信息，其中，所述目标信息中包括所述目标对象的所述目标状态信息，所述目标状态信息用于指示所述目标对象出现或消失或更新的信息。
[0114]
在一个可选的实施例中，上述装置还包括：发送模块，用于在基于所述目标预测速率确定所述目标对象在第三帧图像中的第三检测框信息之后，将所述第三检测框信息发送至目标显示设备，以指示所述目标显示设备基于所述第三检测框信息确定第三检测框，在所述第三帧图像上叠加所述第三检测框，并显示叠加后的图像。
[0115]
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
[0116]
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
[0117]
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：u盘、只读存储器(read-only memory，简称为rom)、随机存取存储器(random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
[0118]
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
[0119]
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
[0120]
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
[0121]
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
[0122]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。