前后端配合智能分析的方法及装置的制造方法
【技术领域】
[0001]本发明涉及视频分析领域，尤其涉及前后端配合智能分析的方法及装置。
【背景技术】
[0002]监控系统中前端设备获取视频流之后，需要对视频流进行分析，并将分析结果叠加到对应的时间位置上。以IPC作为前端设备进行举例，有一些IPC本身带有这种视频流分析的模块，从而直接输出带有分析结果的视频流，但大多数IPC都不具备这种功能，因此需要进行额外的分析和叠加处理。
[0003]因此现有技术的问题在于，如果要对前端设备所采集的视频进行分析，就就需要进行对应的硬件改进。
【发明内容】
[0004]为了解决现有技术存在的问题，现提供了一种智能分析的方法，将前端设备与后端的服务器配合，进行视频的分析，从而避免出现这种错位的结果。
[0005]—种前后端配合智能分析的方法，应用于分析服务器中，包括:
[0006]接收前端设备发送的视频，所述前端设备将发送给分析服务器的视频同时也发送给存储设备；
[0007]分析接收的视频，将所得分析数据返回给对应的前端设备，由前端设备将分析数据以私有数据的形式与当前需要发送给存储设备的视频一起打包发送至存储设备进行存储，其中分析数据含有分析结果以及分析结果所对应的视频的时间位置信息；
[0008]在存储设备中查找分析数据，利用分析数据中的时间位置信息查找与分析结果相对应的视频，并将分析结果与相应视频相叠加，将叠加结果重新打包并覆盖存储设备上相应的视频。
[0009]本发明的视频分析方法不需要对现有的前端设备进行硬件上的改进，即可完成对视频的智能分析，利用后端的分析服务器以及存储设备来完成对分析结果的叠加。另外，虽然存在分析盒子放在前端设备到播放端的路径中，对视频流进行实时分析的技术，但是由于实时性的要求，缓存容量并不大且分析结果通常也比较粗略，否则容易造成延迟；而对于非实时的播放，需要更大的缓存，对于一个用于实时分析的分析盒子，如果要应用到非实时播放，则需要进行硬件改造，比较复杂。而本发明较为适合非实时的播放，存储设备可以根据分析算法的精细程度来选择，从而在叠加显示分析结果时不会造成错位的现象，而且由于分析服务器与存储设备是独立的，可以通过对分析服务器更新算法来提高分析能力，也可以通过更换存储设备来增加视频流及分析数据的存储能力，较为便利。
[0010]其中分析服务器在进行分析时，前端设备实时在向存储设备发送视频，因此，前端设备在收到分析数据时，与分析数据一起发送的视频不是与分析视频向对应的视频，而是当前需要发送给存储设备的视频(即分析数据所要发送时刻的视频)，当前需要发送的视频与分析数据对应的视频相比时间上是延后的。当分析服务器将分析数据返回对应的前端设备后，前端设备将接收到的分析数据以私有数据的形式与当前需要发送给存储设备的视频一起打包发送至存储设备进行存储。
[0011 ] 其中，前端设备向分析服务器和存储设备发送的视频以传输流格式进行发送。
[0012]TS格式因为采取了固定长度的包布局，当传输误码破损了某一 TS包的同步信息时，接收数据包的设备可在固定的地位检测它后面包中的同步信息，从而恢复同步，避免了信息丧失。因此TS格式的数据包具有良好的抗干扰能力。传输流格式由于包含了同步信息，因此当码流速率发生改变时，可以得到计算的视频存储位置与实际的视频存储位置之间的偏移量，因此能够得到视频存储的正确位置。
[0013]进一步而言，分析数据及视频按照发送到存储设备的时间顺序进行存储在存储设备中，所述利用分析数据中的时间位置查找与分析结果相对应的视频的方式为，根据时间位置信息计算视频存储位置与分析结果存储位置之间的位置关系，利用分析结果所存储的位置以及位置关系获取视频在存储设备中的存储位置，查找到对应的视频。
[0014]在查找分析结果所对应的视频时，可以通过逐一比较分析结果与视频的时间来进行叠加，但这样查找效率比较低下。而通过按时间顺序存储视频，在分析时，与分析结果相对应的视频已通过前端设备先行发送到存储设备进行存储了，因此分析结果是被放在所对应视频后面的视频中被发过来的，从而在存储设备中的存储位置是延后于相对应的视频的。由于视频流的码流速率是可知的，而分析时间的长短也是可知的，因此时间长短是可知的，由于存储时按照的换算为存储位置的差值，因此根据分析结果得知了对应的视频所在时间位置，可以算出分析结果与对应视频之间的时间延迟，从而将时间延时换算为存储位置关系，利用这个存储位置关系即可找到当前分析结果所对应视频在存储设备中的存储位置，从而找到视频进行叠加。
[0015]实际过程中，视频流速率可能发生改变。如果视频流的速率发生了改变，所以计算的位置可能有前后微调。
[0016]进一步而言，在所述利用分析数据中的时间位置信息查找与分析结果相对应的视频的过程中，如果根据时间位置信息计算得到的视频存储位置与实际的视频存储位置相比存在向前偏移或向后偏移的情况，则根据偏移量朝与偏移方向相反的方向查找实际的视频存储位置，并且记住实际查找到的视频存储位置用于下一个视频的查找。
[0017]根据偏移量朝与偏移方向相反的方向查找实际的视频存储位置，是指根据计算得到的位置与相应位置所保存的视频时间相比较，如果发现计算的位置偏后，则根据偏移量，向前读数据；同理，如果计算的位置偏前，则向后读取数据。在得到当前分析结果对应的视频所在位置后，记住该视频位置，则位于该视频后面的视频只需从该视频所存储位置向后查找即可。
[0018]为了配合分析服务器所采用的方法，现提供一种方法，在前端设备中应用，以配合分析服务器的分析过程。
[0019]—种前后端配合智能分析的方法，应用于前端设备中，包括:
[0020]发送视频给分析服务器和存储设备，由分析服务器分析来自前端设备的视频，并接收分析服务器返回的分析数据；
[0021]将接收到的分析数据以私有数据的形式与当前需要发送给存储设备的视频一起打包，并发送至存储设备进行存储，其中，分析数据含有分析结果以及分析结果所对应的视频的时间位置信息，以使得分析服务器利用分析数据中的时间位置信息在存储设备中查找与分析结果相对应的视频，并将分析结果与相应视频相叠加，将叠加结果重新打包并覆盖存储设备上相应的视频。
[0022]本发明的视频分析方法不需要对现有的前端设备进行硬件上的改进，即可完成对视频的智能分析，利用后端的分析服务器以及存储设备来完成对分析结果的叠加。私有数据是非标准定义的方式。其中私有数据有两种承载方式:一种方式为，视频流的数据包中既包含视频，也包含私有数据；另一种方式为，数据包仅包含私有数据。这两种方式均可实现分析数据与视频流一起发送。私有数据采用以下其中一种方式打包至数据报文中:数据报文的数据包中既包含私有数据也包含视频；数据报文的数据包仅包含私有数据。
[0023]其中，前端设备发送到分析数据及视频按照发送到存储设备的时间顺序进行存储在存储设备中。分析服务器在利用前端设备发送到存储设备的分析数据和视频进行分析结果叠加时，利用分析数据中的时间位置查找与分析结果相对应的视频的方式为，根据时间位置信息计算视频存储位置与分析结果存储位置之间的位置关系，利用分析结果所存储的位置以及位置关系获取视频在存储设备中的存储位置，查找到对应的视频。
[0024]其中，分析服务器在所述利用分析数据中的时间位置查找与分析结果相对应的视频的过程中，如果根据时间位置信息计算得到的视频存储位置与实际的视频存储位置相比存在向前偏移或向后偏移的情况，则根据偏移量朝与偏移方向相反的方向查找实际的视频存储位置，并且记住实际查找到的视频存储位置用于下一个视频的查找。
[0025]进一步而言，向分析服务器和存储设备发送的视频以传输流格式打包后进行发送。
[0026]数据报文中的数据包有两种封装模式，第一种为PS (Program Stream,节目流)格式，而一个PS包又由若干个PES包构成。PS包的包头中包含了同步信息与时钟恢复信息。一个PS包最多可包含具有同一时钟基准的16个视频PES包和32个音频PES包。第二种为TS (Transport Stream，传输流)格式，TS格式数据包为定长的数据包(188字节)，TS包是对PES包的一个从头封装，PES包的包头信息依然存在于TS包中。
[00