一种基于时间轴的录像快速检索的方法和系统与流程

1.本发明涉及的是视频监控领域,特别涉及一种基于时间轴的录像快速检索 的方法和系统。


背景技术：

2.视频监控系统作为一种安全保障系统在日常生活中被广泛应用，相关部门 通过查看海量的录像视频资源，从监控录像视频中寻找出办案线索或犯罪证 据，有效的推进了案件的处理与侦破。因此，如何快速有效的从海量视频资源 中甄别出案件的线索与证据就显得极其关键。关键证据往往是几个关键监控设 备在极短时间内的某一小段的录像视频，甚至是监控录像视频中的某一帧关键 画面，但要把视频中的关键证据寻找出来，利用现有的录像回放的方法，却需 要消耗大量的时间与人力，用于监控录像资源的筛选与甄别。
3.因此，迫切需要一种直观、高效的基于监控录像视频的检索分析的方法， 使得监控视频甄别人员能基于简单的操纵，就能得到录像视频中提取出关键线 索画面。


技术实现要素：

4.鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地 解决上述问题的一种基于时间轴的录像快速检索的方法和系统。
5.为了解决上述技术问题，本技术实施例公开了如下技术方案：
6.一种基于时间轴的录像快速检索的方法，包括：
7.s100.查询并获取所选设备在选定查询时间范围内的监控录像信息；
8.s200.对查询监控录像信息进行处理与图像化展示；
9.s300.获取用户在时间轴上的操作位置的对应录像时间，并获取到选中时 间一定范围内的录像的数据，并进行视频智能检索分析；
10.s400.展示用户选中时间的一定范围时间段内的录像视频的检索图片；
11.s500.选择关键的检索图片，编辑并上传标注图片。
12.进一步地，s100中，查询并获取所选设备在选定查询时间范围内的监控录 像信息，查询录像的所选的查询时间段范围，不大于录像时间轴的边界时间范 围；具体方法为：根据录像的查询时间，判断是否需要重置时间轴的开始时间 与结束时间；若所选定的录像查询时间范围在时间轴的边界时间范围内，则不 需要重置时间轴的边界时间；若所选定的录像查询时间范围超出时间轴的边界 时间范围，则根据当前录像查询的时间范围，以查询时间范围的中间值，作为 时间轴的边界时间范围的中间值，以时间轴边界时间范围的一半长度为半径计 算新的边界时间范围的起始值，并重置时间轴的边界时间。
13.进一步地，s100中，查询的监控录像信息，包括监控录像视频信息与录像 标注图片信息；从服务器获取的录像信息查询结果，是以时间为索引的录像文 件信息与标注图片文件信息，包含一个或多个录像视频文件或标注图片的信 息；录像文件的信息，包括录像文件片段的开始时间、结束时间、文件大小、 文件访问路径等信息；标注图片文件信息包括
抓拍得到的视频图片对应的播放 时间、抓拍时间、文件访问路径。
14.进一步地，s200中，对查询监控录像信息进行处理与图像化展示，具体方 法为：剔除出所述录像文件在选定查询时间范围外的数据，并对结果信息按照 时间顺序进行排序；在时间轴的通道上展示录像信息前，将获取到的录像视频 文件信息根据录像视频的开始时间与结束时间进行录像范围时间的合并；若两 段录像视频文件中，第一段录像视频的结束时间与第二段录像视频的开始时间 相同，则合并录像视频的时间范围，将第一段录像视频的开始时间作为合并后 得到的录像视频开始时间，将第二段录像视频的结束时间作为合并后得到的录 像视频结束时间，以此类推，计算合并所有录像文件的时间范围，得到合并后 的录像时间范围。
15.进一步地，将合并了录像时间范围的录像视频信息，根据视频的开始时间 与结束时间，计算出各个合并后录像段落的开始时间与结束时间在时间轴上的 相对位置，并在时间轴的通道上绘制录像区域范围；再根据标注图片的对应视 频播放时间，在时间轴的通道上绘制录像标注图片的标志。
16.进一步地，s300中，当用户在时间轴的通道中操作时，通过用户操作停留 位置判断出对应的时间轴上的操作时间，判断所述操作时间是否存在录像或图 片标注；若所选通道位置存在标注图片，则根据标注图片信息中的文件路径信 息，下载并显示标注图片；若所选通道位置存在录像，则根据所选时间轴通道 中录像操作时间，获取以所述操纵时间为中间时间值，获取所选时间在一定范 围内的视频数据，并进行视频智能检索分析，通过图片的差值计算方法比较每 一帧画面的差异，得到画面变化明显的关键画面；若是录像视频为静止画面， 则只需要取得一张关键画面；若录像视频为动态变化画面，则需要产生多张关 键画面；将检索分析得到的一张或多张关键画面，作为录像检索的关键图片并 进行动态显示。
17.进一步地，s500中，从产生的录像检索图片中选择合适的图片，记录检索 图片时间对应的视频时间、生成检索图片的操作时间，并将所选检索图片与图 片信息一起上传到服务器；用户也在播放监控视频时，对于可以在必要时抓拍 视频画面，并记录抓拍视频画面的视频播放时间、抓拍视频画面的操作时间， 并将抓拍画面与图片信息一起上传到服务器。
18.进一步地，本发明还公开了一种基于时间轴的录像快速检索的系统，包括： 录像信息查询模块，用于查询指定设备在选定查询时间范围内的监控录像信 息，所述监控录像信息用于在时间轴上通过图像化形式展示；
19.时间轴模块，用于以图像化的显示展示查询所得到的录像查询结果，时间 轴模块支持显示比例的缩放，调整为最大缩放比例时，时间轴的单个刻度间隔 表示1秒，便于用户在时间轴上能够精确的操作；
20.检索图片模块，用于在获取到用户在所述时间轴上的操作位置对应的操作 时间，判断所述操作时间的前后一段时间范围内是否有录像，若存在录像，则 获取选中通道操作在所述操作时间段范围的录像视频数据，通过图像差异算法 计算出变化明显的关键画面并作为检索图片，并进行检索图片的展示；
21.图片标注模块，用于用户从检索图片模块中选出合适的检索图片，编辑后 上传在服务器；也可以显示用于操作所选时间轴通道中的标注图片标记所代表 的标注图片。
22.进一步地，时间轴模块支持多通道的录像信息的记录与展示，可以同时展 示多个不同设备在不同选定时间内的录像、字体加粗、提示气泡等方式中的至 少一种对选中时间轴通道进行标记，以便区分其他未被选中的时间轴通道，通 过时间轴通道中不同颜色的前景图标代表不同类型的标注图片。
23.本发明实施例提供的上述技术方案的有益效果至少包括：
24.本发明公开的一种基于时间轴的录像快速检索的方法，包括：查询并获取 所选设备在选定查询时间范围内的监控录像信息；对查询监控录像信息进行处 理与图像化展示；获取用户在时间轴上的操作位置的对应录像时间，并获取到 选中时间一定范围内的录像的数据，并进行视频智能检索分析；展示用户选中 时间的一定范围时间段内的录像视频的检索图片；选择关键的检索图片，编辑 并上传标注图片。本发明适用于大时间跨度的录像的定位与检索，便于多人协 同操作，有效的提高了关键录像数据的定位与检索速度。
25.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
26.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发 明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
27.图1为本发明实施例1中，一种基于时间轴的录像快速检索的方法的流程 图；
28.图2为本发明实施例2中，一种基于时间轴的录像快速检索的系统的结构 图；
29.图3为本发明实施例2中，一种基于时间轴的录像快速检索的示意图；
30.图4为本发明实施例2中，一种基于时间轴的查看标注图片的示意图。
具体实施方式
31.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了 本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被 这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本 公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
32.为了解决现有技术中存在的问题，本发明实施例提供一种基于时间轴的录 像快速检索的方法和系统。
33.实施例1
34.本实施例公开了一种基于时间轴的录像快速检索的方法，如图1，包括：
35.s100.查询并获取所选设备在选定查询时间范围内的监控录像信息；具体 的，在本实施s100中，查询录像的所选的查询时间段范围，不大于录像时间 轴的边界时间范围。根据录像的查询时间，判断是否需要重置时间轴的开始时 间与结束时间。如果所选定的录像查询时间范围在时间轴的边界时间范围内， 则不需要重置时间轴的边界时间；如果所选定的录像查询时间范围超出时间轴 的边界时间范围，则根据当前录像查询的时间范围，以查询时间范围的中间值， 以时间轴边界时间范围的一半长度为半径计算新的边界时间范围的起始值，并 重置时间轴的边界时间。
36.将查询信息与空闲状态的录像时间轴通道进行关联，被关联的时间轴通道 保存录像的查询信息，并保存查询结果返回的数据信息。
37.所述查询的监控录像信息，包括监控录像视频信息与录像标注图片信息。 从服务器获取的录像信息查询结果，是以时间为索引的录像文件信息与标注图 片文件信息，包含一个或多个录像视频文件或标注图片的信息。录像文件信息 的信息包括录像文件片段的开始事件、结束时间、文件大小、文件访问路径等 信息；标注图片文件信息包括抓拍得到的视频图片对应的播放时间、抓拍时间、 文件访问路径等信息。
38.s200.对查询监控录像信息进行处理与图像化展示；具体的，在本实施例 的s200中，对接收到的录像查询结果信息，进行数据处理，剔除出所述录像 文件在选定查询时间范围外的数据，并对结果信息按照时间顺序进行排序。在 时间轴的通道上展示录像信息前，将获取到的录像视频文件信息根据录像视频 的开始时间与结束时间进行录像范围时间的合并。若两段录像视频文件中，第 一段录像视频的结束时间与第二段录像视频的开始时间相同，则合并录像视频 的时间范围，将第一段录像视频的开始时间作为合并后得到的录像视频开始时 间，将第二段录像视频的结束时间作为合并后得到的录像视频结束时间，以此 类推，计算合并所有录像文件的时间范围，得到合并后的录像时间范围。
39.将合并了录像时间范围的录像视频信息，根据视频的开始时间与结束时 间，计算出各个合并后录像段落的开始时间与结束时间在时间轴上的相对位 置，并在时间轴的通道上绘制录像区域范围，再根据标注图片的对应视频播放 时间，在时间轴的通道上绘制录像标注图片的标志。
40.s300.获取用户在时间轴上的操作位置的对应录像时间，并获取到选中时 间一定范围内的录像的数据，并进行视频智能检索分析；
41.在本实施例的s300中，用户在时间轴的通道中操作时，通过用户操作停 留位置判断出对应的时间轴上的操作时间，判断所述操作时间是否存在录像或 图片标注。若存在标注图片，则根据标注图片信息中的文件路径信息，下载并 显示标注图片；若存在录像，则根据所选时间轴通道中录像操作时间，获取以 所述操纵时间为中间时间值，获取一段时间范围内的视频数据，并进行视频智 能检索分析。若是视频为静止画面，则只需要取得一张关键画面；若视频为动 态变化画面，则需要取得多张关键画面。
42.s400.展示用户选中时间的一定范围时间段内的录像视频的检索图片；在 本实施例s400中，将检索分析得到的一张或多张关键画面，作为录像检索的 关键图片并进行动态显示。
43.s500.选择关键的检索图片，编辑并上传标注图片。在本实施例的s500中， 编辑并上传标注图片。从产生的录像检索图片中选择合适的图片，记录检索图 片时间对应的视频时间、生成检索图片的操作时间，并将所选检索图片与图片 信息一起上传到服务器。用户也在播放监控视频(包括实时视频和录像视频) 时，对于可以在必要时抓拍视频画面，并记录抓拍视频画面的视频播放时间、 抓拍视频画面的操作时间，并将抓拍画面与图片信息一起上传到服务器。
44.本实施例公开的一种基于时间轴的录像快速检索的方法，包括：查询并获 取所选设备在选定查询时间范围内的监控录像信息；对查询监控录像信息进行 处理与图像化展示；获取用户在时间轴上的操作位置的对应录像时间，并获取 到选中时间一定范围内的录像的数据，并进行视频智能检索分析；展示用户选 中时间的一定范围时间段内的录像视频的检索图片；选择关键的检索图片，编 辑并上传标注图片。本实施例适用于大时间跨度的
录像的定位与检索，便于多 人协同操作，有效的提高了关键录像数据的定位与检索速度。
45.实施例二
46.如图2所示，本发明实施例还提供了一种基于时间轴的录像快速检索的系 统，包括：
47.录像信息查询模块s201，用于查询指定设备在选定查询时间范围内的监控 录像信息，所述监控录像信息包括录像视频信息和标注图片信息，用于在时间 轴上通过图像化形式展示。
48.用户需要先选中需要查询录像的设备，设置录像的开始时间、结束时间、 录像查询类型后，再进行录像信息的查询。查询的信息及返回的录像信息，与 时间轴中的空闲通道关联绑定。所述选定查询时间范围支持跨天查询，但选定 查询时间间距不得大于时间轴的边界时间间距。查询的监控录像信息，不仅包 括监控录像视频信息，还包括监控录像视频的标注图片信息
49.时间轴模块s202，用于以图像化的显示展示查询所得到的录像查询结果。 时间轴模块包括时间轴通道和时间轴刻度标尺两部分，时间轴模块支持多通道 录像信息的展示与操作，所有时间轴通道共用一套时间轴刻度标尺，使得用户 能直观的识别时间轴通道上的操作时间。时间轴模块可以同时展示多个不同设 备在不同选定时间内的录像信息，用户可以选中一个时间轴中的一个通道进行 单独操作，也可以同时控制多个时间轴通道进行同步控制。
50.时间轴模块的边界时间间隔为36天，支持显示比例的缩放，缩放比例依 次为1，1.5，3，6，12，24，36，72，144，216，288，432，864，1296，2596， 5184，25920；时间轴刻度标尺的最小刻度间距代表的时间一次为25920，17280， 8640，4320，2160，1080，720，360，180，120，90，60，30，20，10，5，1 秒。当调整时间轴的缩放比例为最大缩放比例时，时间轴的单个刻度间隔表示 1秒，便于用户在时间轴上能够精确的操作。当鼠标悬浮在时间轴界面上方， 按下特定快捷键按钮ctrl按钮(录像时间轴上控制缩放功能的特定快捷键按 钮，可以通过自定义配置与修改，可以是ctrl按钮，也可以是shift按钮， 或者其他快捷键按钮)并滚动鼠标的滚轮时，可以控制时间轴模块的缩放比例。 当鼠标滚轮向前滚动时，录像时间轴可以进行比例放大；当鼠标滚轮向后滚动 时，录像时间轴可以进行比例缩小，当时间轴缩放时，时间轴中的刻度间距保 持不变，通道长度变为原始通道长度的缩放比例倍数。当录像时间轴处于放大 状态(即缩放比例大于1)时，用户可以通过按下鼠标左键并拖动时间轴的通道， 进而改变时间轴模块中的录像通道的录像片段。
51.用于操纵时间轴的录像通道时，当鼠标在时间轴通道上滑动时，时间轴通 道上实时显示鼠标所选位置对应的时间轴刻度时间，精确到秒。当鼠标移动至 标注图片标志时，则通过所选标注图片标志所对应的信息，通过http方式下 载标注图片，并通过图片标注模块进行图片的展示。
52.检索图片模块s203，用于在获取到用户在所述时间轴上的操作位置对应的 操作时间，判断所述操作时间的前后一段时间范围内是否有录像，若存在录像， 则展示所述操作时间的录像视频的检索图片。
53.当用户操作鼠标在时间轴通道上滑动，并且按下特定快捷键按钮时，例如
ꢀ“
s”按钮(录像时间轴上控制录像智能检索的特定快捷键按钮，可以通过自 定义配置与修改，可
以是“s”按钮，也可以是“p”按钮，或者其他快捷键 按钮)，时间轴模块实时判断鼠标所选位置对应时间轴通道在所选位置对应的 时间轴刻度时间左右各一定时间范围的时间范围内是否存在录像，若存在录像 则对所述时间范围内的录像视频进行智能检索分析，通过图片的差值计算方 法，将录像视频中解析出的每一帧画面进行比较分析，得到画面变化明显的一 帧或多帧的关键画面。检索图片模块s203检索示意图如图3所示。
54.所述时间范围可以由用户自定义设置，所选位置对应的时间轴刻度时间左 右30秒、60秒、90秒、120秒、240秒、360秒等(用户可自定义配置修改智 能检索录像的时间范围大小，为避免检索分析时间过长，检索录像的时间长度 不宜太长)。若是视频为静止画面，则只需要产生一张关键画面；若视频为动 态变化画面，则需要产生多张关键画面，为录像视频智能检索的结果进行显示 输出。
55.图片标注模块s204，用于用户从检索图片模块中选出合适的检索图片，编 辑后上传在服务器；也可以显示用于操作所选时间轴通道中的标注图片标记， 获取标记代表的标注图片信息，下载标注图标并进行显示。标注图标被上传至 服务器后，用户在此查询该段录像视频资源时，就可以同步查询到上传到服务 器的标注图片信息，可以快速的进行标注点的定位。其他用户查询相同时间段 内的录像时，也可以获取到自己或其他用户上传的标注图片的信息，实现用户 快速定位录像视频的关键位置。图片标注模s204查看标注图片的示意图如图4 所示。
56.本实施例公开的一种基于时间轴的录像快速检索的系统，，包括：录像信 息查询模块，用于查询指定设备在选定查询时间范围内的监控录像信息，所述 监控录像信息用于在时间轴上通过图像化形式展示；时间轴模块，用于以图像 化的显示展示查询所得到的录像查询结果，时间轴模块支持显示比例的缩放， 调整为最大缩放比例时，时间轴的单个刻度间隔表示1秒，便于用户在时间轴 上能够精确的操作；检索图片模块，用于在获取到用户在所述时间轴上的操作 位置对应的操作时间，判断所述操作时间的前后一段时间范围内是否有录像， 若存在录像，则获取选中通道操作在所述操作时间段范围的录像视频数据，通 过图像差异算法计算出变化明显的关键画面并作为检索图片，并进行检索图片 的展示；图片标注模块，用于用户从检索图片模块中选出合适的检索图片，编 辑后上传在服务器；也可以显示用于操作所选时间轴通道中的标注图片标记所 代表的标注图片。本实施例适用于大时间跨度的录像的定位与检索，便于多人 协同操作，有效的提高了关键录像数据的定位与检索速度。
57.应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。 基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公 开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给 出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
58.在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本 公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主 题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反， 如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全 部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其 中每项权利要求独自作为本发明单独的优选实施方案。
59.本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑 框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为 了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模 块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件 还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟 练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是， 这种实现决策不应解释为背离本公开的保护范围。
60.结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处 理器执行的软件模块或其组合。软件模块可以位于ram存储器、闪存、rom存 储器、eprom存储器、eeprom存储器、寄存器、硬盘、移动磁盘、cd-rom或者 本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理 器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。 当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic 中。该asic可以位于用户终端中。当然，处理器和存储介质也可以作为分立 组件存在于用户终端中。
61.对于软件实现，本技术中描述的技术可用执行本技术所述功能的模块(例 如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器 执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情 况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。
62.上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而 描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该 认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例 旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。 此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于 术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此 外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它 性的或者”。