录制包装视频的方法、装置和系统与流程

文档序号:17489732发布日期:2019-04-23 20:20阅读:743来源:国知局
录制包装视频的方法、装置和系统与流程

本公开是关于智能视频监控技术领域,尤其是关于一种录制包装视频的方法、装置和系统。



背景技术:

随着电子商务的发展,互联网交易的成交量越来越高。而快递是互联网交易必不可少的部分,因此,商家或物流公司注重对快递的管理。

现有技术中,将智能视频监控技术使用在监控快递包裹的打包过程中,便于商家或物流公司的管理。具体的,可以在包裹打包台上方安装摄像设备,对包裹的打包过程进行监控,并将每天的工作时间内录制的视频存储下来,方便管理人员查看。

在实现本公开的过程中,发明人发现至少存在以下问题:

基于上述处理,当包裹出现异常状态时,如打包了错误的货物,需要对包裹的打包过程进行查看时,管理人员需要调出当天的视频,由于不知道该包裹的具体打包时间,需要拖动视频的进度条,对可能时间内的视频进行查看,并且需要判断视频内的包裹是不是这个出现异常状态的包裹,才能确定下出现异常状态的包裹的打包视频片段,从而,导致查看包装视频效率较低。



技术实现要素:

为了克服相关技术中存在的问题,本公开提供了一种录制包装视频的方法、装置和系统。所述技术方案如下:

根据本公开实施例的第一方面,提供一种录制包装视频的方法,所述方法包括:

当检测到所述视频中的第一视频帧组符合开始包装操作图像特征,且所述第一视频帧组的前一视频帧组不符合开始包装操作图像特征时,根据所述第一视频帧组的时间信息,确定包装开始时间点;

在所述第一视频帧组之后,当检测到所述视频中的第二视频帧组符合结束包装操作图像特征,且所述第二视频帧组的后一视频帧组不符合结束包装操作图像特征时,根据所述第二视频帧组的时间信息,确定包装结束时间点;

截取所述视频中所述包装开始时间点和所述包装结束时间点之间的视频段,作为包装过程视频段,并记录所述包装过程视频段对应的运单信息。

可选的,所述当检测到所述视频中的第一视频帧组符合开始包装操作图像特征,且所述第一视频帧组的前一视频帧组不符合开始包装操作图像特征时,根据所述第一视频帧组的时间信息,确定包装开始时间点,包括:

获取所述视频的第一视频帧组中的预设数目个图像帧,确定所述第一视频帧组的预设数目个图像帧中每个图像帧中包含的人体区域图像,获取所述视频的第三视频帧组中的预设数目个图像帧,确定所述第三视频帧组的预设数目个图像帧中每个图像帧中包含的人体区域图像,其中,所述第三视频帧组是所述第一视频帧组的前一视频帧组;

当检测到所述第一视频帧组的预设数目个图像帧中的人体区域图像符合开始包装操作图像特征,且所述第三视频帧组的预设数目个图像帧中的人体区域图像不符合开始包装操作图像特征时,根据所述第一视频帧组的时间信息,确定包装开始时间点;

和/或,

所述当检测到所述视频中的第二视频帧组符合结束包装操作图像特征,且所述第二视频帧组的后一视频帧组不符合结束包装操作图像特征时,根据所述第二视频帧组的时间信息,确定包装结束时间点,包括:

获取所述视频的第二视频帧组中的预设数目个图像帧,确定所述第二视频帧组的预设数目个图像帧中每个图像帧中包含的人体区域图像,获取所述视频的第四视频帧组中的预设数目个图像帧,确定所述第四视频帧组的预设数目个图像帧中每个图像帧中包含的人体区域图像,其中,所述第四视频帧组是所述第二视频帧组的后一视频帧组;

当检测到所述第二视频帧组的预设数目个图像帧中的人体区域图像符合结束包装操作图像特征,且所述第四视频帧组的预设数目个图像帧中的人体区域图像不符合开始包装操作图像特征时,根据所述第二视频帧组的时间信息,确定包装结束时间点。

可选的,所述获取所述视频的第一视频帧组中的预设数目个图像帧,包括:

基于预设的帧间隔,在所述视频的第一视频帧组中,获取预设数目个图像帧;

所述获取所述视频的第二视频帧组中的预设数目个图像帧,包括:

基于预设的帧间隔,在所述视频的第二视频帧组中,获取预设数目个图像帧。

可选的,所述记录所述包装过程视频段对应的运单信息,包括:

在所述包装过程视频段包含的图像帧中,检测运单区域图像;

在所述运单区域图像中,提取运单信息,将所述运单信息,记录为所述包装过程视频段对应的运单信息。

可选的,所述运单信息包括以下信息中的一种或多种:运单编号,运单生成时间,收货人信息,发货人信息,货物名称。

可选的,所述方法还包括:

当接收到携带有目标运单信息的视频查询指令时,根据记录的至少一个包装过程视频段对应的运单信息,确定所述目标运单信息对应的目标包装过程视频段。

可选的,所述截取所述视频中所述包装开始时间点和所述包装结束时间点之间的视频段,作为包装过程视频段之后,还包括:

将当前日期对应的包装次数加1。

根据本公开实施例的第二方面,提供一种录制包装视频的装置,所述装置包括:

第一确定模块,用于当检测到所述视频中的第一视频帧组符合开始包装操作图像特征,且所述第一视频帧组的前一视频帧组不符合开始包装操作图像特征时,根据所述第一视频帧组的时间信息,确定包装开始时间点;

第二确定模块,用于在所述第一视频帧组之后,当检测到所述视频中的第二视频帧组符合结束包装操作图像特征,且所述第二视频帧组的后一视频帧组不符合结束包装操作图像特征时,根据所述第二视频帧组的时间信息,确定包装结束时间点;

截取模块,用于截取所述视频中所述包装开始时间点和所述包装结束时间点之间的视频段,作为包装过程视频段,并记录所述包装过程视频段对应的运单信息。

可选的,所述第一确定模块用于:

获取所述视频的第一视频帧组中的预设数目个图像帧,确定所述第一视频帧组的预设数目个图像帧中每个图像帧中包含的人体区域图像,获取所述视频的第三视频帧组中的预设数目个图像帧,确定所述第三视频帧组的预设数目个图像帧中每个图像帧中包含的人体区域图像,其中,所述第三视频帧组是所述第一视频帧组的前一视频帧组;

当检测到所述第一视频帧组的预设数目个图像帧中的人体区域图像符合开始包装操作图像特征,且所述第三视频帧组的预设数目个图像帧中的人体区域图像不符合开始包装操作图像特征时,根据所述第一视频帧组的时间信息,确定包装开始时间点;

和/或,

所述第二确定模块用于:

获取所述视频的第二视频帧组中的预设数目个图像帧,确定所述第二视频帧组的预设数目个图像帧中每个图像帧中包含的人体区域图像,获取所述视频的第四视频帧组中的预设数目个图像帧,确定所述第四视频帧组的预设数目个图像帧中每个图像帧中包含的人体区域图像,其中,所述第四视频帧组是所述第二视频帧组的后一视频帧组;

当检测到所述第二视频帧组的预设数目个图像帧中的人体区域图像符合结束包装操作图像特征,且所述第四视频帧组的预设数目个图像帧中的人体区域图像不符合开始包装操作图像特征时,根据所述第二视频帧组的时间信息,确定包装结束时间点。

可选的,所述获取所述视频的第一视频帧组中的预设数目个图像帧,包括:

基于预设的帧间隔,在所述视频的第一视频帧组中,获取预设数目个图像帧;

所述获取所述视频的第二视频帧组中的预设数目个图像帧,包括:

基于预设的帧间隔,在所述视频的第二视频帧组中,获取预设数目个图像帧。

可选的,所述截取模块用于:

在所述包装过程视频段包含的图像帧中,检测运单区域图像;

在所述运单区域图像中,提取运单信息,将所述运单信息,记录为所述包装过程视频段对应的运单信息。

可选的,所述运单信息包括以下信息中的一种或多种:运单编号,运单生成时间,收货人信息,发货人信息,货物名称。

可选的,所述装置还包括:

查询模块,用于当接收到携带有目标运单信息的视频查询指令时,根据记录的至少一个包装过程视频段对应的运单信息,确定所述目标运单信息对应的目标包装过程视频段。

可选的,所述截取模块还用于:

将当前日期对应的包装次数加1。

根据本公开实施例的第三方面,提供一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如第一方面所述的录制包装视频的方法。

根据本公开实施例的第四方面,提供一种录制包装视频的系统,包括:摄像设备和计算机可读存储介质,其中,

所述摄像设备用于拍摄视频,并将所述视频发送给所述计算机可读存储介质,

所述计算机可读存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如第一方面所述的录制包装视频的方法。

本公开的实施例提供的技术方案可以包括以下有益效果:

本公开实施例中,当检测到所述视频中的第一视频帧组符合开始包装操作图像特征,且第一视频帧组的前一视频帧组不符合开始包装操作图像特征时,根据第一视频帧组的时间信息,确定包装开始时间点,在第一视频帧组之后,当检测到视频中的第二视频帧组符合结束包装操作图像特征,且第二视频帧组的后一视频帧组不符合结束包装操作图像特征时,根据第二视频帧组的时间信息,确定包装结束时间点,截取视频中包装开始时间点和包装结束时间点之间的视频段,作为包装过程视频段,并记录包装过程视频段对应的运单信息。这样,分别将各个包裹的包装过程视频段与其对应的运单信息进行存储,从而,可以提高查看包装视频的效率。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。在附图中:

图1是根据一示例性实施例示出的一种录制包装视频方法的流程图;

图2是根据一示例性实施例示出的一种截取视频段的示意图;

图3是根据一示例性实施例示出的一种视频段查询结果的示意图;

图4是根据一示例性实施例示出的一种包装次数查询结果的示意图;

图5是根据一示例性实施例示出的一种录制包装视频装置的示意图;

图6是根据一示例性实施例示出的一种录制包装视频装置的示意图;

图7是根据一示例性实施例示出的一种终端的结构示意图。

通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开一示例性实施例提供了一种录制包装视频的方法,该方法可以由终端实现,也可以由终端和服务器共同实现。其中,终端可以是台式计算机、移动设备或具有一定处理能力的摄像设备。本发明实施例以执行主体为摄像设备为例进行方案的详细说明,其它情况与之类似,本实施例不再赘述。

摄像设备可以包括处理器、存储器、收发器、图像检测部件等。处理器,可以为cpu(centralprocessingunit,中央处理单元)等,可以用于确定视频帧组的图像帧中包含的人体区域图像、检测人体区域图像符合的图像特征、确定开始时间点、确定结束时间点、统计包装次数、检测运单区域图像、提取运单信息,等处理。存储器,可以为ram(randomaccessmemory,随机存取存储器),flash(闪存)等,可以用于存储接收到的数据、处理过程所需的数据、处理过程中生成的数据等,如包装视频、包装过程视频段、人体区域图像、图像特征、开始时间点、结束时间点、包装次数、运单区域图像、运单信息等。收发器,可以用于与服务器进行数据传输,例如,向服务器发送包装过程视频段及其对应的运单信息,收发器可以包括天线、匹配电路、调制解调器等。图像检测部件可以是摄像头等。摄像设备可以安装在工作区域上方以对工作区域进行监控及视频录制,例如,可以安装在打包台上方,对打包台区域进行监控及视频录制。

服务器可以包括处理器、存储器、收发器等部件。处理器,可以为cpu等,可以用于查询包装过程视频段等处理。存储器,可以为ram,flash等,可以用于存储接收到的数据、处理过程所需的数据、处理过程中生成的数据等,如包装过程视频段及其对应的运单信息等。收发器,可以用于与摄像设备进行数据传输,例如,接收摄像设备发送的包装过程视频段及其对应的运单信息,收发器可以包括天线、匹配电路、调制解调器等。

如图1所示,该方法的处理流程可以包括如下的步骤:

在步骤101中,当检测到视频中的第一视频帧组符合开始包装操作图像特征,且第一视频帧组的前一视频帧组不符合开始包装操作图像特征时,根据第一视频帧组的时间信息,确定包装开始时间点。

在实施中,在每天的工作时间开始时,工作人员将摄像设备接通电源,然后开始一天的打包工作,摄像设备则开始对工作区域(如打包台)进行视频录制。视频帧组可以是一组连续的图像帧。在录制视频的过程中,可以按时间顺序将视频划分为预设时长的视频帧组,例如,视频帧组的预设时长为2秒,工作时间从早上09:00:00开始,摄像设备接通电源并开始录制视频,可以将09:00:00-09:00:02之间2秒内录制的视频作为一个视频帧组,可以将接下来的09:00:02-09:00:04之间2秒内录制的视频作为另一个视频帧组,以此类推。每录制一个视频帧组后,便对其进行图像特征检测,可以是将该视频帧组的部分或全部图像数据输入操作图像特征识别模型,得到该视频帧组中的图像符合的操作图像特征。

其中,操作图像特征识别模型可以预先训练得到,用于对视频帧组进行操作图像特征识别。操作图像特征可以包括以下四种:开始包装操作图像特征、包装过程操作图像特征、结束包装操作图像特征、非工作状态操作图像特征。开始包装操作图像特征可以是打包人员开始对货物进行打包的图像的特征,包装过程操作图像特征可以是打包人员对货物进行打包的过程中的图像的特征,结束包装操作图像特征可以是打包人员将要结束对货物进行打包的图像的特征,非工作状态操作图像特征可以是打包人员非工作的图像的特征。使用操作图像特征识别模型时,可以将待识别的操作图像输入该操作图像特征识别模型,输出得到该操作图像符合的操作图像特征。

每一视频帧组经过操作图像特征识别模型,得到其符合的操作图像特征后,可以判断其符合的操作图像特征是否为开始包装操作图像特征。如果检测到视频帧组符合开始包装操作图像特征,且该视频帧组的前一视频帧组符合结束包装操作图像特征或者非工作状态操作图像特征(即该视频帧组的前一视频帧组不符合开始包装操作图像特征),则可以将该视频帧组的起始时刻作为包装开始时间点。例如,如果09:35:02-09:35:04的视频帧组符合开始包装操作图像特征,且09:35:00-09:35:02的视频帧组符合非工作状态操作图像特征,则可以将09:35:02作为包装开始时间点。如果每天的工作时间开始时的第一个视频帧组符合开始包装操作图像特征,即第一个视频帧组之前没有视频帧组,则可以将第一个视频帧组的起始时刻作为包装开始时间点。

上述在根据第一视频帧组的时间信息确定包装开始时间点时,将第一视频帧组的开始时间点作为包装开始时间点,当然也可以采用其他方式确定包装开始时间点,例如,可以将第一视频帧组的开始时间点之前预设时长的时间点,作为包装开始时间点,也可以将第一视频帧组的前一个视频帧组的开始时间点,作为包装开始时间点。

可选的,可以获取视频帧组中的预设数目个图像帧中的人体区域图像进行图像特征检测,则相应的确定包装开始时间点的处理可以如下:获取视频的第一视频帧组中的预设数目个图像帧,确定第一视频帧组的预设数目个图像帧中每个图像帧中包含的人体区域图像,获取视频的第三视频帧组中的预设数目个图像帧,确定第三视频帧组的预设数目个图像帧中每个图像帧中包含的人体区域图像,其中,第三视频帧组是第一视频帧组的前一视频帧组;当检测到第一视频帧组的预设数目个图像帧中的人体区域图像符合开始包装操作图像特征,且第三视频帧组的预设数目个图像帧中的人体区域图像不符合开始包装操作图像特征时,根据第一视频帧组的时间信息,确定包装开始时间点。

在实施中,可以获取视频帧组中的预设数目个图像帧,可选的,可以基于预设的帧间隔,在视频的第一视频帧组中,获取预设数目个图像帧。例如,可以每隔4个图像帧取1个图像帧,若1秒的视频中有25个图像帧,那么2秒的视频帧组中可以获取10个图像帧,即预设数目个图像帧可以是10个图像帧。进而,可以对获取的预设数目个图像帧进行分析,检测图像帧中的人体区域图像,具体的,可以是将图像帧分别输入人体区域图像识别模型,得到每个图像帧中的人体区域图像。

其中,人体区域图像识别模型可以预先训练得到,用于识别操作图像中的人体区域图像,可以将视频中的图像帧输入该人体区域图像识别模型,输出得到从该操作图像中截取出的人体区域图像。

可以把所有预设数目个图像帧中的人体区域图像作为该视频帧组对应的人体区域图像集合。进而,可以将视频帧组对应的人体区域图像集合输入操作图像特征识别模型,得到该视频帧组中的图像符合的操作图像特征。

基于上述处理,每录制一个视频帧组后,便对其进行图像特征检测,可以是将该视频帧组的预设数目个图像帧输入操作图像特征识别模型,得到该视频帧组中的图像符合的操作图像特征,进而,可以判断其符合的操作图像特征是否为开始包装操作图像特征。如果检测到视频帧组(即第一视频帧组)符合开始包装操作图像特征,且该视频帧组的前一视频帧组(即第三视频帧组)符合结束包装操作图像特征或者非工作状态操作图像特征(即该视频帧组的前一视频帧组不符合开始包装操作图像特征),则可以将该视频帧组的起始时刻作为包装开始时间点。

在步骤102中,在第一视频帧组之后,当检测到视频中的第二视频帧组符合结束包装操作图像特征,且第二视频帧组的后一视频帧组不符合结束包装操作图像特征时,根据第二视频帧组的时间信息,确定包装结束时间点。

在实施中,摄像设备每录制一个视频帧组,可以继续对视频帧组进行图像特征检测,可以是将该视频帧组的部分或全部图像数据输入操作图像特征识别模型,得到该视频帧组中的图像符合的操作图像特征。在确定包装开始时间点之后,可以不再判断视频帧组符合的操作图像特征是否为开始包装操作图像特征,此时可以判断其符合的操作图像特征是否为结束包装操作图像特征。如果检测到视频帧组符合结束包装操作图像特征,且该视频帧组的后一视频帧组符合开始包装操作图像特征或者非工作状态操作图像特征(即该视频帧组的后一视频帧组不符合结束包装操作图像特征),则可以将该视频帧组的终止时刻作为包装结束时间点。例如,如果09:45:00-09:45:02的视频帧组符合结束包装操作图像特征,且09:45:02-09:45:04的视频帧组符合开始包装操作图像特征,则可以将09:45:02作为包装结束时间点。如果每天的工作时间结束时的最后一个视频帧组符合结束包装操作图像特征,即最后一个视频帧组之后没有视频帧组,则可以将最后一个视频帧组的终止时刻作为包装结束时间点。

可选的,可以获取视频帧组中的预设数目个图像帧中的人体区域图像进行检测,则相应的确定包装结束时间点的处理可以如下:获取视频的第二视频帧组中的预设数目个图像帧,确定第二视频帧组的预设数目个图像帧中每个图像帧中包含的人体区域图像,获取视频的第四视频帧组中的预设数目个图像帧,确定第四视频帧组的预设数目个图像帧中每个图像帧中包含的人体区域图像,其中,第四视频帧组是第二视频帧组的后一视频帧组;当检测到第二视频帧组的预设数目个图像帧中的人体区域图像符合结束包装操作图像特征,且第四视频帧组的预设数目个图像帧中的人体区域图像不符合开始包装操作图像特征时,根据第二视频帧组的时间信息,确定包装结束时间点。

在实施中,可以获取视频帧组中的预设数目个图像帧,可选的,可以基于预设的帧间隔,在视频的第一视频帧组中,获取预设数目个图像帧。例如,可以每隔4个图像帧取1个图像帧,若1秒的视频中有25个图像帧,那么2秒的视频帧组中可以获取10个图像帧,即预设数目个图像帧可以是10个图像帧。进而,可以对获取的预设数目个图像帧进行分析,检测图像帧中的人体区域图像,具体的,可以是将图像帧分别输入人体区域图像识别模型,得到每个图像帧中的人体区域图像。可以把所有预设数目个图像帧中的人体区域图像作为该视频帧组对应的人体区域图像集合。进而,可以将视频帧组对应的人体区域图像集合输入操作图像特征识别模型,得到该视频帧组中的图像符合的操作图像特征。

基于上述处理,得到视频帧组符合的操作图像特征后,可以判断视频帧组及其后一视频帧组符合的操作图像特征是否为结束包装操作图像特征,如果检测到视频帧组(即第二视频帧组)符合结束包装操作图像特征,且该视频帧组的后一视频帧组(即第四视频帧组)可以符合开始包装操作图像特征或者非工作状态操作图像特征(即该视频帧组的后一视频帧组不符合结束包装操作图像特征),则可以将该视频帧组的终止时刻作为包装结束时间点。在步骤103中,截取视频中包装开始时间点和包装结束时间点之间的视频段,作为包装过程视频段,并记录包装过程视频段对应的运单信息。

其中,运单信息可以包括以下信息中的一种或多种:运单编号,运单生成时间,收货人信息,发货人信息,货物名称。

在实施中,确定下包装开始时间点之后,如果确定下包装结束时间点,则将该包装开始时间点与该包装结束时间点之间的视频段截取下来,作为一个包装过程视频段。截取视频段的示意图如图2所示。可选地,可以对该包装过程视频段对应的运单信息进行人工录入,或者,可以基于图像检测对视频段中的运单进行识别得到对应的运单信息。进而,可以将运单信息与该包装过程视频段相对应,添加到预先建立的运单信息与包装过程视频段的对应关系表中进行存储。

在获取到通过人工录入或图像检测得到的运单信息后,摄像设备还可以将未截取的视频与在该视频中确定下的包装开始时间点、包装结束时间点以及视频段对应的运单信息,发送给服务器,进而,服务器可以将包装开始时间点和包装结束时间点之间的视频段截取下来,作为一个包装过程视频段,并将该包装过程视频段与其对应的运单信息记录在运单信息与包装过程视频段的对应关系表中,一并进行存储。

在截取出一个包装过程视频段之后,可以不再判断视频帧组符合的操作图像特征是否为结束包装操作图像特征,此时可以判断其符合的操作图像特征是否为开始包装操作图像特征。如果检测到视频帧组符合开始包装操作图像特征,将该视频帧组的起始时刻作为包装开始时间点,则可以继续执行上述步骤102-103的处理过程,此处不再赘述。摄像设备可以循环执行步骤101-103的处理过程,直至一天的工作结束,摄像设备的电源被工作人员关闭,则不再执行步骤101-103的处理过程。

可选的,可以通过图像识别的方式获取运单信息,相应的处理可以如下:在包装过程视频段包含的图像帧中,检测运单区域图像;在运单区域图像中,提取运单信息,将运单信息,记录为包装过程视频段对应的运单信息。

其中,运单区域图像是图像帧中包含的运单的图像。

在实施中,对于每个包装过程视频段,可以在包装过程视频段中按照时间顺序获取图像帧,可以连续获取或间隔获取。每当获取到一个图像帧,则可以将该图像帧输入运单区域图像识别模型,得到该图像帧中的运单区域图像。其中,运单区域图像识别模型可以预先训练得到,用于识别图像帧中的运单区域图像,可以将图像帧输入该运单区域图像识别模型,输出得到从该图像帧中截取出的运单区域图像。

接着,可以基于ocr(opticalcharacterrecognition,光学字符识别)技术,将该图像帧中的运单区域图像转换为文本信息,并且,与该包装过程视频段中上一个运单区域图像转换出的文本信息进行比较,记录比较结果。其中,如果两个文本信息的相似度大于预设阈值,则比较结果可以标记为“匹配”。如果连续预设数目个比较结果为“匹配”,则停止对该包装过程视频段进行获取图像帧以检测运单区域图像的操作。进而,可以将最后得到的文本信息输入运单信息识别模型,输出得到该文本信息中包含的运单信息,如运单编号等,作为该包装过程视频段对应的运单信息。其中,运单信息识别模型可以预先训练得到,用于识别文本信息中包含的运单信息,可以将待识别的文本信息输入运单信息识别模型,输出得到该文本信息中包含的运单信息。

值得说明的是,为了避免检测不到完整的运单图像或检测到多个运单图像,打包员需要将货物对应的运单放置在打包台上,在打包该货物的过程中,其他运单不能放置在打包台上,且打包台上的运单不能被遮挡物遮挡。

可选的,可以基于运单信息对包装过程视频段进行查询,相应的处理可以如下:当接收到携带有目标运单信息的视频查询指令时,根据记录的至少一个包装过程视频段对应的运单信息,确定目标运单信息对应的目标包装过程视频段。

在实施中,上述查询处理可以由摄像设备执行也可以由于摄像设备连接的其它设备执行,本实施例中以其它设备执行的方式为例进行说明。摄像设备可以与其他终端(如台式电脑等)连接,可以是物理连接,也可以是基于无线局域网进行连接,摄像设备可以将截取下来的包装过程视频段及运单信息与包装过程视频段的对应关系表,发送给终端进行存储。该终端中可以安装有应用程序,该应用程序提供视频查询窗口,用以查询包装过程视频段。当用户需要对包装过程视频段进行查询时,例如某包裹中打包了错误的货物,可以在应用程序提供的视频查询窗口输入该包裹对应的至少一个运单信息,并点击确认按钮进行查询。进而,终端可以接收到携带有用户输入的至少一个运单信息的视频查询指令,将查询的至少一个运单信息与存储的运单信息与包装过程视频段的对应关系表中的运单信息进行匹配,查找出匹配的运单信息,并将该匹配的运单信息对应的包装过程视频段显示在屏幕上,以提供给用户点击查看。例如,用户可以输入完整的运单编号进行查询,则查询结果的可以是该运单编号对应的包装过程视频段,进而,用户可以点击该包装过程视频段进行查看;或者,如果包裹上的运单编号磨损,导致不能得到完整的运单编号,则用户可以输入部分运单编号或结合其他运单信息(如收货人信息)进行查询。视频查询结果如图3所示。

可选的,可以统计每个打包台每天的包装次数,相应的处理可以如下:截取视频中包装开始时间点和包装结束时间点之间的视频段,作为包装过程视频段之后,将当前日期对应的包装次数加1。

在实施中,工作间内可以分为多个工作区域,每个工作区域设置有一个打包台,每个工作区域可以有一个对应的摄像设备对该工作区域进行监控及视频录制。每个摄像设备录制的视频中都会包含有该摄像设备的标识与对应的日期,即上面介绍的内容中,存储的包装过程视频段还可以包含有摄像设备的标识及其对应的日期。则可以建立一个包装次数表,其中记录有摄像设备的标识、包装次数、以及包装次数对应的日期。进而,在每个包装过程视频段截取下来后,可以将包装次数表中对应位置的包装次数加1。其中,每天工作时间开始前,摄像设备的当前日期对应的包装次数为0。

摄像设备可以与其他终端(如台式电脑等)连接,可以是物理连接,也可以是基于无线局域网进行连接,摄像设备可以将记录下来的包装次数表发送给终端进行存储。该终端中可以安装有应用程序,该应用程序提供包装次数查询窗口,用以查询包装次数。用户可能需要对包装次数进行查询,例如,在一天的工作结束后,对每个摄像设备的包装次数进行查询,以统计当天的工作量。则用户可以在终端提供的包装次数查询窗口输入摄像设备的标识或日期,并点击确认按钮进行查询。当摄像设备接收到携带有摄像设备的标识的查询指令时,可以将包装次数表格中,与查询的摄像设备的标识对应的每天的包装次数,显示在屏幕上,以提供用户查看;当摄像设备接收到携带有日期的查询指令时,可以将包装次数表格中,与查询的日期对应的每个摄像设备的包装次数,显示在屏幕上,以提供用户查看。例如,用户可以输入某摄像设备的标识进行查询,则查询结果中将按照时间由近至远的顺序显示该摄像设备每天对应的包装次数;或者,用户可以输入某日期进行查询,则查询结果中将显示每个摄像设备在该日期的包装次数。包装次数查询结果如图4所示。

本公开实施例中,摄像设备在录制视频的过程中,当检测到所述视频中的第一视频帧组符合开始包装操作图像特征,且第一视频帧组的前一视频帧组不符合开始包装操作图像特征时,根据第一视频帧组的时间信息,确定包装开始时间点,在第一视频帧组之后,当检测到视频中的第二视频帧组符合结束包装操作图像特征,且第二视频帧组的后一视频帧组不符合结束包装操作图像特征时,根据第二视频帧组的时间信息,确定包装结束时间点,截取视频中包装开始时间点和包装结束时间点之间的视频段,作为包装过程视频段,并记录包装过程视频段对应的运单信息。这样,分别将各个包裹的包装过程视频段与其对应的运单信息进行存储,从而,可以提高查看包装视频的效率。

本公开又一示例性实施例提供了一种录制包装视频的装置,如图5所示,该装置包括:

第一确定模块510,用于当检测到所述视频中的第一视频帧组符合开始包装操作图像特征,且所述第一视频帧组的前一视频帧组不符合开始包装操作图像特征时,根据所述第一视频帧组的时间信息,确定包装开始时间点;

第二确定模块520,用于在所述第一视频帧组之后,当检测到所述视频中的第二视频帧组符合结束包装操作图像特征,且所述第二视频帧组的后一视频帧组不符合结束包装操作图像特征时,根据所述第二视频帧组的时间信息,确定包装结束时间点;

截取模块530,用于截取所述视频中所述包装开始时间点和所述包装结束时间点之间的视频段,作为包装过程视频段,并记录所述包装过程视频段对应的运单信息。

可选的,所述第一确定模块510用于:

获取所述视频的第一视频帧组中的预设数目个图像帧,确定所述第一视频帧组的预设数目个图像帧中每个图像帧中包含的人体区域图像,获取所述视频的第三视频帧组中的预设数目个图像帧,确定所述第三视频帧组的预设数目个图像帧中每个图像帧中包含的人体区域图像,其中,所述第三视频帧组是所述第一视频帧组的前一视频帧组;

当检测到所述第一视频帧组的预设数目个图像帧中的人体区域图像符合开始包装操作图像特征,且所述第三视频帧组的预设数目个图像帧中的人体区域图像不符合开始包装操作图像特征时,根据所述第一视频帧组的时间信息,确定包装开始时间点;

和/或,

所述第二确定模块520用于:

获取所述视频的第二视频帧组中的预设数目个图像帧,确定所述第二视频帧组的预设数目个图像帧中每个图像帧中包含的人体区域图像,获取所述视频的第四视频帧组中的预设数目个图像帧,确定所述第四视频帧组的预设数目个图像帧中每个图像帧中包含的人体区域图像,其中,所述第四视频帧组是所述第二视频帧组的后一视频帧组;

当检测到所述第二视频帧组的预设数目个图像帧中的人体区域图像符合结束包装操作图像特征,且所述第四视频帧组的预设数目个图像帧中的人体区域图像不符合开始包装操作图像特征时,根据所述第二视频帧组的时间信息,确定包装结束时间点。

可选的,所述获取所述视频的第一视频帧组中的预设数目个图像帧,包括:

基于预设的帧间隔,在所述视频的第一视频帧组中,获取预设数目个图像帧;

所述获取所述视频的第二视频帧组中的预设数目个图像帧,包括:

基于预设的帧间隔,在所述视频的第二视频帧组中,获取预设数目个图像帧。

可选的,所述截取模块530用于:

在所述包装过程视频段包含的图像帧中,检测运单区域图像;

在所述运单区域图像中,提取运单信息,将所述运单信息,记录为所述包装过程视频段对应的运单信息。

可选的,所述运单信息包括以下信息中的一种或多种:运单编号,运单生成时间,收货人信息,发货人信息,货物名称。

可选的,如图6所示,所述装置还包括:

查询模块540,用于当接收到携带有目标运单信息的视频查询指令时,根据记录的至少一个包装过程视频段对应的运单信息,确定所述目标运单信息对应的目标包装过程视频段。

可选的,所述截取模块530还用于:

将当前日期对应的包装次数加1。

关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

本公开实施例中,当检测到所述视频中的第一视频帧组符合开始包装操作图像特征,且第一视频帧组的前一视频帧组不符合开始包装操作图像特征时,根据第一视频帧组的时间信息,确定包装开始时间点,在第一视频帧组之后,当检测到视频中的第二视频帧组符合结束包装操作图像特征,且第二视频帧组的后一视频帧组不符合结束包装操作图像特征时,根据第二视频帧组的时间信息,确定包装结束时间点,截取视频中包装开始时间点和包装结束时间点之间的视频段,作为包装过程视频段,并记录包装过程视频段对应的运单信息。这样,分别将各个包裹的包装过程视频段与其对应的运单信息进行存储,从而,可以提高查看包装视频的效率。

需要说明的是:上述实施例提供的录制包装视频的装置在录制包装视频时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的录制包装视频的装置与录制包装视频的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

本公开再一示例性实施例示出了一种终端的结构示意图。该终端可以是台式计算机、移动设备或具有一定处理能力的摄像设备等。

参照图7,终端700可以包括以下一个或多个组件:处理组件702,存储器704,电源组件706,多媒体组件708,音频组件710,输入/输出(i/o)的接口712,传感器组件714,以及通信组件716。

处理组件702通常控制终端700的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理元件702可以包括一个或多个处理器720来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件702可以包括一个或多个模块,便于处理组件702和其他组件之间的交互。例如,处理部件702可以包括多媒体模块,以方便多媒体组件708和处理组件702之间的交互。

存储器704被配置为存储各种类型的数据以支持在终端700的操作。这些数据的示例包括用于在终端700上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。

电力组件706为终端700的各种组件提供电力。电力组件706可以包括电源管理系统,一个或多个电源,及其他与为音频输出设备700生成、管理和分配电力相关联的组件。

多媒体组件708包括在所述终端700和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件708包括一个前置摄像头和/或后置摄像头。当终端700处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件710被配置为输出和/或输入音频信号。例如,音频组件710包括一个麦克风(mic),当音频输出设备700处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。

i/o接口712为处理组件702和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件714包括一个或多个传感器,用于为终端700提供各个方面的状态评估。例如,传感器组件714可以检测到终端700的打开/关闭状态,组件的相对定位,例如所述组件为终端700的显示器和小键盘,传感器组件714还可以检测终端700或终端700一个组件的位置改变,用户与终端700接触的存在或不存在,终端700方位或加速/减速和终端700的温度变化。传感器组件714可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器,如cmos或ccd图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件714还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。

通信组件716被配置为便于终端700和其他设备之间有线或无线方式的通信。终端700可以接入基于通信标准的无线网络,如wifi,2g或3g,或它们的组合。在一个示例性实施例中,通信部件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信部件716还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。

在示例性实施例中,终端700可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。

在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器704,上述指令可由终端700的处理器720执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

本公开的再一实施例提供了一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端的处理器执行时,使得终端能够执行:

当检测到所述视频中的第一视频帧组符合开始包装操作图像特征,且所述第一视频帧组的前一视频帧组不符合开始包装操作图像特征时,根据所述第一视频帧组的时间信息,确定包装开始时间点;

在所述第一视频帧组之后,当检测到所述视频中的第二视频帧组符合结束包装操作图像特征,且所述第二视频帧组的后一视频帧组不符合结束包装操作图像特征时,根据所述第二视频帧组的时间信息,确定包装结束时间点;

截取所述视频中所述包装开始时间点和所述包装结束时间点之间的视频段,作为包装过程视频段,并记录所述包装过程视频段对应的运单信息。

可选的,所述当检测到所述视频中的第一视频帧组符合开始包装操作图像特征,且所述第一视频帧组的前一视频帧组不符合开始包装操作图像特征时,根据所述第一视频帧组的时间信息,确定包装开始时间点,包括:

获取所述视频的第一视频帧组中的预设数目个图像帧,确定所述第一视频帧组的预设数目个图像帧中每个图像帧中包含的人体区域图像,获取所述视频的第三视频帧组中的预设数目个图像帧,确定所述第三视频帧组的预设数目个图像帧中每个图像帧中包含的人体区域图像,其中,所述第三视频帧组是所述第一视频帧组的前一视频帧组;

当检测到所述第一视频帧组的预设数目个图像帧中的人体区域图像符合开始包装操作图像特征,且所述第三视频帧组的预设数目个图像帧中的人体区域图像不符合开始包装操作图像特征时,根据所述第一视频帧组的时间信息,确定包装开始时间点;

和/或,

所述当检测到所述视频中的第二视频帧组符合结束包装操作图像特征,且所述第二视频帧组的后一视频帧组不符合结束包装操作图像特征时,根据所述第二视频帧组的时间信息,确定包装结束时间点,包括:

获取所述视频的第二视频帧组中的预设数目个图像帧,确定所述第二视频帧组的预设数目个图像帧中每个图像帧中包含的人体区域图像,获取所述视频的第四视频帧组中的预设数目个图像帧,确定所述第四视频帧组的预设数目个图像帧中每个图像帧中包含的人体区域图像,其中,所述第四视频帧组是所述第二视频帧组的后一视频帧组;

当检测到所述第二视频帧组的预设数目个图像帧中的人体区域图像符合结束包装操作图像特征,且所述第四视频帧组的预设数目个图像帧中的人体区域图像不符合开始包装操作图像特征时,根据所述第二视频帧组的时间信息,确定包装结束时间点。

可选的,所述获取所述视频的第一视频帧组中的预设数目个图像帧,包括:

基于预设的帧间隔,在所述视频的第一视频帧组中,获取预设数目个图像帧;

所述获取所述视频的第二视频帧组中的预设数目个图像帧,包括:

基于预设的帧间隔,在所述视频的第二视频帧组中,获取预设数目个图像帧。

可选的,所述记录所述包装过程视频段对应的运单信息,包括:

在所述包装过程视频段包含的图像帧中,检测运单区域图像;

在所述运单区域图像中,提取运单信息,将所述运单信息,记录为所述包装过程视频段对应的运单信息。

可选的,所述运单信息包括以下信息中的一种或多种:运单编号,运单生成时间,收货人信息,发货人信息,货物名称。

可选的,所述方法还包括:

当接收到携带有目标运单信息的视频查询指令时,根据记录的至少一个包装过程视频段对应的运单信息,确定所述目标运单信息对应的目标包装过程视频段。

可选的,所述截取所述视频中所述包装开始时间点和所述包装结束时间点之间的视频段,作为包装过程视频段之后,还包括:

将当前日期对应的包装次数加1。

本公开实施例还提供一种录制包装视频的系统,包括:摄像设备和计算机可读存储介质,其中,

所述摄像设备用于拍摄视频,并将所述视频发送给所述计算机可读存储介质,

所述计算机可读存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现上述录制包装视频的方法。

可选地,上述计算机可读存储介质可以是摄像设备中的存储卡,或者也可以是上述终端,例如,视频录像机、网络视频存储服务器等与摄像设备分开的其它设备,在此不做限定。

本公开实施例中,当检测到所述视频中的第一视频帧组符合开始包装操作图像特征,且第一视频帧组的前一视频帧组不符合开始包装操作图像特征时,根据第一视频帧组的时间信息,确定包装开始时间点,在第一视频帧组之后,当检测到视频中的第二视频帧组符合结束包装操作图像特征,且第二视频帧组的后一视频帧组不符合结束包装操作图像特征时,根据第二视频帧组的时间信息,确定包装结束时间点,截取视频中包装开始时间点和包装结束时间点之间的视频段,作为包装过程视频段,并记录包装过程视频段对应的运单信息。这样,分别将各个包裹的包装过程视频段与其对应的运单信息进行存储,从而,可以提高查看包装视频的效率。

本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。

应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1