用于视频数据处理的方法和系统的制作方法
【技术领域】
[0001]本公开内容的各种实施例涉及视频数据处理。更具体地，本公开内容的各种实施例涉及视频数据处理以确定人类对象的生命体征。
【背景技术】
[0002]在医学科学领域中的最新进步已使得有可能基于诸如光电容积脉搏波(Photoplethysmography, PPG)的低成本光学技术评估人类对象的健康状况。可以利用非接触式医疗装备通过对人类对象的生命体征(诸如心率、呼吸率和/或血压)的确定评估健康状况。这种非接触式医疗装备可以配置为使用非侵入性PPG来测量人类对象的生命体征。
[0003]但是，在某些情景中，在其中多个人类对象的除面部之外的其它暴露的对象区域在运动的情况下，通过PPG对多个人类对象的生命体征的确定可能不可靠。还有，在其中围绕多个人类对象的周围环境的照明小于某个阈值的情况下，通过PPG对多个人类对象的生命体征的确定可能不可靠。此外，在其中除了在运动中的多个人类对象之外还存在，诸如，由于风或空气气流而移动的植物的其它非静止物体的情况下，通过PPG对多个人类对象的生命体征的确定可能不可靠。在这种情景中，由于对多个人类对象的生命体征的确定是不可靠的，因此，对多个人类对象的健康状况的评估可能不准确。
[0004]通过将所描述的系统与如在本申请的其余部分和参照附图进行阐述的本公开内容的一些方面进行比较，常规和传统方法的其它局限性和缺点对本领域技术人员将变得显而易见。
【发明内容】
[0005]如在权利要求中更完整阐述的，用于处理视频数据的方法和系统基本上如在至少一个附图中所示出的和/或如结合至少一个附图所描述的。
[0006]本公开内容的这些和其它特征及优点可以根据本公开内容的以下具体描述的综述连同附图进行理解，其中附图中相同的标号贯穿全文指相同的部分。
【附图说明】
[0007]图1是根据本公开内容的实施例说明用于视频数据处理的网络环境的框图。
[0008]图2是根据本公开内容的实施例说明示例性视频数据处理设备的框图。
[0009]图3根据本公开内容的实施例说明用于实现所公开的视频数据处理设备和方法的第一示例性情景。
[0010]图4根据本公开内容的实施例说明在所公开的视频数据处理设备和方法中实现的图像光电容积脉搏波(IPPG)计算块中的各个块的布置。
[0011]图5和图6根据本公开内容的实施例说明用于实现所公开的视频数据处理设备和方法的第二示例性情景。
[0012]图7是根据本公开内容的实施例说明用于视频数据处理的示例性方法的流程图。
[0013]图8是根据本公开内容的实施例说明用于视频数据处理的另一种示例性方法的流程图。
【具体实施方式】
[0014]本公开内容的示例性方面可以包括用于视频数据处理的方法。该方法可以包括在电子设备中接收人类对象的视频数据。接收到的视频数据的帧序列中的每一帧可以与多个谱分量相关联。可以从对应于多个谱分量的多个峰中确定第一峰和第二峰。所确定的第一峰和所确定的第二峰的幅度可以超过第一阈值。所确定的第一峰和所确定的第二峰之间的峰间距可以被确定。所确定的峰间距可以在预定的范围之内。基于确定的峰间距，人类对象的心率可以被确定。
[0015]在实施例中，帧序列中的每一帧可以与多个通道相关联。多个通道中的每个通道可以与多个谱分量相关联。在实施例中，所确定的第一峰的幅度可以超过第二阈值。在实施例中，该方法可以包括基于所确定的第一峰确定人类对象的心率。
[0016]在实施例中，该方法可以包括:当与所确定的第二峰相关联的参数不在预定的范围之内时，丢弃所确定的第二峰。在实施例中，该方法可以包括基于之前确定的人类对象的心率选择所确定的第一峰和所确定的第二峰中的一个峰。与第一峰和第二峰相关联的参数可以在预定的范围之内。
[0017]在实施例中，峰间距可以基于与第二峰和第一峰相关联的参数之间的差来确定。在实施例中，在帧序列的每一帧中的视频数据可以包括多个通道。多个通道可以包括红色(R)通道、绿色(G)通道和蓝色(B)通道。
[0018]在实施例中，该方法可以包括基于在帧序列的每一帧中的视频数据的信号分离确定多个谱分量。在实施例中，该方法可以包括在帧序列的一帧中检测人类对象。
[0019]在实施例中，该方法可以包括分割帧序列中包含检测到的人类对象的一帧。在实施例中，该方法可以包括确定检测到的人类对象的对象区域。确定的对象区域可以包括人类对象的皮肤区域。在实施例中，对象区域可以利用识别标签与人类对象相关联。在实施例中，该方法可以包括基于一个或多个生理参数跟踪所确定的对象区域。多个谱分量可以对应于被跟踪的对象区域。在实施例中，一个或多个生理参数可以包括以下的一个或多个:皮肤纹理、皮肤模式和/或与检测到的人类对象相关联的一个或多个特征。
[0020]本公开内容的另一个示例性方面可以包括用于电子设备中的视频数据处理的方法。该方法可以包括接收人类对象的视频数据。接收到的视频数据的帧序列中的一帧或多帧可以包括一个或多个物体。该方法还可以包括确定与帧序列中的一个或多个物体相关联的多个轮廓点，使得与多个轮廓点中的每个轮廓点相关联的曲率超过曲率阈值。该方法还可以包括基于多个轮廓点中的第一组轮廓点的循环运动确定来自帧序列中的一个或多个物体的第一组物体。在所确定的第一组轮廓点的循环运动的频谱中的一个或多个峰值可以被确定。所确定的一个或多个峰值中的一个峰值的幅度可以高于预先指定的阈值。基于所确定的一个或多个峰值中的一个，人类对象的呼吸率可以被确定。
[0021]在实施例中，第一组轮廓点的循环运动可以与相对于参考轮廓点具有非零量值位移的周期性重现相关联。位移可以在预定义的一组相反的方向发生。在实施例中，第二组轮廓点的非循环运动可以与相对于参考轮廓点具有非零量值位移的周期性重现相关联。位移可以在随机的方向中发生。
[0022]在实施例中，第二组轮廓点的非循环运动可以与相对于参考轮廓点具有零量值的位移相关联。在实施例中，该方法可以包括确定分别与第一组物体和第二组物体相关联的第一组轮廓点和第二组轮廓点。
[0023]在实施例中，频谱可以基于第一组轮廓点的循环运动的谱运动分析来确定。在实施例中，该方法可以包括基于多个轮廓点中的第二组轮廓点的非循环运动确定来自帧序列中的一个或多个物体的第二组物体。
[0024]图1是根据本公开内容的实施例说明用于视频数据处理的网络环境100的框图。参考图1，网络环境100可以包括视频数据处理(VDP)设备102、视频捕获设备104、远程服务器106、通知服务器108、通信网络110和人类对象112。
[0025]VDP设备102可以经通信网络110通信地耦合到视频捕获设备104、远程服务器106和通知服务器108。视频捕获设备104可以接收与视频捕获设备104相关联的人类对象112有关的视频数据。
[0026]VDP设备102可以包括可操作为经通信网络110从视频捕获设备104接收视频数据的适当的逻辑、电路系统、接口和/或代码。在实施例中，VDP设备可以操作为经通信网络110从远程服务器106接收基于简档(profile)的数据。在实施例中，VDP设备可以操作为经通信网络110将一个或多个通知发送到通知服务器108。基于接收到的视频数据和基于简档的数据，VDP设备可以显示输出数据。输出数据可以基于接收到的与人类对象112有关的视频数据进行度量，其然后可以被显示在VDP设备102的显示屏上。
[0027]在实施例中，VDP设备102可以从诸如遥控装置(未示出)的远程手持设备接收一条或多条指令。VDP设备102可以经由有线连接或短距离通信与远程手持设备远程地通信。VDP设备102可以包括呈现输出数据的显示屏。呈现的输出数据可以基于与人类对象112有关的处理的视频数据。显示屏还可以操作为向操作员(未示出)，诸如临床操作员，显示VDP设备102的一个或多个特征和/或应用。显示屏还可以操作为经触摸敏感屏幕接收来自操作员的输入。显示屏可以通过若干种已知的技术实现，诸如，但不限于，液晶显示器(IXD)显示技术、发光二极管(LED)显示技术和/或有机LED(OLED)显示技术。VDP设备102的例子可以包括专用的医疗装备、膝上型计算机、平板计算机、电视机、机顶盒(STB)、视频显示器和/或个人数字助理(PDA)设备。尽管如此，本公开内容可以不限于此，在不限制本公开内容的范围的情况下，VDP设备102可以是任何电子设备。
[0028]视频捕获设备104可以包括可操作为接收视频数据流并将接收到的视频数据流发送到VDP设备102的适当的逻辑、电路系统、接口和/或代码。这种视频数据可以包括由VDP设备102处理的帧序列。在实施例中，VDP设备102可以包括在视频捕获设备104中。在另一种实施例中，VDP设备102可以经通信网络110与视频捕获设备104远程地通信。视频捕获设备104的例子可以包括，但不限于，数字照相机、监控照相机、互联网协议(IP)照相机、运动检测器照相机、运动传感器照相机、远程照相机、测距照相机、三维(3-D)激光照相机、数字扫描仪和/或可携式摄像机。
[0029]远程服务器106可以包括可操作为维护有关人类对象112的简档数据的适当的逻辑、电路系统、接口和/或代码。在实施例中，远程服务器106可以操作为将人类对象112的简档数据发送到VDP设备102。远程服务器106可以与一个或多个社交网络服务器和/或应用服务器相关联，以确定关于人类对象112的简档数据。这种关于人类对象112的简档数据可以包括人类对象112的个人详细信息和图像、人类对象112的职业详细信息、人类对象112的朋友列表中的一个或多个其他的人类对象、关于与人类对象112有关的社交聚会的信息、以及由与人类对象112社交地相关联的一个或多个其他用户发布的其它信息(例如图像、评论、等等)。
[0030]通知服务器108可以包括可操作为将多个通知消息发送到人类对象112的适当的逻辑、电路系统、接口和/或代码。可以响应于由VDP设备102处理的视频数据将通知消息发送到人类对象。在实施例中，当输出数据超过预定的阈值时，通知服务器108可以向人类对象112的好友列表发送多个通知。在这种实施例中，好友列表可以包括与人类对象112相关联的医疗医生。通知服务器108可以与一个或多个服务运营商相关联，诸如网络运营商、电信运营商、电视服务提供商、点播内容提供商、独立的内容提供商公司、电子邮件服务提供商和/或社交媒体服务提供商等等。
[0031 ] 通信网络110可以包括介质，通过该介质，电子设备102可以与视频捕获设备104、远程服务器106和通知服务器108通信。通信网络110的例子可以包括，但不限于，因特网、云网络、无线保真(W1-Fi)网络、无线局域网(WLAN)、局域网(LAN)、电话线(POTS)和/或城域网(MAN)。网络环境100中的各种设备可操作为根据各种有线和无线通信协议连接到通信网络110。这些有线和无线通信协议的例子可以包括，但不限于，传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、文件传输协议(FTP)、ZigBee、EDGE、红外线(IR)、IEEE 802.11,802.16、蜂窝通信协议和/或蓝牙(BT)通信协议。
[0032]人类对象112可以能够显示一种或多种生命体征，诸如心率、呼吸率和血压。基于这种生命体征的测量，与人类对象相关联的临床操作者可以评估人类对象112的健康状况。在实施例中，人类对象可以是静止的。在另一种实施例中，人类对象可以在运动中。人类对象112的生命体征可以由VDP设备102以非接触的方式来确定。尽管如此，本公开内容可以不限于此，并且在不限制本公开内容的范围的情况下，多于一个的人类对象可以与VDP设备102相关联。
[0033]在操作中，VDP设备102可以从视频捕获设备104接收人类对象112的实时视频数据。实时视频数据可以包括帧序列。在实施例中，关键帧可以从帧序列中获得。这种关键帧可以包括人类对象112。基于所获得的关键帧，VDP设备102可以基于从远程服务器106接收到的简档数据检测人类对