咳嗽检测方法、装置、存储介质及电子装置与流程

本发明实施例涉及通信领域，具体而言，涉及一种咳嗽检测方法、装置、存储介质及电子装置。

背景技术：

咳嗽是很多呼吸道传染性疾病的重要症状，如流感、sars、新型冠状病毒肺炎等。同时咳嗽产生的飞沫也是这些疾病传播的重要甚至是主要途径之一，快速、准确的在公共场所检测出具有咳嗽症状的人员，对在疫情爆发时控制疫情蔓延传播具有重要意义。

在相关技术中，通常是通过采集声音来判断是否咳嗽，首先对采集得到的音频数据进行预处理，获得若干帧音频序列，然后对音频序列采用深度学习方法，进行咳嗽识别，同时对这些音频序列进行声纹识别，来确定音频数据的发声者。然而，采用声音进行咳嗽识别抗噪声干扰差，难以在人多声杂的场景实用，例如，在诸如车站、地铁站等大型场所难以实现。此外，在某些实际场景如车站监控使用过程中，该方法无法直观准确的定位到咳嗽的发出者，不利于工作人员进行实时处置。并且，在很多场景中通过需要额外部署声音采集设备来确认是否出现了咳嗽，而通过声音采集设备来检测是否出现了咳嗽的方法会导致检测成本高以及检测周期长的问题。

针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。

技术实现要素：

本发明实施例提供了一种咳嗽检测方法、装置、存储介质及电子装置，以至少解决相关技术中存在的咳嗽检测不准确的问题。

根据本发明的一个实施例，提供了一种咳嗽检测方法，包括：提取目标对象的目标图像；使用第一模型对所述目标图像进行分析，确定在所述目标图像中所述目标对象是否咳嗽，其中，所述第一模型为使用多组第一数据通过机器学习训练出的，所述多组第一数据中的每组第一数据均包括：图像和用于标识在图像中对象是否咳嗽的标识信息。

根据本发明的另一个实施例，提供了一种咳嗽检测装置，包括：提取模块，用于提取目标对象的目标图像；分析模块，用于使用第一模型对所述目标图像进行分析，确定在所述目标图像中所述目标对象是否咳嗽，其中，所述第一模型为使用多组第一数据通过机器学习训练出的，所述多组第一数据中的每组第一数据均包括：图像和用于标识在图像中对象是否咳嗽的标识信息。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，使用通过多组数据经过机器学习训练出的第一模型对目标图像进行分析，确定出目标图像中包括的目标对象是否咳嗽。由于第一模型是通过机器学习训练出的，并基于图像识别目标对象是否咳嗽，因此，可以解决相关技术中存在的咳嗽检测不准确的问题，提高咳嗽检测的准确率。

附图说明

图1是本发明实施例的一种咳嗽检测方法的移动终端的硬件结构框图；

图2是根据本发明实施例的咳嗽检测方法的流程图；

图3是根据本发明具体实施例的咳嗽检测方法流程图；

图4是根据本发明实施例的咳嗽检测装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种咳嗽检测方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的咳嗽检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(networkinterfacecontroller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radiofrequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种咳嗽检测方法，图2是根据本发明实施例的咳嗽检测方法的流程图，如图2所示，该流程包括如下步骤：

步骤s202，提取目标对象的目标图像；

步骤s204，使用第一模型对所述目标图像进行分析，确定在所述目标图像中所述目标对象是否咳嗽，其中，所述第一模型为使用多组第一数据通过机器学习训练出的，所述多组第一数据中的每组第一数据均包括：图像和用于标识在图像中对象是否咳嗽的标识信息。

在上述实施例中，可以将拍摄设备拍摄图像或输入的图像经过缩放等处理得到目标图像，还可以将拍摄设备拍摄的视频或输入的视频经过抽帧、缩放处理等得到目标图像。其中，缩放处理是为使图像满足第一模型对输入的图像的要求，当原始图像的尺寸、像素等满足第一模型对图像的要求时，缩放处理可以省略。标识信息可以为是、否，还可以为0,1等，本发明对标识信息不做限制。上述的目标对象可以是人，还可以是其他的会出现咳嗽的生物，例如，狗、牛等。

在上述实施例中，可以首先获取原始图像或视频，若输入的为图像，则可以将图像进行缩放处理以满足第一模型的需求。若输入的为视频流，则可以对视频流根据需要进行抽帧处理，然后将图像缩放到第一模型所需的输入尺寸、像素等。其中，第一模型可以为包括咳嗽检测模块的模型。

示例性的，上述步骤的执行主体可以是后台处理器，或者其他的具备类似处理能力的设备，还可以是至少集成有图像获取设备以及数据处理设备的机器，其中，图像获取设备可以包括摄像头等图形采集模块，数据处理设备可以包括计算机、手机等终端，但不限于此。

通过本发明，使用通过多组数据经过机器学习训练出的第一模型对目标图像进行分析，确定出目标图像中包括的目标对象是否咳嗽。由于第一模型是通过机器学习训练出的，并基于图像识别目标对象是否咳嗽，因此，可以解决相关技术中存在的咳嗽检测不准确的问题，提高咳嗽检测的准确率。

在一个示例性实施例中，提取目标对象的目标图像包括：获取包括有所述目标图像的第一图像，其中，所述第一图像中包括有一个或多个对象的图像；使用第二模型对所述第一图像进行分析，确定所述第一图像中包括的各对象的图像框的坐标，其中，所述第二模型为使用多组第二数据通过机器学习训练出的，所述多组第二数据中的每组第二数据均包括：图像和图像中包括的各对象的图像块的坐标；基于所述第一图像中包括的所述目标对象的图像框的坐标从所述第一图像中提取所述目标图像。在本实施例中，当目标对象为人时，第二模型可以为基于机器学习所训练得到的人体检测模块，人体检测模块采用深度卷积神经网络实现，将经过预处理的图像输入到人体检测模块中进行人体检测，确定出第一图像中包括各对象的图像框的坐标。在训练阶段，第二模型以图像及该图像中的所有人体框(对应于上述图像框)为输入，模型输入检测后的人体框，可以采用一定的损失函数衡量与输入的标注人体框之间的差异，然后采用一定的优化方法，更新模型的参数，直至训练结束。训练结束后，进入部署阶段，输入为一张图像，模型参数为经过上述训练阶段训练的参数，输出为检测到的人体检测框的坐标。检测结果可以包含一个或多个人体框，也可以没有人体框，标注输入图像中没有检测到人体。

在一个示例性实施例中，获取包括有所述目标图像的第一图像包括：对接收到的视频流进行抽帧处理，以获取顺序抽取的至少两帧包括有所述目标图像的所述第一图像；使用第二模块对所述第一图像进行分析，确定所述第一图像中包括的各对象的图像框的坐标包括：使用第二模型依次对至少两帧所述第一图像进行分析，分别确定各个所述第一图像中包括的各对象的图像框的坐标；基于所述第一图像中包括的所述目标对象的图像框的坐标从所述第一图像中提取所述目标图像包括：基于至少两帧所述第一图像中包括的所述目标对象的图像框的坐标分别从至少两帧所述第一图像中提取所述目标图像。在本实施例中，由于咳嗽是一个连续的过程，单帧检测容易出现误检，因此，可以输入连续多帧图像进行检测，来提高检测的精度。当接收的是视频流时，可以对视频流进行抽帧处理，获取至少两帧包括目标图像的第一图像，对其进行分析，确定出第一图像中的各对象的图像框坐标，根据图像框坐标从第一图像中提取出目标图像。具体实现可以采用3d卷积神经网络模型，即，第一模型可以为3d卷积神经网络模型，下面以检测人是否咳嗽为了进行说明，在本实施例中，可以将同一人体连续2帧(或5帧、或8帧、或更多帧，2帧仅是一个示例性说明)经过预处理的人体图像，输入3d卷积神经网络模型进行咳嗽分析。在训练阶段，模型输入为连续的2帧人体图像及是否咳嗽标签(对应于上述标识信息)，模型输出是否检测到咳嗽。还可以采用一定的损失函数衡量模型输出与输入标签之间的差异，然后采用一定的优化方法，优化更新模型参数至训练结束。部署阶段的模型采用训练阶段训练后的模型，输入为一张人体图像，输出是否咳嗽。当然，当只有一张图像时，也可以不输入2帧图像，只输入一帧进行图像进行咳嗽识别，第一模型相应的变为普通的卷积神经网络模型，训练与部署方法与之类似，在此不再赘述。

在一个示例性实施例中，基于至少两帧所述第一图像中包括的所述目标对象的图像框的坐标分别从至少两帧所述第一图像中提取所述目标图像包括：对至少两帧所述第一图像中包括的各对象分配唯一标识id，其中，相同的对象分配相同的id；确定与所述目标图像对应的目标id；确定出至少两帧所述第一图像中包括的与所述目标id对应的对象的图像框的坐标，并基于确定出的与所述目标id对应的对象的图像框坐标从至少两帧所述第一图像中提取所述目标图像。在本实施例中，可以为不同的人体分配不同的id，同一人体的不同帧分配同一id。

在一个示例性实施例中，在对至少两帧所述第一图像中包括的各对象分配唯一标识id之后，所述方法还包括：确定出至少两帧所述第一图像中包括的除所述目标id之外的其他id所对应的对象的图像框的坐标，并基于确定出的其他id所对应的对象的图像框的坐标从至少两帧所述第一图像中提取其他id所对应的对象的图像；按照拍摄时间分id缓存从至少两帧所述第一图像中提取的其他id所对应的对象的图像。在本实施例中，从整幅图像中提取人体图像，并将其缩放至适合第一模型输入的固定尺寸，然后根据不同的id按帧序进行缓存。当同一id的图像帧数满至少2帧后，将其按时间顺序输入咳嗽检测模块。当然，当原始输入只为一张图像而非视频帧时，只缓存一帧即可。

在一个示例性实施例中，提取目标对象的目标图像包括：按照拍摄时间提取所述目标对象的多个目标图像；使用第一模型对所述目标图像进行分析，确定在所述目标图像中所述目标对象是否咳嗽包括：使用第一模型对多个所述目标图像进行分析，确定在多个所述目标图像中所述目标对象是否咳嗽，其中，所述多组第一数据中的每组第一数据均包括：多个按照拍摄时间提取的对象的图像和用于标识在多个图像中对象是否咳嗽的标识信息。在本实施例中，可以按照拍摄设备拍摄图像的时间顺序提取目标对象的多个目标图像，将按照时间提取的多个目标对象输入至第一模型中进行分析，确定目标对象是否咳嗽。因此，在对第一模型进行训练时，第一数据中包括的图像也应该是按照时间顺序提取的图像。

在一个示例性实施例中，在使用第一模型对所述目标图像进行分析，确定在所述目标图像中所述目标对象是否咳嗽之后，所述方法还包括：在确定所述目标对象咳嗽的情况下，执行告警操作。在本实施例中，在确定目标对象咳嗽的情况下，可以执行告警操作。其中，告警操作包括可以语音告警和信息告警等不同的告警方式。

在一个示例性实施例中，在确定所述目标对象咳嗽的情况下，执行告警操作包括以下至少之一：向目标平台输出告警信息，其中，所述告警信息中携带有所述目标对象的身份信息和/或所述目标图像；在包括有所述目标图像的第一图像中突出显示所述目标图像，其中，所述第一图像中包括有一个或多个对象的图像。在本实施例中，在确定目标对象咳嗽的情况下，可以输出报警信号至平台，并在平台中用约定好的醒目颜色将该人体框在第一图像中。其中，平台可以是与拍摄装置相连的显示器等。当第一图像中包括多个对象时，可以判断目前处理的人体图像是否为检测到的最后一个人体，若不是，则继续检测，直至检测到的人体图像已全部处理完毕。

下面结合具体实施方式对咳嗽检测方法进行说明：

图3是根据本发明具体实施例的咳嗽检测方法流程图，如图3所示，该流程包括：

步骤s302，利用图像获取及预处理模块对图像进行处理。首先获取输入的原始图像或视频。若输入为图像，则将图像进行缩放以满足人体检测模块需求；若输入为视频流，则对视频流根据需要进行抽帧处理，然后将图像缩放到人体检测模块所需的输入尺寸。

步骤s304，利用基于深度学习的人体检测模块执行以下步骤：人体检测模块采用深度卷积神经网络实现，将经过预处理的图像(对应于上述目标图像)，输入人体检测模块进行人体检测。训练阶段，人体检测模块以图像及该图像中的所有人体框为输入，模型输入检测后的人体框，采用一定的损失函数衡量与输入的标注人体框之间的差异，然后采用一定的优化方法，更新模型的参数，直至训练结束。部署阶段，输入为一张图像，模型参数为经过上述训练阶段训练的参数，输出为检测到的人体检测框的坐标，检测结果可以包含一个或多个人体框，也可以没有人体框，标注输入图像中没有检测到人体。

步骤s306，利用人体跟踪及预处理模块执行以下步骤：人体跟踪及预处理模块的输入为人体检测模块输出的多帧图像中的若干人体框，跟踪模块对这些人体进行关联匹配，为不同的人体分配不同的id，同一人体的不同帧分配同一id，人体跟踪及预处理模块根据检测框从整幅图像中提取人体图像，并将其缩放至适合咳嗽检测模块输入的固定尺寸，然后根据不同的id按帧序进行缓存。当同一id的图像帧数满5帧后，将其按时间顺序输入咳嗽检测模块；当原始输入只为一张图像而非视频帧时，只缓存一帧即可。

步骤s308，利用基于深度学习的咳嗽检测模块执行以下步骤：由于咳嗽是一个连续的过程，单帧检测容易出现误检，因此，可以将连续多帧图像输入至咳嗽检测模块中进行检测，来提高检测的精度。具体实现采用3d卷积神经网络模型实现，将同一人体连续5帧经过预处理的人体图像，输入3d卷积神经网络模型进行咳嗽分类。训练阶段，模型输入为连续的5帧人体图像及是否咳嗽标签，模型输出是否检测到咳嗽。采用一定的损失函数衡量模型输出与输入标签之间的差异，然后采用一定的优化方法，优化更新模型参数至训练结束。部署阶段的模型采用训练阶段训练后的模型，输入为一张人体图像，输出是否咳嗽。当只有一张图像时，也可以不输入5帧图像，只输入一帧进行图像进行咳嗽识别，检测模块相应的变为普通的卷积神经网络，训练与部署方法与之类似。

步骤s310，利用检测结果输出与处理模块执行如下步骤：将上述咳嗽检测模块的分类结果输入检测结果输出与处理模块，若分类结果为咳嗽，则输出报警信号至平台，并在平台中用约定好的醒目颜色将该人体框在步骤s302的输入的原始图像(对应于上述第一图像)中。

步骤s312，判断处理的人体图像是否为检测到的最后一个人体，若不是，则重复执行上述步骤s306，直至检测到的人体图像已全部处理完毕，若是，则执行步骤s314。

步骤s314，所有人体图像均检测完成，结束流程。

在前述实施例中，通过采用图像识别的方法，进行咳嗽识别，抗噪声干扰性强；而且可以同时追踪多人的咳嗽情况，适合大型场景部署；并且，可以在识别结束后即给出检测到的咳嗽者抓拍图像，形象直观，便于工作人员快速应对；此外，可以利用现有的大量已经部署在公共场所的视频监控设备，无需额外增加硬件，节省成本和时间。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种咳嗽检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是根据本发明实施例的咳嗽检测装置的结构框图，如图4所示，该装置包括：

提取模块42，用于提取目标对象的目标图像；

分析模块44，用于使用第一模型对所述目标图像进行分析，确定在所述目标图像中所述目标对象是否咳嗽，其中，所述第一模型为使用多组第一数据通过机器学习训练出的，所述多组第一数据中的每组第一数据均包括：图像和用于标识在图像中对象是否咳嗽的标识信息。

其中，所述提取模块42对应于上述图像获取及预处理模块、人体跟踪模块及人体检测模块，所述分析模块44对应于上述咳嗽检测模块。

在一个示例性实施例中，所述提取模块42可以通过如下方式实现提取目标对象的目标图像：获取包括有所述目标图像的第一图像，其中，所述第一图像中包括有一个或多个对象的图像；使用第二模型对所述第一图像进行分析，确定所述第一图像中包括的各对象的图像框的坐标，其中，所述第二模型为使用多组第二数据通过机器学习训练出的，所述多组第二数据中的每组第二数据均包括：图像和图像中包括的各对象的图像块的坐标；基于所述第一图像中包括的所述目标对象的图像框的坐标从所述第一图像中提取所述目标图像。

在一个示例性实施例中，所述提取模块42可以通过如下方式实现获取包括有所述目标图像的第一图像：对接收到的视频流进行抽帧处理，以获取顺序抽取的至少两帧包括有所述目标图像的所述第一图像；所述提取模块42可以通过如下方式实现使用第二模块对所述第一图像进行分析，确定所述第一图像中包括的各对象的图像框的坐标：使用第二模型依次对至少两帧所述第一图像进行分析，分别确定各个所述第一图像中包括的各对象的图像框的坐标；所述提取模块42可以通过如下方式实现基于所述第一图像中包括的所述目标对象的图像框的坐标从所述第一图像中提取所述目标图像：基于至少两帧所述第一图像中包括的所述目标对象的图像框的坐标分别从至少两帧所述第一图像中提取所述目标图像。

在一个示例性实施例中，所述提取模块42可以通过如下方式实现基于至少两帧所述第一图像中包括的所述目标对象的图像框的坐标分别从至少两帧所述第一图像中提取所述目标图像：对至少两帧所述第一图像中包括的各对象分配唯一标识id，其中，相同的对象分配相同的id；确定与所述目标图像对应的目标id；确定出至少两帧所述第一图像中包括的与所述目标id对应的对象的图像框的坐标，并基于确定出的与所述目标id对应的对象的图像框坐标从至少两帧所述第一图像中提取所述目标图像。

在一个示例性实施例中，所述装置可以用于在对至少两帧所述第一图像中包括的各对象分配唯一标识id之后，确定出至少两帧所述第一图像中包括的除所述目标id之外的其他id所对应的对象的图像框的坐标，并基于确定出的其他id所对应的对象的图像框的坐标从至少两帧所述第一图像中提取其他id所对应的对象的图像；按照拍摄时间分id缓存从至少两帧所述第一图像中提取的其他id所对应的对象的图像。

在一个示例性实施例中，所述提取模块42可以通过如下方式实现提取目标对象的目标图像：按照拍摄时间提取所述目标对象的多个目标图像；所述分析模块44可以通过如下方式实现使用第一模型对所述目标图像进行分析，确定在所述目标图像中所述目标对象是否咳嗽：使用第一模型对多个所述目标图像进行分析，确定在多个所述目标图像中所述目标对象是否咳嗽，其中，所述多组第一数据中的每组第一数据均包括：多个按照拍摄时间提取的对象的图像和用于标识在多个图像中对象是否咳嗽的标识信息。

在一个示例性实施例中，所述装置可以用于在使用第一模型对所述目标图像进行分析，确定在所述目标图像中所述目标对象是否咳嗽之后，在确定所述目标对象咳嗽的情况下，执行告警操作。

在一个示例性实施例中，在确定所述目标对象咳嗽的情况下，执行告警操作包括以下至少之一：向目标平台输出告警信息，其中，所述告警信息中携带有所述目标对象的身份信息和/或所述目标图像；在包括有所述目标图像的第一图像中突出显示所述目标图像，其中，所述第一图像中包括有一个或多个对象的图像。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：u盘、只读存储器(read-onlymemory，简称为rom)、随机存取存储器(randomaccessmemory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。