基于红外热成像的旅客突发心脏病识别系统的制作方法

1.本发明涉及医疗电子仪器领域，具体地涉及基于红外热成像的旅客突发心脏病识别系统。


背景技术：

2.在公共交通等候的过程中，如果旅客在公共交通等候区突发心脏病而不能被及时发现和救护，不仅耽误了旅客最佳救治时间，也可能造成公共交通等候区的混乱。
3.现有技术，针对公共交通等候区旅客突发心脏病后的应急处理，主流做法是依靠执勤人员肉眼观察，然后通知公共交通等候区医务人员进行紧急救治；亦即人工观察法；
4.现有技术的缺陷在于：
5.1.由于公共交通等候区人员众多，依靠人工观察很难及时发现旅客突发心脏病所带来的行为异常，如手捂住左胸口、呼吸急促等动作，从而非常容易贻误最佳抢救时间窗口；
6.2.由于机场工作人员处理应急事件的反应速度依个人素养而不同，从而会造成请求公共交通等候区的应急救护不及时的情况。


技术实现要素：

7.本发明针对上述问题，提供基于红外热成像的旅客突发心脏病识别系统，其目的在于极大的提高在公共交通等候区识别旅客突发疾病的及时性和准确性；从根本上解决依靠人工无法解决的公共交通等候区传统巡查过程中旅客突发心脏病识别困难和通知不及时的应急管理问题。
8.为解决上述问题，本发明提供的技术方案为：
9.一种基于红外热成像的旅客突发心脏病识别系统，包含以下部分：
10.中央处理器，用于为本心脏病识别系统中的数据提供计算处理能力和传输能力；
11.视频采集模块，用于按人工预设的采集频率，实时采集旅客的行为视频信息和红外热成像信息；
12.视频分析模块，用于来自所述视频采集模块采集的所述行为视频信息，识别出有旅客的异常行为动作，然后将有所述异常行为动作的旅客的异常行为识别结果、所述行为视频信息和所述红外热成像视频信息通过所述中央处理器传到突发心脏病识别模块；所述异常行为识别结果包含所述异常行为动作；
13.突发心脏病识别模块，用于对来自所述视频分析模块的有所述异常行为动作的旅客的所述行为视频信息和所述红外热成像视频信息进行分析，识别出有突发心脏病的旅客，生成心脏病识别信息，然后将所述心脏病识别信息通过所述中央处理器传到应急预警模块；所述心脏病识别信息包含心脏病标志位、高密度脂蛋白含量、总胆固醇含量、左手表面温度、右颞区表面温度、左颈表面温度和右前脚表面温度；所述心脏病标志位包含字符“0”和“1”；其中：当所述心脏病标志位为“0”时，表示旅客没有心脏病；当所述心脏病标志位
为“1”时，表示旅客有心脏病；
14.应急预警模块，用于根据由所述突发心脏病识别模块传递过来的心脏病识别信息进行实时预警。
15.优选地，所述视频采集模块包含用于采集所述行为视频信息的高清摄像头，和用于采集所述红外热成像信息的红外热成像仪；其中：
16.所述行为视频信息包含行为视频帧，每个所述行为视频帧包含被采集时刻的旅客的行为画面和时间戳；所有所述行为视频帧按被打上的所述时间戳增序排列，形成所述行为视频信息；
17.所述红外热成像信息包含红外热成像帧，每个所述红外热成像帧包含被采集时刻的旅客的红外热成像画面和所述时间戳；所有所述红外热成像帧按被打上的所述时间戳增序排列，形成所述红外热成像视频信息；
18.所述行为视频信息中的所述时间戳的序列与所述红外热成像信息中的所述时间戳的序列完全相同；所述行为视频信息中的每个所述行为视频帧按被打上的所述时间戳与所述红外热成像信息中的所述红外热成像帧形成一一对应的关系。
19.优选地，所述视频分析模块包含用于实现人体目标检测功能、跟踪功能和动作识别功能的人体目标识别单元和用于依据关节点检测方法对所述行为视频信息进行异常行为识别检测的异常行为识别单元；其中：
20.所述异常行为识别检测由所述异常行为识别单元中的ai模型执行，输出的结果为所述异常行为识别结果；
21.所述异常行为动作包含手捂胸口动作和瘫坐动作。
22.优选地，所述突发心脏病识别模块包含图像预处理单元、热成像图片采集单元和突发心脏病识别单元；其中：
23.所述图像预处理单元用于对所述红外热成像帧进行预处理，得到热成像图片；
24.所述热成像图片采集单元从所述热成像图片中获取所述左手表面温度、所述右颞区表面温度、所述左颈表面温度和所述右前脚表面温度；
25.所述突发心脏病识别单元用于通过心脏病识别模型计算并判定旅客是否为心脏病。
26.优选地，所述突发心脏病识别模块对来自所述视频分析模块的有所述异常行为动作的旅客的所述行为视频信息和所述红外热成像视频信息进行分析，识别出有突发心脏病的旅客，生成所述心脏病识别信息，具体包含以下步骤：
27.s100.所述突发心脏病识别模块接收来自所述中央处理器转发的由所述视频分析模块发出的所述异常行为识别结果、所述行为视频信息和所述红外热成像视频信息；
28.s200.所述突发心脏病识别模块将所述行为视频信息中记录有所述异常行为动作的所述行为视频帧抽帧；
29.s300.所述突发心脏病识别模块根据每个所述行为视频帧上打的所述时间戳，定位到所述红外热成像视频信息中所对应的每个所述红外热成像帧；然后由所述突发心脏病识别模块对所有对应的所述红外热成像帧抽帧；
30.s400.由所述图像预处理单元对所有抽帧后的所述红外热成像帧进行预处理，得到所述热成像图片；然后对所述热成像图片进行用于使其更为清晰的增益操作，得到增益
后的热成像图片；
31.s500.由所述热成像图片采集单元从每个所述热成像图片中获取所述左手表面温度、所述右颞区表面温度、所述左颈表面温度和所述右前脚表面温度；
32.s600.由所述突发心脏病识别单元通过所述心脏病识别模型，并根据所述左手表面温度、所述右颞区表面温度、所述左颈表面温度和所述右前脚表面温度计算得到所述高密度脂蛋白含量和所述总胆固醇含量；
33.s700.将所述高密度脂蛋白含量与人工预设的高密度脂蛋白含量阈值比较，同时将所述总胆固醇含量与人工预设的总胆固醇含量阈值比较；然后根据比较结果做出如下操作：
34.如果所述高密度脂蛋白含量小于所述高密度脂蛋白含量阈值，且所述总胆固醇含量高于所述总胆固醇含量阈值，则判定旅客为心脏病；然后执行s800；
35.如果所述高密度脂蛋白含量不小于所述高密度脂蛋白含量阈值，或所述总胆固醇含量不高于所述总胆固醇含量阈值，则判定旅客不为心脏病；然后执行s900；
36.s800.将所述心脏病标志位置为字符“1”；然后将所述心脏病标志位、所述高密度脂蛋白含量、所述总胆固醇含量、所述左手表面温度、所述右颞区表面温度、所述左颈表面温度和所述右前脚表面温度打包为所述心脏病识别信息；然后执行s1000；
37.s900.将所述心脏病标志位置为字符“0”；然后将所述心脏病标志位打包为所述心脏病识别信息；然后执行s1000；
38.s1000.输出所述心脏病识别信息到所述中央处理器；然后由所述中央处理器将所述心脏病识别信息转发到所述应急预警模块。
39.优选地，所述心脏病识别模型按下式表达：
[0040][0041]
其中：hdl为所述高密度脂蛋白含量，单位为mg/dl；tc为所述总胆固醇含量，单位为mg/dl；x1为所述左手表面温度，单位为℃；x2为所述右颞区表面温度，单位为℃；x3为所述左颈表面温度，单位为℃；x4为所述右前脚表面温度，单位为℃。
[0042]
优选地，s400中对所述热成像图片进行用于使其更为清晰的增益操作，得到增益后的热成像图片，具体包含以下步骤：
[0043]
s410.将未进行增益操作的所述热成像图片中所有像素点的灰度统计出来；
[0044]
s420.绘制出像素的灰度等级和像素点数量相对应的直方图；
[0045]
s430.通过直方图均衡算法，计算得到每一个像素点新的灰度等级；
[0046]
s440.根据每一个像素点新的灰度等级，得到所述增益后的热成像图片；
[0047]
优选地，所述直方图均衡算法按下式表达：
[0048][0049]
其中：sk为经过直方图均衡算法后得到的像素点新灰度数；l-1为所述热成像图片的最大灰度数；i0为未进行增益操作的所述热成像图片中最小的灰度数；i1为未进行增益操作的所述热成像图片中第二小的灰度数；i2为未进行增益操作的所述热成像图片中第三小
的灰度数；m为未进行增益操作的所述热成像图片中宽边的像素点数；n为未进行增益操作的所述热成像图片中长边的像素点数；mn为未进行增益操作的所述热成像图片中的像素点总数；ni为灰度值为i的像素数；k为未进行增益操作的所述热成像图片中的像素点的灰度数。
[0050]
优选地，所述高密度脂蛋白含量阈值为400mg/dl；所述总胆固醇含量阈值为200mg/dl。
[0051]
优选地，所述应急预警模块通过电话、短信、平台报警和广播传送所述心脏病识别信息，实现实时预警。
[0052]
本发明与现有技术对比，具有以下优点：
[0053]
1.由于本发明完全不用依赖人工发现，而是依靠ai模型对旅客的动作进行识别后，进而通过温度与心脏病的客观数值联系计算判断发生心脏病的可能性，从而极大的提高了在公共交通等候区识别旅客突发疾病的及时性和准确性；
[0054]
2.由于本发明的巡查和报警由计算机系统完成，从而从根本上解决了依靠人工无法解决的公共交通等候区传统巡查过程中旅客突发心脏病识别困难和通知不及时的应急管理问题。
附图说明
[0055]
图1为本发明具体实施例的突发心脏病识别系统的逻辑框架示意图；
[0056]
图2为本发明具体实施例的识别出有突发心脏病的旅客，生成所述心脏病识别信息的流程示意图。
具体实施方式
[0057]
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本技术所附权利要求所限定的范围。
[0058]
如图1所示，一种基于红外热成像的旅客突发心脏病识别系统，包含以下部分：
[0059]
中央处理器，用于为本心脏病识别系统中的数据提供计算处理能力和传输能力。
[0060]
视频采集模块，用于按人工预设的采集频率，实时采集旅客的行为视频信息和红外热成像信息。
[0061]
本具体实施例中，视频采集模块包含用于采集行为视频信息的高清摄像头，和用于采集红外热成像信息的红外热成像仪；其中：
[0062]
行为视频信息包含行为视频帧，每个行为视频帧包含被采集时刻的旅客的行为画面和时间戳；所有行为视频帧按被打上的时间戳增序排列，形成行为视频信息。
[0063]
红外热成像信息包含红外热成像帧，每个红外热成像帧包含被采集时刻的旅客的红外热成像画面和时间戳；所有红外热成像帧按被打上的时间戳增序排列，形成红外热成像视频信息。
[0064]
行为视频信息中的时间戳的序列与红外热成像信息中的时间戳的序列完全相同；行为视频信息中的每个行为视频帧按被打上的时间戳与红外热成像信息中的红外热成像帧形成一一对应的关系。
[0065]
需要说明的是，视频采集模块中的高清摄像头实时获取旅客在公共交通等候区的监控视频信息；而视频采集模块中的红外热成像仪则同时跟踪旅客采集热成像信息，并发送至中央处理器。由于热成像的画面只是具有轮廓的温度分布，因此可以保护被采集者的隐私。
[0066]
需要进一步说明的是，为了使高清摄像头和红外热成像仪拍摄的物体重叠度高，需要将高清摄像头和红外热成像仪的并排摆放，且距离控制在10厘米。
[0067]
需要进一步说明的是，运用genlock(同步锁相)系统让高清摄像头和红外热成像仪同步工作。
[0068]
需要进一步说明的是，视频采集模块收集到的行为视频信息及红外热成像视频信息会暂存系统，待视频分析模块及突发心脏病识别模块分析识别后存为历史记录，并由管理员或系统自动定期删除。
[0069]
视频分析模块，用于来自视频采集模块采集的行为视频信息，识别出有旅客的异常行为动作，然后将有异常行为动作的旅客的异常行为识别结果、行为视频信息和红外热成像视频信息通过中央处理器传到突发心脏病识别模块；异常行为识别结果包含异常行为动作。
[0070]
本具体实施例中，视频分析模块包含用于实现人体目标检测功能、跟踪功能和动作识别功能的人体目标识别单元和用于依据关节点检测方法对行为视频信息进行异常行为识别检测的异常行为识别单元；其中：
[0071]
异常行为识别检测由异常行为识别单元中的ai模型执行，输出的结果为异常行为识别结果。
[0072]
异常行为动作包含手捂胸口动作和瘫坐动作。
[0073]
突发心脏病识别模块，用于对来自视频分析模块的有异常行为动作的旅客的行为视频信息和红外热成像视频信息进行分析，识别出有突发心脏病的旅客，生成心脏病识别信息，然后将心脏病识别信息通过中央处理器传到应急预警模块；心脏病识别信息包含心脏病标志位、高密度脂蛋白含量、总胆固醇含量、左手表面温度、右颞区表面温度、左颈表面温度和右前脚表面温度；心脏病标志位包含字符“0”和“1”；其中：当心脏病标志位为“0”时，表示旅客没有心脏病；当心脏病标志位为“1”时，表示旅客有心脏病。
[0074]
本具体实施例中，突发心脏病识别模块包含图像预处理单元、热成像图片采集单元和突发心脏病识别单元；其中：
[0075]
图像预处理单元用于对红外热成像帧进行预处理，得到热成像图片。
[0076]
热成像图片采集单元从热成像图片中获取左手表面温度、右颞区表面温度、左颈表面温度和右前脚表面温度。
[0077]
突发心脏病识别单元用于通过心脏病识别模型计算并判定旅客是否为心脏病。
[0078]
如图2所示，本具体实施例中，突发心脏病识别模块对来自视频分析模块的有异常行为动作的旅客的行为视频信息和红外热成像视频信息进行分析，识别出有突发心脏病的旅客，生成心脏病识别信息，具体包含以下步骤：
[0079]
s100.突发心脏病识别模块接收来自中央处理器转发的由视频分析模块发出的异常行为识别结果、行为视频信息和红外热成像视频信息。
[0080]
s200.突发心脏病识别模块将行为视频信息中记录有异常行为动作的行为视频帧
抽帧。
[0081]
s300.突发心脏病识别模块根据每个行为视频帧上打的时间戳，定位到红外热成像视频信息中所对应的每个红外热成像帧；然后由突发心脏病识别模块对所有对应的红外热成像帧抽帧。
[0082]
s400.由图像预处理单元对所有抽帧后的红外热成像帧进行预处理，得到热成像图片；然后对热成像图片进行用于使其更为清晰的增益操作，得到增益后的热成像图片。
[0083]
本具体实施例中，s400中对热成像图片进行用于使其更为清晰的增益操作，得到增益后的热成像图片，具体包含以下步骤：
[0084]
s410.将未进行增益操作的热成像图片中所有像素点的灰度统计出来。
[0085]
s420.绘制出像素的灰度等级和像素点数量相对应的直方图。
[0086]
s430.通过直方图均衡算法，计算得到每一个像素点新的灰度等级。
[0087]
本具体实施例中，直方图均衡算法按式(1)表达：
[0088][0089]
其中：sk为经过直方图均衡算法后得到的像素点新灰度数；l-1为热成像图片的最大灰度数；i0为未进行增益操作的热成像图片中最小的灰度数；i1为未进行增益操作的热成像图片中第二小的灰度数；i2为未进行增益操作的热成像图片中第三小的灰度数；m为未进行增益操作的热成像图片中宽边的像素点数；n为未进行增益操作的热成像图片中长边的像素点数；mn为未进行增益操作的热成像图片中的像素点总数；ni为灰度值为i的像素数；k为未进行增益操作的热成像图片中的像素点的灰度数。
[0090]
s440.根据每一个像素点新的灰度等级，得到增益后的热成像图片。
[0091]
s500.由热成像图片采集单元从每个热成像图片中获取左手表面温度、右颞区表面温度、左颈表面温度和右前脚表面温度。
[0092]
s600.由突发心脏病识别单元通过心脏病识别模型，并根据左手表面温度、右颞区表面温度、左颈表面温度和右前脚表面温度计算得到高密度脂蛋白含量和总胆固醇含量。
[0093]
s700.将高密度脂蛋白含量与人工预设的高密度脂蛋白含量阈值比较，同时将总胆固醇含量与人工预设的总胆固醇含量阈值比较；然后根据比较结果做出如下操作：
[0094]
如果高密度脂蛋白含量小于高密度脂蛋白含量阈值，且总胆固醇含量高于总胆固醇含量阈值，则判定旅客为心脏病；然后执行s800。
[0095]
如果高密度脂蛋白含量不小于高密度脂蛋白含量阈值，或总胆固醇含量不高于总胆固醇含量阈值，则判定旅客不为心脏病；然后执行s900。
[0096]
本具体实施例中，高密度脂蛋白含量阈值为400mg/dl；总胆固醇含量阈值为200mg/dl。
[0097]
s800.将心脏病标志位置为字符“1”；然后将心脏病标志位、高密度脂蛋白含量、总胆固醇含量、左手表面温度、右颞区表面温度、左颈表面温度和右前脚表面温度打包为心脏病识别信息；然后执行s1000。
[0098]
s900.将心脏病标志位置为字符“0”；然后将心脏病标志位打包为心脏病识别信息；然后执行s1000。
[0099]
s1000.输出心脏病识别信息到中央处理器；然后由中央处理器将心脏病识别信息
转发到应急预警模块。
[0100]
本具体实施例中，心脏病识别模型按式(2)和(3)表达：
[0101][0102]
其中：hdl为高密度脂蛋白含量，单位为mg/dl；tc为总胆固醇含量，单位为mg/dl；x1为左手表面温度，单位为℃；x2为右颞区表面温度，单位为℃；x3为左颈表面温度，单位为℃；x4为右前脚表面温度，单位为℃。
[0103]
应急预警模块，用于根据由突发心脏病识别模块传递过来的心脏病识别信息进行实时预警。
[0104]
本具体实施例中，应急预警模块通过电话、短信、平台报警和广播传送心脏病识别信息，实现实时预警，对旅客进行救援。
[0105]
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
[0106]
为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说，这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本技术公开的原理和新颖性特征的最广范围相一致。
[0107]
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或”是要表示“非排它性的或者”。
[0108]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。