一种智能服药视频审核方法及系统与流程

本发明涉及人工智能，更具体的说是涉及一种智能服药视频审核方法及系统。

背景技术：

1、在疾病预防和控制过程中，虽然基层医疗机构的基本公共卫生服务人力资源体系的确在不断优化，但仍处于人力资源不充足、人力资源流失和存在一定的职业倦怠现象，80％的县(区)级结防机构人员配置达不到要求，这直接影响患者健康管理工作的质量，医务人员直接面视下短程化疗(directly observed treatment,short-course，dots)实际执行率极低，患者自服药、不规则服药渐成普遍现象，忘服漏服频发、药物不良反应发现不及时，导致治愈率低、复发甚至耐药。近年来，远程视频督导服药(video-observed therapy,vot)逐渐成为患者创新管理方式的主流。vot依托于通信终端(电脑、手机等)通过远程视频使医生直接观察患者服药行为。我国在vot的广泛应用下，肺结核发病率在五年间下降了36.81％。

2、虽然vot管理模式一定程度上降低了基层医疗机构医护的工作负担，但在一些偏远地区结核病报告发病率仍较高且各级医疗机构结防专业人员严重短缺，现行vot管理模式的实施依旧难以实现患者的高质量健康管理。同时，vot管理方式普遍存在医护人员审核服药视频不及时、质量控制不稳定的现象。

3、因此，提供一种智能服药视频审核方法及系统，降低基层医护人员工作负担、改善病患者服药管理的质量控制、提高服药管理的及时性，是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种智能服药视频审核方法及系统，对于获取的患者服药视频，分为两个路径，其一，药品检测路径，对视频逐帧进行药品检测，得到是否有药品的结果；其二，服药动作识别路径，对视频进行服药动作检测，得到是否有服药动作。然后基于药品识别结果和服药动作检测结果相结合判断患者是否服药，提高服药视频审核的准确性。

2、为了实现上述目的，本发明采用如下技术方案：

3、一方面，本发明提供了一种智能服药视频审核方法，包括以下步骤：

4、获取患者的服药视频；

5、基于所述服药视频进行药品检测，得到药品识别结果；

6、基于所述服药视频进行服药动作识别，得到服药动作识别结果；

7、基于所述药品识别结果和所述服药动作识别结果，得到服药审核结果。

8、优选的，基于所述服药视频进行药品检测，得到药品识别结果，包括：

9、基于目标检测网络yolov8对所述服药视频进行逐帧检测，得到每一帧的检测结果；

10、基于所述检测结果确定所述服药视频的有效帧；

11、基于所述有效帧判断是否包含药品，得到所述药品识别结果。

12、优选的，基于所述有效帧判断是否包含药品，得到所述药品识别结果，包括：

13、判断所述有效帧的帧数是否大于等于预设阈值；

14、若所述有效帧的帧数大于预设阈值，则判断所述有效帧是否存在至少两帧为连续帧，若存在，则药品识别结果为检测到药品；若不存在，则药品识别结果为未检测到药品；

15、若所述有效帧的帧数小于预设阈值，则药品识别结果为未检测到药品。

16、优选的，基于所述服药视频进行服药动作识别，得到所述服药动作识别结果，包括：

17、将所述服药视频均匀分成若干组视频段，在每组视频段中随机采样一帧图像作为动作识别图像；

18、对所述动作识别图像进行图像特征提取，获取所述动作识别图像的图像特征；

19、对所述动作识别图像进行人体关键点检测，获得人体骨架序列；

20、基于所述人体骨架序列进行骨架特征提取，获取骨架特征；

21、将所述图像特征和所述骨架特征进行融合，得到融合特征；

22、根据所述融合特征得到所述服药动作识别结果。

23、优选的，采用3d卷积神经网络模型对所述图像特征和所述骨架特征进行提取。

24、优选的，对所述动作识别图像进行人体关键点检测，获得人体骨架序列，包括：采用hrnet网络模型获取人体的17个关键点坐标，组成所述人体骨架序列。

25、优选的，基于所述人体骨架序列进行骨架特征提取，获取骨架特征，包括：

26、将所述人体骨架序列转换成3d热图：根据所述关键点坐标，使用高斯核生成维度为k×h×w的热图，计算公式为：

27、jkij＝exp(-[(i-xk)2+(j-yk)2]/(2*σ2))*ck

28、其中，(xk，yk)为第k个关键点的坐标，ck为第k个关键点的置信度，σ为控制高斯图的方差，jkij表示所述3d热图，(i，j)为热图的点坐标；

29、将t帧的热图进行堆叠得到整个服药视频的3d热图，所述3d热图的维度为k×t×h×w，其中k为骨骼点的数量，t为帧数，h和w分别为高和宽。

30、优选的，将所述图像特征和所述骨架特征进行融合，得到融合特征，包括：

31、所述图像特征和所述骨架特征分别经过一个全连接层和非线性激活的组合，得到维度均为256的特征f'image和f'pose：

32、f′image＝relu(fimagewimage+bimage)

33、f′pose＝relu(fposewpose+bpose)

34、其中，fimage为图像特征，fpose为骨架特征，relu为非线性激活函数，wpose和wimage分别为线性层的权重，bpose和bimage分别为线性层的偏差；

35、f'image和f'pose经过加权相加得到融合特征ffuse：

36、ffuse＝αposef′pose+αimagef′image

37、其中，αpose和αimage分别为加权融合的权重系数，αpose和αimage计算公式为：

38、αimage＝softmax(f'posew+b)

39、αpose＝softmax(f′imagew+b)

40、其中，w为线性层权重，b为线性层的偏差。

41、另一方面，本发明提供了一种智能服药视频审核系统，包括：

42、输入模块，用于获取患者的服药视频；

43、药品识别模块，用于基于所述服药视频进行药品检测，得到药品识别结果；

44、动作识别模块，用于基于所述服药视频进行服药动作识别，得到服药动作识别结果；

45、审核模块，用于基于所述药品识别结果和所述服药动作识别结果，得到服药审核结果。

46、优选的，所述药品识别模块包括：

47、药品识别单元，用于基于目标检测网络yolov8对所述服药视频进行逐帧检测，得到每一帧的检测结果；

48、分类结果处理单元，用于基于所述检测结果确定所述服药视频的有效帧，并基于所述有效帧判断是否包含药品，得到所述药品识别结果；

49、所述动作识别模块包括：

50、视频帧采样单元，将所述服药视频均匀分成若干组视频段，在每组视频段中随机采样一帧图像作为动作识别图像；

51、图像特征提取单元，用于对所述动作识别图像进行图像特征提取，获取所述动作识别图像的图像特征；

52、关键点检测单元，用于对所述动作识别图像进行人体关键点检测，获得人体骨架序列；

53、骨架特征提取单元，用于基于所述人体骨架序列进行骨架特征提取，获取骨架特征；

54、特征融合单元，用于将所述图像特征和所述骨架特征进行融合，得到融合特征；

55、分类单元，用于根据所述融合特征得到所述服药动作识别结果。

56、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种智能服药视频审核方法及系统，对于获取的患者服药视频，分为两个路径，其一，药品检测路径，对视频逐帧进行药品检测，得到是否有药品的结果；其二，服药动作识别路径，针对视频，首先进行视频帧采样，然后对视频进行图像特征提取和骨骼特征提取，然后对图像特征和骨骼特征进行融合后，基于融合特征得到是否包含服药动作的结果，再与前序药品识别结果结合，得到最终的智能服药审核结果，提高对服药视频识别的准确率。服药动作识别过程采用了rgb图像和骨架信息结合的方式，骨骼点本身作为一种与人体动作关系密切的表示形式，对于服药动作识别有很大帮助，而采用3d卷积神经网络，可以高效地提取人体骨架序列中的时空特征，对骨架序列中的噪声更鲁棒。结合rgb图像的上下文信息，能够达到更佳的性能。