一种抗原检测过程中鼻拭子采集动作判定方法及存储介质与流程

1.本发明涉及图像识别技术领域，特别是涉及一种抗原检测过程中鼻拭子采集动作判定方法及存储介质。


背景技术：

2.随着居家检测试剂盒的问世，普通民众可以非常方便地实现对一些疾病的居家检测，比如随着新冠居家检测试剂盒的问世，普通民众在家就可以自行进行核酸检测。利用鼻拭子采集标本是一种较为常见的采集方式，采集过程中检测者的采集动作是否符合操作标准直接影响了抗原检测结果的准确性，但是检测者往往不能对自己的采集动作是否符合操作标准做出比较客观的判断，也可能出现检测者为了逃避检测结果，故意不将鼻拭子放进鼻腔或者放进去的时间极短的情况。因此，如何对鼻拭子采集动作是否符合操作标准进行客观判定是亟待解决的技术问题。


技术实现要素：

3.本发明目的在于，提供一种抗原检测过程中鼻拭子采集动作判定方法及存储介质，实现对鼻拭子采集动作是否符合操作标准的客观判定。
4.根据本发明的第一方面，提供了一种抗原检测过程中鼻拭子采集动作判定方法，包括以下步骤：
5.s100，利用移动终端的摄像头获取目标对象在抗原检测过程中的t0时间内的n帧视频图像p＝(p1，p2，
…
，pn)，pi为第i帧视频图像，i的取值范围为1到n，n为正整数，t0为抗原检测过程的总时长，t0》0s；
6.s200，遍历p，如果pi中存在人脸，则将pi中人脸区域图像追加到p1，得到m帧人脸区域图像p1＝(p
11
，p
12
，
…
，p
1m
)，p1的初始化为null，p
1j
为第j帧人脸区域图像，j的取值范围为1到m，m为正整数，m≤n；
7.s300，利用经训练的第一神经网络判断p
1j
是否为有效采集图像，得到抗原检测过程中a个有效采集图片的数量q＝(q1，q2，
…
，qa)；q
x
为抗原检测过程中第x个预设时间段内的有效采集图像的数量，x的取值范围为1到a，a为正整数，所述预设时间段时长为t1，t1《t0；所述有效采集为鼻拭子采集动作符合操作标准；
8.s400，遍历q，如果q
x
≥q0，则t
1x
＝t
1x-1
+t1；如果q
x
《q0，则t
1x
＝0；t
1x
为抗原检测过程中第x个预设时间段的累计连续有效采集时长，t
1x-1
为抗原检测过程中第x-1个预设时间段的累计连续有效采集时长，q0为预设的数量阈值，t
10
＝0s；
9.s500，如果抗原检测过程中t
1x
均小于t，则在移动终端上呈现指示不符合操作标准的第一提示信息；如果抗原检测过程中存在t
1x
大于等于t，则在移动终端上呈现指示符合操作标准的第二提示信息；t为抗原检测的操作标准中要求的鼻拭子在鼻子内停留的最短时间。
10.根据本发明的第二方面，提供了一种非瞬时性计算机可读存储介质，所述存储介
质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行本发明第一方面所述的方法。
11.本发明与现有技术相比具有明显的有益效果，借由上述技术方案，本发明提供的一种抗原检测过程中鼻拭子采集动作判定方法及存储介质可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有以下有益效果：
12.本发明将目标对象的抗原检测过程分为多个预设时间段，如果某个预设时间段中q
x
≥q0，说明该预设时间段中有效采集图像的数量超过预设的数量阈值，则判定该预设时间段为有效采集时间段；通过判断抗原检测过程中累计连续有效采集时长是否超过操作标准中要求的鼻拭子在鼻子内停留的最短时间，实现了对目标对象在抗原检测过程中的鼻拭子采集动作是否符合操作标准的判断；
13.本发明是利用移动终端的摄像头获取的视频图像，并最终在移动终端上呈现目标对象的鼻拭子采集动作是否符合操作标准的结果；对目标对象而言，这种判定结果的获取方式比较简单和方便，更容易接受；
14.本发明基于第一经训练的神经网络实现对各人脸区域图像是否为有效采集图像的判断，本发明整体上是自动判断，判断结果没有掺杂目标对象的主观因素，判断结果较为客观，可信度较高。
附图说明
15.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1为本发明实施例提供的抗原检测过程中鼻拭子采集动作判定方法的流程图。
具体实施方式
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.根据本发明的第一方面，提供了一种抗原检测过程中鼻拭子采集动作判定方法，如图1所示，包括以下步骤：
19.s100，利用移动终端的摄像头获取目标对象在抗原检测过程中的t0时间内的n帧视频图像p＝(p1，p2，
…
，pn)，pi为第i帧视频图像，i的取值范围为1到n，n为正整数，t0为抗原检测过程的总时长，t0》0s。
20.可以理解的是，目标对象就是进行抗原检测的人，该目标对象利用居家检测试剂盒进行抗原检测。作为一种示例，居家检测试剂盒为新冠的居家检测试剂盒。目标对象在进行抗原检测之前，设置移动终端的摄像头的位置固定，且正对目标对象脸部进行拍摄，由此，移动终端的摄像头就可以将目标对象进行抗原检测的过程拍摄下来。可选的，移动终端的摄像头1秒拍摄25帧视频图像或30帧视频图像。可选的，移动终端的处理器或者服务端基
于拍摄下来的视频对目标对象的鼻拭子采集动作是否符合操作标准进行判断。应当理解的是，移动终端为手机、笔记本或平板电脑等。
21.可以理解的是，移动终端摄像头在t0时间内采集了n帧视频图像，则n/t0即为移动终端摄像头的采样频率。
22.s200，遍历p，如果pi中存在人脸，则将pi中人脸区域图像追加到p1，得到m帧人脸区域图像p1＝(p
11
，p
12
，
…
，p
1m
)，p1的初始化为null，p
1j
为第j帧人脸区域图像，j的取值范围为1到m，m为正整数，m≤n。
23.可以理解的是，利用人脸检测方法可以识别p中各帧视频图像中是否存在人脸，进一步的，也可以在存在人脸的视频图像中将人脸区域用矩形框标注出来，将存在人脸的视频图像中矩形框标注出来的区域提取出来就可以得到人脸区域图像。可以理解的是，一帧存在人脸的视频图像对应一帧人脸区域图像。人脸检测方法是现有技术，可选的，人脸检测方法为基于神经网络的人脸检测方法。
24.可以理解的是，上述p中的视频图像既可能是存在人脸的视频图像，也可能是不存在人脸的图像，因此得到的人脸区域图像的数量m小于等于p中视频图像的数量n。可以理解的是，若p中视频图像均为存在人脸的视频图像，则m＝n；若p中的视频图像从第3帧视频图像开始都存在人脸，则m＝n-2。
25.可以理解的是，只有在视频图像中存在人脸的情况下目标对象才有可能进行鼻拭子采集动作，因此，只对存在人脸的视频图像进行分析可以在不影响后期判定结果准确率的前提下大大减少后期的计算量。
26.s300，利用经训练的第一神经网络判断p
1j
是否为有效采集图像，得到抗原检测过程中a个有效采集图片的数量q＝(q1，q2，
…
，qa)；q
x
为抗原检测过程中第x个预设时间段内的有效采集图像的数量，x的取值范围为1到a，a为正整数，所述预设时间段时长为t1，t1《t0；所述有效采集为鼻拭子采集动作符合操作标准。
27.其中，第一神经网络的训练过程进一步包括：
28.s310，获取n个抗原检测视频v＝{v1，v2，
…
，vn}，vy为第y个抗原检测视频，y的取值范围为1到n，n为正整数，vy包括多帧存在人脸的视频图像；
29.s320，对vy对应的人脸区域图像的类别进行人工标记，所述类别包括正样本和负样本；
30.s330，将进行人工标记后的人脸区域图像作为训练样本对所述第一神经网络进行训练。
31.可以理解的是，利用神经网络可以实现二分类问题，而判断各帧人脸区域图像的类型即是一个二分类问题；人脸区域图像的类型包括两种：一种是鼻拭子采集动作符合操作标准的有效采集图像，即目标对象将鼻拭子放入鼻子中且放入深度能够实现对样本的有效采集的图像，可以理解的是，有效采集图像对应的人脸区域图像中除了有人脸之外，还包括鼻拭子和用于持鼻拭子的手，且鼻拭子进入鼻子的深度能够实现对样本的有效采集；一种是鼻拭子采集动作不符合操作标准的无效采集图像，可以理解的是，无效采集图像对应的人脸区域图像中可能不包括鼻拭子和用于持鼻拭子的手，也可能是包括鼻拭子和用于持鼻拭子的手，但是鼻拭子进入鼻子的深度不能够实现对样本的有效采集。可选的，神经网络为bp神经网络或卷积神经网络。
32.可以理解的是，为了使神经网络具备对人脸区域图像进行分类的能力，需要对神经网络进行训练，训练的过程中采用交叉熵损失函数。为了得到一个准确率较高的神经网络，训练样本的构建尤为重要，优选的，基于n个抗原检测视频v构建训练样本，可以理解的是，一个抗原检测视频为一个检测者录制其抗原检测过程得到的视频，一个抗原检测视频包括多帧视频图像，如按照一秒采集25帧的采样频率，视频图像的数量为视频的总时长乘以25。按照步骤s200的方法，可以得到各抗原检测视频对应的人脸区域图像。
33.作为一种优选示例，对神经网络的训练过程采用有监督学习的方式，在得到了每个抗原检测视频vy对应的人脸区域图像之后，采用人工标记的方式给每个抗原检测视频vy对应的人脸区域图像打标签，标签分为两种，一种是正样本，对应的是有效采集图像；另一种是负样本，对应的无效采集图像。
34.作为一个实验，获取321个抗原检测视频，即n＝321，这321个抗原检测视频包括的视频帧数量为571535，按照每15帧采集一次样本的方式，可获得采样后的视频帧数量为38102，检测到人脸的视频帧数量为9851，这9851帧视频图像对应的人脸区域图像可用于人工标注，实际标注后得到正样本数量为1866个，负样本数量为1864个，标注得到的正样本和负样本总数量为3730，即总样本数量为3730，将总样本中的2983个样本作为训练样本，将剩余的747个样本作为测试样本，其中训练样本包括正样本1491个，负样本数量1492个；测试样本包括正样本373个，负样本374个。该实验的训练结果如表1所示：
35.表1
[0036] 损失准确率精确率召回率f1训练集0.00920.99700.99730.99660.9970测试集0.06770.98390.97880.98930.9840
[0037]
表1表明，基于抗原检测视频训练得到的神经网络可以在判定正负样本方面达到很高的准确率，按照上述示例得到的神经网络的准确率为0.9839。
[0038]
可以理解的是，神经网络训练完成之后，即可利用经训练的神经网络实现对p1各帧人脸区域图像是否为有效采集图像的判断。
[0039]
将目标对象的抗原检测过程分为多个预设时间段进行有效采集图像数量的统计，作为一个示例，目标对象的抗原检测过程的总时长t0＝10s，预设时间段时长t1＝0.4s，从抗原检测过程的起始时间开始，每0.4s统计一次有效采集图片的数量，若移动终端摄像头的采集频率为每秒25帧，即每10帧视频图像统计一次有效采集图像的数量，可得到抗原检测过程中的25个有效采集图像的数量，分别为抗原检测过程中第1、2、
…
、25个0.4s的有效采集图像的数量。
[0040]
作为另一个示例，目标对象的抗原检测过程的总时长t0＝10s，预设时间段时长t1＝2s，从抗原检测过程的起始时间开始，每2s统计一次有效采集图片的数量，若移动终端摄像头的采集频率为每秒25帧，即每50帧视频图像统计一次有效采集图像的数量，可得到抗原检测过程中的5个有效采集图像的数量，分别为抗原检测过程中第1、2、
…
、5个2s的有效采集图像的数量。
[0041]
s400，遍历q，如果q
x
≥q0，则t
1x
＝t
1x-1
+t1；如果q
x
《q0，则t
1x
＝0；t
1x
为抗原检测过程中第x个预设时间段的累计连续有效采集时长，t
1x-1
为抗原检测过程中第x-1个预设时间段的累计连续有效采集时长，q0为预设的数量阈值，t
10
＝0s。
[0042]
对于抗原检测过程中第x个预设时间段，q
x
大于等于预设的数量阈值q0包括两种情况，第一种情况是第x个预设时间段中存在连续q0帧有效采集图像，第二种情况是第x个预设时间段中虽然存在q0帧有效采集图像，但这q0帧有效采集图像不是连续的；应当理解的是，一般情况下目标对象进行抗原检测的过程是一个连续的过程，出现第二种的原因往往不是因为采样过程的中断，而是其他因素造成的，比如是由于训练好的神经网络的误判，因此，相较于判断是否存在连续的q0帧有效采集图像，只判断q
x
是否大于等于预设的数量阈值q0能够提高判断结果的准确性。
[0043]
优选的，设置预设时间段时长t1《t，t为抗原检测的操作标准中要求的鼻拭子在鼻子内停留的最短时间，例如t＝2s。经小规模实验表明，当设置的t1较小时，满足q
x
≥q0的条件下判定第x个预设时间段为有效采集时间段的准确性更高。
[0044]
优选的，q0满足以下条件：
[0045]
q0＝roundup(k*t1*n/t0)+n0[0046]
q0《t1*n/t0[0047]
其中，n0为预设帧数，n0≥0且n0为整数；k为容错系数，0《k《1，roundup为向上取整函数。
[0048]
优选的，k的取值范围为0.8≤k《1。经小规模实验表明，k的值设置在0.8≤k《1之内时最终判定的准确性较高。
[0049]
可以理解的是，当q
x
≥q0时，说明第x个预设时间段是有效采集时间段，则第x个预设时间段的累计连续有效采集时长t
1x
为第x-1个预设时间段的累计连续有效采集时长t
1x-1
与t1之和；当q
x
《q0时，说明第x-1个预设时间段是无效采集时间段，说明第x个预设时间段之前的累计连续有效采集被中断，则第x个预设时间段的累计连续有效采集时长t
1x
为0s。
[0050]
s500，如果抗原检测过程中t
1x
均小于t，则在移动终端上呈现指示不符合操作标准的第一提示信息；如果抗原检测过程中存在t
1x
大于等于t，则在移动终端上呈现指示符合操作标准的第二提示信息；t为抗原检测的操作标准中要求的鼻拭子在鼻子内停留的最短时间。
[0051]
可以理解的是，为了实现对样本的有效采集，操作标准中可能对鼻拭子在鼻子内的停留时间t也有一定的要求，t》0s；只需抗原检测的过程中有一个预设时间段的累计连续有效采集时长大于等于t即可判定抗原检测过程符合操作标准；则可以在移动终端上呈现指示符合操作标准的提示信息，优选的，可以以绿色字体的形式在所述移动终端上呈现或者以绿色为背景的形式在所述移动终端上呈现，还在移动终端上发出指示符合操作标准的提示声音。
[0052]
可以理解的是，若抗原检测的过程中t
1x
均小于t，说明目标对象的抗原检测过程不符合操作标准，则可以在移动终端上呈现指示不符合操作标准的提示信息，优选的，可以以红色字体的形式在所述移动终端上呈现或者以红色为背景的形式在所述移动终端上呈现，还在移动终端上发出指示不符合操作标准的提示声音。
[0053]
本发明实施例还提供了一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行本发明实施例所述的抗原检测过程中鼻拭子采集动作判定方法。
[0054]
虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技
术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。