本申请涉及生物识别领域,尤其涉及一种穴位识别方法、装置、设备及存储介质。
背景技术:
人体穴位是指人体经络线上特殊的点区部位,通常为神经末梢和血管较多的地方。中医通过点按、针灸、推拿等方式刺激穴位,以通过穴位治疗达到缓解身体不适的目的。穴位治疗由于保健效果明显、无副作用,因而深受人们喜爱。
然而,对于没有经过专业训练的人,由于穴位知识缺乏以及穴位会因个人体型差异而有所不同,很难找出人体各关节中的穴位及对应的用途,致使疗效甚微。因而,如何对人体穴位进行准确识别,对后续的治疗疗效的影响尤为重要。
技术实现要素:
本申请提供了一种穴位识别方法、装置、计算机设备及存储介质,以提高目标穴位的识别准确性。
第一方面,本申请提供了一种穴位识别方法,所述方法包括:
获取视频流信息,确定所述视频流信息中的人体图像;
提取所述人体图像对应的人体部位特征信息;
将所述人体部位特征信息输入至预先训练的穴位识别模型进行识别,以输出人体穴位信息;
根据所述人体部位特征信息和所述人体穴位信息,在所述人体图像上标记出每个人体部位上的人体穴位,以得到标记图像;
获取目标穴位信息,根据所述标记图像对所述目标穴位信息进行匹配;
若根据所述标记图像对所述目标穴位信息匹配成功,将所述目标穴位信息显示在所述标识图像上。
第二方面,本申请还提供了一种穴位识别装置,所述装置包括:
图像确定单元,用于获取视频流信息,确定所述视频流信息中的人体图像;
信息提取单元,用于提取所述人体图像对应的人体部位特征信息;
信息输出单元,用于将所述人体部位特征信息输入至预先训练的穴位识别模型进行识别,以输出人体穴位信息;
图像标记单元,用于根据所述人体部位特征信息和所述人体穴位信息,在所述人体图像上标记出每个人体部位上的人体穴位,以得到标记图像;
信息匹配单元,用于获取目标穴位信息,根据所述标记图像对所述目标穴位信息进行匹配;
信息显示单元,用于若根据所述标记图像对所述目标穴位信息匹配成功,将所述目标穴位信息实时显示在所述标识图像上。
第三方面,本申请还提供了一种计算机设备,所述计算机设备包括存储器和处理器;所述存储器用于存储计算机程序;所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如上述的穴位识别方法。
第四方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上述的穴位识别方法。
本申请公开了一种穴位识别方法、装置、设备及存储介质,通过获取视频流信息,确定所述视频流信息中的人体图像;提取所述人体图像对应的人体部位特征信息;将所述人体部位特征信息输入至预先训练的穴位识别模型进行识别,以输出人体穴位信息;根据所述人体部位特征信息和所述人体穴位信息,在所述人体图像上标记出每个人体部位上的人体穴位,以得到标记图像;获取目标穴位信息,根据所述标记图像对所述目标穴位信息进行匹配;若根据所述标记图像对所述目标穴位信息匹配成功,将所述目标穴位信息显示在所述标识图像上。该方法可以准确地对目标穴位进行识别,适用于穴位治疗时人体穴位的识别。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请的实施例提供的一种穴位识别模型的训练方法的示意流程图;
图2是图1中的穴位识别方法的子步骤示意流程图;
图3是本申请的实施例提供的一种穴位识别方法的示意流程图;
图4是图3中的穴位识别方法的子步骤示意流程图;
图5是图3中的穴位识别方法的另一子步骤示意流程图;
图6是图3中的穴位识别方法的再一子步骤示意流程图;
图7是图3中的穴位识别方法的又一子步骤示意流程图;
图8是本申请实施例提供的另一种穴位识别方法的示意流程图;
图9是本申请实施例提供的一种模型训练装置的示意性框图;
图10是本申请的实施例提供的一种穴位识别装置的示意性框图;
图11是图10中穴位识别装置的子单元的示意性框图;
图12是图10中穴位识别装置的另一子单元的示意性框图;
图13是图10中穴位识别装置的再一子单元的示意性框图;
图14是图10中穴位识别装置的又一子单元的示意性框图;
图15为本申请一实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
本申请的实施例提供了一种穴位识别方法、装置、计算机设备及存储介质。其中,该穴位识别方法可以应用于终端或服务器中,以准确地识别目标穴位。
例如,穴位识别方法用于穴位按摩时对目标穴位进行识别,当然也可以用于对其他应用场合中对目标穴位进行识别,比如针灸等。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参阅图1,图1是本申请的实施例提供的一种穴位识别模型的训练方法的示意流程图。该穴位识别模型是基于神经网络进行模型训练得到的,当然也可以采用其他网络进行训练得到。
需要说明的是,在本实施例中,使用yolov3进行模型训练以得到穴位识别模型,当然也可以采用其他网络,比如采用alexnet、vggnet或googlenet等。以下将以yolov3为例进行介绍。
如图1所示,该穴位识别模型的训练方法,用于训练出目标识别模型以便应用在穴位识别方法上。其中,该训练方法包括步骤s110至步骤s150。
s110、获取人体样本图像。
其中,所述人体样本图像为从不同角度拍摄的多个人物的图片。在本实施例中,选取人物包括不同年龄、性别的人体,并从人体的不同角度去拍摄的图片作为人体样本图像,该人体样本图像构成样本图像集,用于训练穴位识别模型。
s120、对各所述人体样本图像中的人体穴位进行标记,得到标记样本图像。
具体的,在获取大量的人体样本图像后,分别对每张人体样本图像中的人体穴位进行标记。其中,标记的内容包括在人体穴位所在的位置处的标识点和对应的人体穴位名称。
在一实施例中,对各所述人体样本图像中的人体穴位进行标记,得到标记样本图像,具体包括:在各所述人体样本图像中人体穴位所在位置处添加标识点和人体穴位名称。
s130、对所述标记样本图像进行图像处理操作以改变所述标记样本图像的图片参数,将改变图片参数的目标图片作为新的标记样本图像。
为了提高穴位识别模型的准确度,需对每个标记样本图像进行图像处理操作以改变所述标记样本图像的图片参数。
其中,图像处理操作包括:尺寸调整、裁剪处理、旋转处理和图像算法处理等等;图像算法处理包括:调整色温算法、调整曝光算法、调整对比度算法、高光恢复算法、低光补偿算法、白平衡算法、调整清晰度算法、雾化算法索引、调整自然饱和度算法。通过这些图像处理操作可以增加样本数据的多样性,使得样本数据更贴近真实拍摄的图片。
相应地,图片参数包括尺寸信息、像素大小、色温参数、曝光度、对比度、白平衡、清晰度、雾化参数和自然饱和度等。
需要说明的是,对所述标记样本图像进行图像处理操作以改变所述标记样本图像的图片参数,将改变图片参数的标记样本图像作为新的标记样本图像,是指分别对标记样本图像进行上述多种图像处理操作中的一种或几种结合以改变所述标记样本图像的图片参数。进而增加样本的多样性,同时使得样本更能代表现实环境,由此提高了模型的识别准确度。
s140、根据新的标记样本图像与所述标记样本图像构建样本数据。
具体地,保存改变图片参数的标记样本图像作为新的标记样本图像,将该新的标记样本图像和原来的标记样本图像一起构成样本数据。进而增加样本数量,同时又增加了样本的多样性。
s150、基于神经网络,根据所述样本数据进行模型训练以得到穴位识别模型,并将得到的穴位识别模型作为预先训练的穴位识别模型。
具体的,使用构建的样本数据,通过yolov3进行模型训练,具体的可以采用反向传播训练,使用yolov3的卷积层从输入样本数据中提取特征,使用全连接层用来做分类器,该分类器的输出是不同穴位的概率值。
将上述样本数据中的部分图片作为标定数据(groundtruth),利用准备的样本数据通过大规模迭代训练,让yolov3在学习图像语义信息后输出每个穴位的输出概率,使用输出概率与标定数据(groundtruth)的定义损失函数(loss),在模型训练中尽量缩小损失函数(loss),来保证模型的准确度,以完成模型训练。
如图2所示,在一实施例中,步骤s150基于神经网络模型,根据所述样本数据进行模型训练以得到穴位识别模型,并将得到的穴位识别模型作为预先训练的穴位识别模型,具体包括:
s151、根据预先设置的人体部位分割器,对所述样本数据中的图像进行区域分割,以获得部位样本子图像集。
具体的,根据预先设置的人体部位分割器,将所述样本数据中的每张图像进行区域分割,得到各部位对应的子图像。在一实施例中,为了提高人体各部位的识别准确度和速度,可以根据不同人体部位选择不同的人工智能算法进行模型训练,以得到不同人体部位的分割器。例如,采用adaboost算法训练人体识别度高的部位,采用cnn卷积神经网络算法训练人体的其他部位。
示例性的,所述部位样本子图像集包括人脸样本子图像集、胸腹样本子图像集、背部样本子图像集和肢体样本子图像集。样本数据中的每张图像可以划分为人脸样本子图像、胸腹样本子图像、背部样本子图像和肢体样本子图像。样本数据中包含多张样本图像,每张样本图像均通过人体部位分割器进行区域划分,得到人脸样本子图像、胸腹样本子图像、背部样本子图像和肢体样本子图像。
其中,多张样本图像对应的多张人脸样本子图像构成人脸样本子图像集,用于训练人脸穴位识别子模型。多张样本图像对应的多张胸腹样本子图像构成胸腹样本子图像集,用于训练胸腹穴位识别子模型。多张样本图像对应的多张背部样本子图像构成背部样本子图像集,用于训练背部穴位识别子模型。多张样本图像对应的多张肢体样本子图像构成肢体样本子图像集,用于训练肢体穴位识别子模型。
s152、分别提取所述部位样本子图像集中的人体部位样本特征和人体穴位样本特征。
其中,人体部位样本特征包括人脸样本特征、胸腹样本特征、背部样本特征和肢体样本特征。所述人体穴位样本特征包括人脸穴位样本特征、胸腹穴位样本特征、背部穴位样本特征和肢体穴位样本特征。
示例性的,以人体部位为人脸为例进行说明,人脸样本特征包括人脸的边界框在样本图像中的位置信息和尺寸信息。人脸穴位样本特征包括人脸穴位在人脸上所处的位置的特征,以及标记的人体穴位名称。比如,提取出的人脸样本特征包括人脸的边界框在样本图像中的位置信息和尺寸信息,提取出的人体穴位样本特征可以包括在鼻翼外缘中点旁的位置,以及标记的人体穴位名称“迎香穴”。同理,对于人体的其他部位例如胸腹、背部和肢体,其人体部位样本特征和人体穴位样本特征可以参照人脸样本特征和人脸穴位样本特征,在此不再赘述。
s153、建立所述人体部位样本特征和所述人体穴位样本特征之间的对应关系。
其中,所述人体部位样本特征和所述人体穴位样本特征之间的对应关系包括:所述人脸样本特征和所述人脸穴位样本特征之间的对应关系,所述胸腹样本特征和所述胸腹穴位样本特征之间的对应关系,所述背部样本特征和所述背部穴位样本特征之间的对应关系,所述肢体部位样本特征和所述肢体穴位样本特征之间的对应关系。
示例性的,以人体部位为人脸为例进行说明,在提取出该部位样本子图像集中的人脸的边界框在样本图像中的位置信息和尺寸信息,人脸穴位在人脸上所处的位置的特征以及人体穴位名称之后,建立上述三者之间的对应关系。对于人体的其他部位例如胸腹、背部和肢体,其人体部位样本特征和人体穴位样本特征之间的对应关系可以参照上述方法进行建立,在此不再赘述。
s154、基于所述人体部位样本特征和所述人体穴位样本特征之间的对应关系,训练神经网络,以得到穴位识别模型,并将得到的穴位识别模型作为预先训练的穴位识别模型。
具体的,穴位识别模型包括人脸穴位识别子模型、胸腹穴位识别子模型、背部穴位识别子模型和肢体穴位识别子模型。
基于所述人体部位样本特征和所述人体穴位样本特征之间的对应关系,训练神经网络,以得到穴位识别模型,并将得到的穴位识别模型作为预先训练的穴位识别模型,并将得到的穴位识别模型作为预先训练的穴位识别模型,包括:
基于所述人脸样本特征和所述人脸穴位样本特征之间的对应关系,训练第一神经网络,以得到人脸穴位识别子模型,并将得到的人脸穴位识别子模型作为预先训练的人脸穴位识别子模型;
基于所述胸腹样本特征和所述胸腹穴位样本特征之间的对应关系,训练第二神经网络,以得到胸腹穴位识别子模型,并将得到的胸腹穴位识别子模型作为预先训练的胸腹穴位识别子模型;
基于所述背部样本特征和所述背部穴位样本特征之间的对应关系,训练第二神经网络,以得到背部穴位识别子模型,并将得到的背部穴位识别子模型作为预先训练的背部穴位识别子模型;
基于所述肢体样本特征和所述肢体穴位样本特征之间的对应关系,训练第四神经网络,以得到肢体穴位识别子模型,并将得到的肢体穴位识别子模型作为预先训练的肢体穴位识别子模型。
在本实施例中,第一神经网络、第二神经网络、第三神经网络和第四神经网络均可以使用yolov3进行模型训练以分别得到人脸穴位识别子模型、胸腹穴位识别子模型、背部穴位识别子模型、肢体穴位识别子模型。
上述实施例提供的训练方法,通过拍摄多个人体位于不同角度的人体样本图像,对各所述人体样本图像中的人体穴位进行标记,利用图像处理操作对标记样本图像进行处理以增加样本数据的多样性;基于神经网络,根据构建的样本数据进行模型训练以得到穴位识别模型,,并将得到的穴位识别模型作为预先训练的穴位识别模型应用于穴位识别方法中,由此可提高穴位的识别准确度。
请参阅图3,图3是本申请的实施例提供的一种穴位识别方法的示意流程图。该穴位识别方法可以应用在终端或服务器中,以准确地从视频流信息中识别显示出目标穴位。
如图3所示,该穴位识别方法,具体包括步骤s210至步骤s260。
s210、获取视频流信息,确定所述视频流信息中的人体图像。
具体地,通过具有拍摄功能的用户终端对目标人物进行视频流信息采集。在一实施例中,将该视频流信息分为多个子视频流信息,这样能够在一定程度上保证实际获得的子视频流信息的时长与预设的固定时长相等,从而有效减小处理视频流信息的过程中产生的误差。其中,该视频流信息中的视频帧率可以为60fps,且视频流信息中的视频格式可以包括mp4格式、mpg、mpeg、dat或avi等格式。
如图4所示,在一实施例中,确定所述视频流信息中的人体图像,具体可以包括:
s211、对所述视频流信息进行分帧处理,以得到若干单帧图像。
具体地,视频流信息是由一张张连续的图片组成的,每幅图片为一帧,在将视频流信息进行分帧之前,首先要将用户终端采集到的视频流信息进行格式处理,例如将视频流信息转换为yuv格式的视频流信息,然后将yuv格式的视频流信息输入到服务器中的视频分帧器进行分帧处理,最后得到该视频流信息的多组单帧图像。
s212、对各所述单帧图像进行人体筛选,以获得具有人体的筛选图像。
具体的,对单帧图像信息进行细分过滤筛选,包括对各单帧图像进行比对及帅选,比如直接过滤非人像图片、模糊度较高的图像,而不进行下一步处理;对于同一批次图像进行相似度比较,比如若特征相似度大于90%,仅保留其中一张图像,过滤掉其他相似图像。
s213、对所述筛选图像进行几何归一化和灰度归一化,以得到所述人体图像。
具体的,几何归一化是根据各个部位定位结果将图像中各个部位变换到同一位置和同样大小。灰度归一化是指对图像进行光照补偿等处理,光照补偿能够一定程度地克服光照变化的影响,由此提高人体图像的真实性,进而提高后续穴位识别的准确度。
示例性的,通过该人体图像构建基于人体的坐标系,根据人体的坐标系对该人体所在的区域进行灰度处理,以获得人体的灰度图。将该灰度图转换为数组,根据该数组提取人体特征信息。根据灰度图转换的数组包括人体轮廓特征、人体灰度分布特征(镶嵌图特征、直方图特征等)、器官特征(对称性等)、模版特征等。由于数组特征蕴含了人体大部分的信息,所以适合用于人体检测,特别是人体特征信息的提取以及人体定位工作等。当然,需要说明的是,由于灰度的差异,在转换为灰度图之前先对图像进行预处理,该预处理包括:平滑处理去除图像中的噪声等、锐化处理对图像进行边缘增强等,二值化处理等。
s220、提取所述人体图像对应的人体部位特征信息。
具体的,人体部位特征信息是在所述人体图像中通过人工智能检测出人体并将人体从背景中分离出来,将分离出来后的人体输入至人体穿戴模型对用户当前的穿戴情况进行判断并提取相关的人体部位特征信息,以排除背景干扰,使人体图像更加真实,由此提高了人体部位特征信息的提取准确度,进而提高后续穴位的识别准确度。
其中,所述人体图像包括人脸子图像、胸腹子图像、背部子图像和肢体子图像等。所述人体部位特征信息包括人脸特征信息、胸腹特征信息、背部特征信息和肢体特征信息等。
该人体部位特征信息包括人脸特征信息、胸腹特征信息、背部特征信息和肢体特征信息等。
如图5所示,在一实施例中,步骤s220提取所述人体图像对应的人体部位特征信息,具体包括:
s221、根据预设的人体部位分割模型,对所述人体图像进行区域分割,以确定所述人体部位的边界框。
具体地,根据预设的人体部位分割模型,将所述人体图像中的人体按不同部位进行区域划分,如人脸、胸腹、背部和肢体等,以确定人体部位的边界框,即人脸的边界框、胸腹的边界框、背部的边界框和肢体的边界框等。人脸的边界框内的图像作为人脸子图像,胸腹的边界框作为胸腹子图像,背部的边界框作为背部子图像,肢体的边界框作为肢体子图像。
在本实施例中,预设的人体部位分割模型可以为采用大量的人体样本信息对adaboost算法或cnn卷积神经网络算法等进行训练所得到的模型。
在一实施例中,基于预设的人体部位分割模型,根据人体部位在人体图像中的最大的水平宽带和竖直长度,对该人体图像按不同人体部位进行区域分割,从而确定人体部位对应的边界框。
s222、提取所述边界框对应的人体部位特征信息,所述人体部位特征信息包括所述边界框在所述人体图像中的位置信息和尺寸信息。
具体的,获取上述边界框的中心坐标值作为所述位置信息,并提取最大的水平宽带和竖直长度作为尺寸信息,进而可得到边界框的位置信息和尺寸信息。
在本实施例中,提取所述边界框对应的人体部位特征信息,所述人体部位特征信息包括所述边界框在所述人体部位子图像中的位置信息和尺寸信息,具体包括:
提取人脸的边界框对应的人脸特征信息,所述人脸特征信息包括所述人脸的边界框在所述人体图像中的位置信息和尺寸信息;提取胸腹的边界框对应的胸腹特征信息,所述胸腹特征信息包括所述胸腹的边界框在所述人体图像中的位置信息和尺寸信息;提取背部的边界框对应的背部特征信息,所述背部特征信息包括所述背部的边界框在所述人体图像中的位置信息和尺寸信息;提取肢体的边界框对应的肢体特征信息,所述肢体特征信息包括所述肢体的边界框在所述人体图像中的位置信息和尺寸信息。
s230、将所述人体部位特征信息输入至预先训练的穴位识别模型进行识别,以输出人体穴位信息。
具体的,预先训练的穴位识别模型为采用上述穴位识别模型的训练方法训练得到的穴位识别模型。该穴位识别模型包括人脸穴位识别子模型、胸腹穴位识别子模型、背部穴位识别子模型和肢体穴位识别子模型。
如图6所示,在一实施例中,步骤s230将所述人体部位特征信息输入至预先训练的穴位识别模型进行识别,以输出人体穴位信息,具体包括:
s231、根据所述人脸特征信息,将所述人脸子图像输入至预先训练的人脸穴位识别子模型进行识别检测,以输出所述人脸子图像对应的人脸穴位信息。
具体的,当人体部位为人脸时,该人脸穴位识别子模型可能识别出的人脸穴位信息包括人脸穴位名称信息和人脸穴位在人脸上所处的位置信息。比如,识别的人脸穴位名称信息为“人中”,人脸穴位在人脸上所处的位置信息为“鼻下上嘴唇沟的上三分之一与下三分之二交界处”。
s232、根据所述胸腹特征信息,将所述胸腹子图像输入至预先训练的胸腹穴位识别子模型进行识别检测,以输出所述胸腹子图像对应的胸腹穴位信息。
具体的,当人体部位为胸腹时,该胸腹穴位识别子模型可能识别出的胸腹穴位信息包括胸腹穴位名称信息和胸腹穴位在胸腹上所处的位置信息。比如,识别的胸腹穴位名称信息为“关门”,胸腹穴位在胸腹上所处的位置信息为“人体的上腹部,当脐中上3寸,距前正中线2寸”。
s233、根据所述背部特征信息,将所述背部子图像输入至预先训练的背部穴位识别子模型进行识别检测,以输出所述背部子图像对应的背部穴位信息。
具体的,当人体部位为背部时,该背部穴位识别子模型可能识别出的背部穴位信息包括背部穴位名称信息和背部穴位在背部上所处的位置信息。比如,识别的背部穴位名称信息为“肝俞”,背部穴位在背部上所处的位置信息为“人体的背部,第九胸椎棘突下,旁开1.5寸”。
s234、根据所述肢体特征信息,将所述肢体子图像输入至预先训练的肢体穴位识别子模型进行识别检测,以输出所述肢体子图像对应的肢体穴位信息。
具体的,当人体部位为肢体时,该背部穴位识别子模型可能识别出的肢体穴位信息包括肢体穴位名称信息和肢体穴位在肢体上所处的位置信息。比如,识别的肢体穴位名称信息为“内关”,肢体穴位在背部上所处的位置信息为“前臂掌侧,当曲泽与大陵的连线上,腕横纹上2寸,掌长肌腱与桡侧腕屈肌腱之间”。
s240、根据所述人体部位特征信息和所述人体穴位信息,在所述人体图像上标记出每个人体部位上的人体穴位,以得到标记图像。
具体的,根据根据所述人体部位特征信息和所述人体穴位信息,在所述人体图像上标记出每个人体部位上的人体穴位,以得到标记图像,包括在所述人体图像中的人体穴位处显示模型输出的名称。当然也可以采用其他的标注方式,对所述人体图像中的人体穴位进行标记。由此通过对人体穴位进行标记,得到标记图像。
s250、获取目标穴位信息,根据所述标记图像对所述目标穴位信息进行匹配。
具体的,目标穴位信息是根据用户终端输入而获得的穴道信息,或者通过所述单帧图像信息获得与人体当前症状匹配而获得的穴道信息。
如图7所示,在一实施例中,步骤s250获取目标穴位信息,根据所述标记图像对所述目标穴位信息进行匹配,包括:
s251、将所述标记图像中的人体穴位信息与所述目标穴位信息输入预先训练的相似度模型,以输出相似度校验结果。
具体的,所述标记图像中的人体穴位信息可以包括人体穴位位置信息,目标穴位信息可以包括目标穴位位置信息。
在一实施例中,可以将所述目标穴位信息和所述标记图像中的各人体穴位信息输入该相似度模型,从而输出所述标记图像中的人体穴位信息与所述目标穴位信息的相似度校验结果。相似度模型可以是基于初始神经网络进行训练获得。初始神经网络可以是各种神经网络,例如,卷积神经网络、循环神经网络、长短期记忆神经网络等。
s252、若所述相似度校验结果表示所述标记图像中的人体穴位信息与所述目标穴位信息相似,判定所述根据所述标记图像对所述目标穴位信息匹配成功。
具体的,所述相似度校验结果可以但不限于以数字的形式输出。比如,将所述标记图像中的人体穴位信息与所述目标穴位信息输入相似度模型,若输出“1”,则表示所述标记图像中的人体穴位信息与所述目标穴位信息相似,判定所述根据所述标记图像对所述目标穴位信息匹配成功。
s253、若所述相似度校验结果表示所述标记图像中的人体穴位信息与所述目标穴位信息不相似,判定所述根据所述标记图像对所述目标穴位信息匹配不成功。
比如,若相似度模型输出的所述相似度校验结果为“0”,表示所述标记图像中的人体穴位信息与所述目标穴位信息不相似,判定所述根据所述标记图像对所述目标穴位信息匹配不成功。
s260、若根据所述标记图像对所述目标穴位信息匹配成功,将所述目标穴位信息显示在所述标识图像上。
具体的,在所述标识图像中进行目标穴位信息对应的人体穴位信息的显示,可以在原图像中进行显示,或者在原图像的基础上增加一层带有目标穴位信息对应的人体穴位信息的图像,通过图像融合技术实现在原图像上增加目标穴位信息对应的人体穴位信息的效果。显示方式可以通过高亮或闪烁的方法进行显示,以方便对目标人体的目标穴位识定位,便于保证后续的穴位治疗的治疗效果。
如图8所示,在一实施例中,所述根据所述标记图像对所述目标穴位信息进行匹配之后,还包括:
s270、若根据所述标记图像对所述目标穴位信息匹配不成功,生成用于提示所述目标穴位信息对应的目标人体部位信息。
具体的,目标人体部位信息包括目标人体部位名称和目标人体部位在人体上的位置信息。若根据所述标记图像对所述目标穴位信息匹配不成功,根据所述目标穴位信息生成对应的目标人体部位名称和对应的目标人体部位在人体上的位置信息。
s280、显示所述目标人体部位信息,以提示用户调整摄像头的拍摄角度和距离,从而得到具有目标人体部位的视频流信息。
在生成所述目标穴位信息对应的目标人体部位信息后,可以在标记图像上显示所述目标人体部位信息。用户看到该目标人体部位信息后,调整摄像头的拍摄角度和距离,直至能够拍摄到具有目标人体部位的视频流信息,以便于后续识别视频流信息中的目标穴位。
上述实施例提供的穴位识别方法,通过获取视频流信息,确定所述视频流信息中的人体图像;提取所述人体图像对应的人体部位特征信息;将所述人体部位特征信息输入至预先训练的穴位识别模型进行识别,以输出人体穴位信息;根据所述人体部位特征信息和所述人体穴位信息,在所述人体图像上标记出每个人体部位上的人体穴位,以得到标记图像;获取目标穴位信息,根据所述标记图像对所述目标穴位信息进行匹配;若根据所述标记图像对所述目标穴位信息匹配成功,将所述目标穴位信息显示在所述标识图像上。进而提高目标穴位的识别准确性。
请参阅图9,图9是本申请一实施例提供的一种模型训练装置的示意性框图,该模型训练装置可以配置于服务器中,用于执行前述的穴位识别模型的训练方法。
如图9所示,该模型训练装置300,包括:图片获取单元310、穴位标记单元320、参数改变单元330、数据构建单元340和模型训练单元350。
图像获取单元310,用于获取人体样本图像。
穴位标记单元320,用于对各所述人体样本图像中的人体穴位进行标记,得到标记样本图像。
参数改变单元330,用于对所述标记样本图像进行图像处理操作以改变所述标记样本图像的图片参数,将改变图片参数的目标图片作为新的标记样本图像。
数据构建单元340,用于根据新的标记样本图像与所述标记样本图像构建样本数据。
模型训练单元350,用于基于神经网络,根据所述样本数据进行模型训练以得到穴位识别模型,并将得到的穴位识别模型作为预先训练的穴位识别模型。
请参阅图10,图10是本申请的实施例还提供一种穴位识别装置的示意性框图,该穴位识别装置用于执行前述的穴位识别方法。其中,该穴位识别装置可以配置于服务器或终端中。
如图10所示,该穴位识别装置400,包括:图像确定单元410、信息提取单元420、信息输出单元430、图像标记单元440、信息匹配单元450和信息显示单元460。
图像确定单元410,用于获取视频流信息,确定所述视频流信息中的人体图像。
信息提取单元420,用于提取所述人体图像对应的人体部位特征信息。
信息输出单元430,用于将所述人体部位特征信息输入至预先训练的穴位识别模型进行识别,以输出人体穴位信息。
图像标记单元440,用于根据所述人体部位特征信息和所述人体穴位信息,在所述人体图像上标记出每个人体部位上的人体穴位,以得到标记图像。
信息匹配单元450,用于获取目标穴位信息,根据所述标记图像对所述目标穴位信息进行匹配。
信息显示单元460,用于若根据所述标记图像对所述目标穴位信息匹配成功,将所述目标穴位信息显示在所述标识图像上。
如图11,在一实施例中,图像确定单元410包括:分帧处理单元411、人体筛选单元412和图像处理单元413。
分帧处理单元411,用于对所述视频流信息进行分帧处理,以得到若干单帧图像。
人体筛选单元412,用于对各所述单帧图像进行人体筛选,以获得具有人体的筛选图像。
图像处理单元413,用于对所述筛选图像进行几何归一化和灰度归一化,以得到所述人体图像。
如图12所示,在一实施例中,信息提取单元420,包括:图像分割单元421和特征提取单元422。
图像分割单元421,用于根据预设的人体部位分割模型,对所述人体图像进行区域分割,以确定人体部位的边界框;
特征提取单元422,用于提取所述边界框对应的人体部位特征信息,所述人体部位特征信息包括所述边界框在所述人体图像中的位置信息和尺寸信息。
在一实施例中,所述人体图像包括人脸子图像、胸腹子图像、背部子图像和肢体子图像,所述人体部位特征信息包括人脸特征信息、胸腹特征信息、背部特征信息和肢体特征信息。
如图13所示,信息输出单元430,包括:人脸识别单元431、胸腹识别单元432、背部识别单元433和肢体识别单元434。
人脸识别单元431,用于根据所述人脸特征信息,将所述人脸子图像输入至预先训练的人脸穴位识别子模型进行识别检测,以输出所述人脸子图像对应的人脸穴位信息;
胸腹识别单元432,用于根据所述胸腹特征信息,将所述胸腹子图像输入至预先训练的胸腹穴位识别子模型进行识别检测,以输出所述胸腹子图像对应的胸腹穴位信息;
背部识别单元433,用于根据所述背部特征信息,将所述背部子图像输入至预先训练的背部穴位识别子模型进行识别检测,以输出所述背部子图像对应的背部穴位信息;
肢体识别单元434,根据所述肢体特征信息,将所述肢体子图像输入至预先训练的肢体穴位识别子模型进行识别检测,以输出所述肢体子图像对应的肢体穴位信息。
如图14,在一实施例中,信息匹配单元450包括:校验输出单元451、第一判定单元452和第二判定单元453。
校验输出单元451,用于将所述标记图像中的人体穴位信息与所述目标穴位信息输入预先训练的相似度模型,以输出相似度校验结果;
第一判定单元452,用于若所述相似度校验结果表示所述标记图像中的人体穴位信息与所述目标穴位信息相似,判定所述根据所述标记图像对所述目标穴位信息匹配成功;
第二判定单元453,用于若所述相似度校验结果表示所述标记图像中的人体穴位信息与所述目标穴位信息不相似,判定所述根据所述标记图像对所述目标穴位信息匹配不成功。
如图10所示,在一实施例中,该穴位识别装置400,还包括:信息生成单元470和部位显示单元480。
信息生成单元470,用于若根据所述标记图像对所述目标穴位信息匹配不成功,生成用于提示所述目标穴位信息对应的目标人体部位信息。
部位显示单元480,用于显示所述目标人体部位信息,以提示用户调整摄像头的拍摄角度和距离,从而得到具有目标人体部位的视频流信息。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和各单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
上述的装置可以实现为一种计算机程序的形式,该计算机程序可以在如图15所示的计算机设备上运行。
请参阅图15,图15是本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器或终端。
参阅图15,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口,其中,存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令,该程序指令被执行时,可使得处理器执行任意一种穴位识别方法。
处理器用于提供计算和控制能力,支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境,该计算机程序被处理器执行时,可使得处理器执行任意一种穴位识别方法。
该网络接口用于进行网络通信,如发送分配的任务等。本领域技术人员可以理解,图15中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
应当理解的是,处理器可以是中央处理单元(centralprocessingunit,cpu),该处理器还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中,在一个实施例中,所述处理器用于运行存储在存储器中的计算机程序,以实现如下步骤:
获取实时录像,确定所述实时录像中的运动目标;提取所述运动目标的边界框以及所述边界框对应的数据信息,所述数据信息包括所述边界框在所述实时录像中的位置信息和尺寸信息;根据所述数据信息将所述边界框中的图像输入至预先训练的目标识别模型进行识别检测,以输出所述运动目标对应的分类类别;根据所述分类类别对所述实时录像中的运动目标进行标注。
在一个实施例中,所述处理器在实现所述确定所述实时录像中的运动目标时,用于实现:
获取视频流信息,确定所述视频流信息中的人体图像;用于提取所述人体图像对应的人体部位特征信息;将所述人体部位特征信息输入至预先训练的穴位识别模型进行识别,以输出人体穴位信息;根据所述人体部位特征信息和所述人体穴位信息,在所述人体图像上标记出每个人体部位上的人体穴位,以得到标记图像;获取目标穴位信息,根据所述标记图像对所述目标穴位信息进行匹配;若根据所述标记图像对所述目标穴位信息匹配成功,将所述目标穴位信息显示在所述标识图像上。
在一个实施例中,所述处理器在实现所述确定所述视频流信息中的人体图像时,用于实现:
对所述视频流信息进行分帧处理,以得到若干单帧图像;对各所述单帧图像进行人体筛选,以获得具有人体的筛选图像;对所述筛选图像进行几何归一化和灰度归一化,以得到所述人体图像。
在一个实施例中,所述处理器在实现所述提取所述人体图像对应的人体部位特征信息时,用于实现:
根据预设的人体部位分割模型,对所述人体图像进行区域分割,以确定人体部位的边界框;提取所述边界框对应的人体部位特征信息,所述人体部位特征信息包括所述边界框在所述人体图像中的位置信息和尺寸信息。
在一个实施例中,所述人体图像包括人脸子图像、胸腹子图像、背部子图像和肢体子图像,所述人体部位特征信息包括人脸特征信息、胸腹特征信息、背部特征信息和肢体特征信息。
所述处理器在实现所述将所述人体部位特征信息输入至预先训练的穴位识别模型进行识别,以输出人体穴位信息时,用于实现:根据所述人脸特征信息,将所述人脸子图像输入至预先训练的人脸穴位识别子模型进行识别检测,以输出所述人脸子图像对应的人脸穴位信息;根据所述胸腹特征信息,将所述胸腹子图像输入至预先训练的胸腹穴位识别子模型进行识别检测,以输出所述胸腹子图像对应的胸腹穴位信息;根据所述背部特征信息,将所述背部子图像输入至预先训练的背部穴位识别子模型进行识别检测,以输出所述背部子图像对应的背部穴位信息;根据所述肢体特征信息,将所述肢体子图像输入至预先训练的肢体穴位识别子模型进行识别检测,以输出所述肢体子图像对应的肢体穴位信息。
在一实施例中,所述处理器在实现所述根据所述标记图像对所述目标穴位信息进行匹配时,用于实现:
将所述标记图像中的人体穴位信息与所述目标穴位信息输入预先训练的相似度模型,以输出相似度校验结果;若所述相似度校验结果表示所述标记图像中的人体穴位信息与所述目标穴位信息相似,判定所述根据所述标记图像对所述目标穴位信息匹配成功;若所述相似度校验结果表示所述标记图像中的人体穴位信息与所述目标穴位信息不相似,判定所述根据所述标记图像对所述目标穴位信息匹配不成功。
在一实施例中,所述处理器在实现所述根据所述标记图像对所述目标穴位信息进行匹配之后,用于实现:
若根据所述标记图像对所述目标穴位信息匹配不成功,生成用于提示所述目标穴位信息对应的目标人体部位信息;显示所述目标人体部位信息,以提示用户调整摄像头的拍摄角度和距离,从而得到具有目标人体部位的视频流信息。
其中,在另一实施例中,所述处理器用于运行存储在存储器中的计算机程序,以实现如下步骤:
获取若干人体样本图像;对各所述人体样本图像中的人体穴位进行标记;基于神经网络,根据标记后的若干人体样本图像进行模型训练以得到穴位识别模型,并将得到的穴位识别模型作为预先训练的穴位识别模型。
本申请的实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序中包括程序指令,所述处理器执行所述程序指令,实现本申请实施例提供的任一项穴位识别方法。
其中,所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元,例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备,例如所述计算机设备上配备的插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。