关键点标注方法、装置、计算机设备及存储介质与流程

文档序号:18475902发布日期:2019-08-20 21:03阅读:251来源:国知局
关键点标注方法、装置、计算机设备及存储介质与流程

本发明涉及人机交互技术领域,特别涉及一种关键点标注方法、装置、计算机设备及存储介质。



背景技术:

手势识别是人机交互中的一种很重要的技术,用户可以通过手势操作来触发计算机设备执行某些功能。为了识别出用户的手势操作,则需要训练用于对手势进行识别的深度学习模型,在训练时需要大量的训练数据,该训练数据可以是已经对手势关键点进行标注后的图片,因此,如何对图片进行关键点标注至关重要。

目前,在进行关键点标注时,主要运用运动模拟引擎知识和相关编程技术,模拟不同的人物在不同场景中的运动,可直接得到不同场景中人物手势关键点的位置,进而在标注后,可以对多个关键点进行连接以得到关键点线条,用线条表示手势骨架。

由于使用计算机技术模拟人物时,其所模拟的人物手势与真实手势动作有一定的差别,而基于这种模拟进行标注的手势关键点的真实性、准确性均较差,也会导致所训练得到的模型的识别准确度也会比较低。



技术实现要素:

本发明实施例提供了一种关键点标注方法、装置、计算机设备及存储介质,能够解决相关技术在关键点标注时的真实性以及准确性问题,从而提高了训练模型的识别准确度。所述技术方案如下:

一方面,提供了一种关键点标注方法,所述方法包括:

显示标注参考图片和样本图片,所述标注参考图片包括多个第一关键点以及各个第一关键点的编号信息,所述各个第一关键点的编号信息用于指示进行关键点标注的标注顺序;

根据所述样本图片上的多个触发操作,在所述样本图片上标注多个第二关键点;

基于所述样本图片中已标注的多个第二关键点,获取所述样本图片的标注结果文件。

一方面,提供了一种关键点标注装置,所述装置包括:

显示模块,用于显示标注参考图片和样本图片,所述标注参考图片包括多个第一关键点以及各个第一关键点的编号信息,所述各个第一关键点的编号信息用于指示进行关键点标注的标注顺序;

标注模块,用于根据所述样本图片上的多个触发操作,在所述样本图片上标注多个第二关键点;

存储模块,用于基于所述样本图片中已标注的多个第二关键点,获取所述样本图片的标注结果文件。

一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如上述关键点标注方法所执行的操作。

一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如上述关键点标注方法所执行的操作。

本发明实施例提供的技术方案带来的有益效果是:

通过在标注过程中,在显示待标注的样本图片的同时,还提供标注参考图片的显示,从而使得标注者能够基于标注参考图片中各个关键点的位置以及编号信息等,来指导其标注过程,辅助标注者来判断标注的正确与否,能够有效的提高标注的准确性和真实性,从而提高了训练模型的识别准确度。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的关键点标注方法的实施场景图;

图2是本发明实施例提供的一种关键点标注方法的流程图;

图3是本发明实施例提供的一种标注界面的示意图;

图4是本发明实施例提供的又一种标注界面的示意图;

图5是本发明实施例提供的一种加密字符串的示意图;

图6是本发明实施例提供的一种已标注图片的展示界面图;

图7是本发明实施例提供的一张待标注的样本图片从导入应用程序到确认标注成功的过程的示意图;

图8是本发明实施例提供的一种关键点标注装置的结构示意图;

图9是本发明实施例提供的一种关键点标注装置的一种实现方式的结构示意图;

图10是本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。

图1是本发明实施例提供的关键点标注方法的实施场景图。在该实施场景包括至少一个计算机设备101以及至少一个服务器102,该至少一个计算机设备101可以包括用于进行关键点标注的计算机设备,还可以包括采集手势图像的计算机设备等,本发明实施例对此不做限定,该至少一个服务器102可以包括用于训练手势识别模型的服务器,还可以包括用于应用手势识别模型的服务器,当然,上述计算机设备上也可以配置有训练好的手势识别模型,以实现手势识别功能。计算机设备101与服务器102之间可以通过有线或无线网络进行通信,以便由计算机设备101将标注好的图片发送给服务器进行模型训练。

图2是本发明实施例提供的一种关键点标注方法的流程图。参见图2,该实施例具体包括:

201、计算机设备显示标注参考图片和样本图片,所述标注参考图片包括多个第一关键点以及各个第一关键点的编号信息,所述各个第一关键点的编号信息用于指示进行关键点标注的标注顺序。

计算机设备上可以安装有用于实现关键点标注功能的应用程序,当用户触发该应用程序的运行指令时,计算机设备可以响应于该运行指令,显示标注参考图片和待标注的样本图片。

在一种可能实现方式中,该应用程序可以提供多种不同类型的关键点标注功能,例如,手势关键点标注功能、人脸关键点标注功能、人体骨骼关键点标注功能以及其他任一种图片标注功能,相应地,计算机设备可以响应于该运行指令,显示应用程序的初始界面,该初始界面上包括多个功能选项,每个功能选项对应于一种图片标注功能。用户可以根据自身的标注需求,对任一功能选项进行触发操作,当计算机设备检测到对该功能选项的触发操作时,显示该功能选项对应的标注参考图片。例如,参见图3,当计算机设备检测到对手势关键点标注功能对应的功能选项的触发操作时,显示手势标注功能对应的标注参考图片。

标注参考图片中第一关键点的编号信息以数值形式进行表示,因此,数值大小顺序可以指示一种操作顺序,可以达到一种直观的提示效果,用户在进行触发操作时,只需要按照标注参考图片上第一关键点的编号从小到大的顺序进行标注即可。

其中,在显示标注参考图片时,该标注参考图片上可以包括目标物和目标物上多个关键点,每个关键点上还显示有该关键点的编号信息,仍然以图3所示的手势关键点标注功能为例,图3所示的是人手和人手上多个第一关键点,该多个第一关键点标出了手部每个关键点的位置,例如手腕、拇指尖、拇指第一指间关节、拇指掌指关节、大鱼际中心、食指、中指、无名指、小指的指尖、第一指间关节、第二指间关节以及掌指关节等21个关键点,该多个第一关键点上均标注有编号信息,例如图3中所示的编号0-20,且,多个第一关键点中的部分第一关键点之间具有连线,以表示第一关键点之间的预设连接关系。当然,对于手势关键点标注来说,该标注参考图片的第一关键点之间所形成的不同连线还可以采用不同的颜色来显示,以便区分人手骨架的不同分支。

在本发明实施例中,该待标注的样本图片可以由用户批量导入至该应用程序,该待标注的样本图片可以由外接存储设备中导入,也可以从该计算机设备上的任一存储区域内导入,当将样本图片导入至应用程序时,可以将样本图片存储至应用程序对应的文件夹中。当导入成功后,计算机设备可以显示该批量导入的样本图片中的任一样本图片。在显示时,可以采用如图3的显示方式,将标注参考图片(如图3中左图内的手势图片)显示在界面的左侧,将待标注的样本图片显示在界面的右侧,当然,根据用户的使用习惯,调换图片的显示区域,使得标注参考图片显示在界面的右侧,将待标注的样本图片显示在界面的左侧,也即是,该方法还包括:当接收到位置调换指令时,在界面中将标注参考图片与样本图片的显示位置进行调换,通过该调换功能,可以为用户提供更加符合使用习惯的界面显示方式。其中,该样本图片可以为被标注物的真实图片,例如人手图片等,因此,从而大大提高了标注的真实性。

当然,为了使得用户获知如何进行标注,可以在显示标注参考图片和待标注的图片时,显示操作提示信息,该操作提示信息用于指示如何根据标注参考图片上所显示的关键点来对待标注的图片进行标注,以达到用户能够正常使用的目的。例如,该操作提示信息可以是“请按照左图中的编号顺序依次点击有图中对应位置”。

202、计算机设备在该样本图片上检测到触发操作时,根据已标注的第二关键点,确定该触发操作对应的第二关键点的编号信息。

其中,触发操作可以是基于输入设备进行,例如,该触发操作可以通过用户对鼠标的触发实现,当然,对于触摸屏来说,该触发操作还可以是触摸操作,也即是,用户可以通过手指对屏幕的触摸来实现触发操作。

其中,已标注的第二关键点是指该样本图片上已经基于触发操作确定了坐标和编号信息的第二关键点。该根据已标注的第二关键点,确定所述触发操作对应的第二关键点的编号信息:对所述已标注的第二关键点中的最大编号信息加1,得到所述触发操作对应的第二关键点的编号信息。

对于该样本图片上的第一次触发操作来说,由于在此之前,该样本图片上还未进行任何标注,因此,对于第一次触发操作来说,其所标注的是编号信息为1的第二关键点。而对于第一次触发操作以后的任一次触发操作来说,其所标注的均应该是前一个已经标注完成的关键点的下一个关键点,也即是,该新标注的关键点的编号信息应该为已标注的关键点中最大编号信息之后的一个编号信息,例如,在本次触发操作之前的触发操作所标注完成的关键点的编号信息为10,则本次触发操作所标注的为编号信息是11的关键点。

203、计算机设备将所述触发操作的接触点坐标,确定为所述第二关键点在所述样本图片上的坐标,在所述触发点坐标上显示所述第二关键点以及所述第二关键点的编号信息。

在本发明实施例中,触发操作在该样本图片上会对应于一个接触点坐标,对于鼠标操作来说,该接触点坐标指的是鼠标的光标在该样本图片上的点击坐标,对于触摸操作来说,该触发点坐标指的是手指触摸在该样本图片上的触摸点坐标。其中,该所确定的坐标可以表示为:编号信息为1的关键点:(x1,y1),以使得关键点的编号信息和坐标能够对应。

在进行标注时,用户可以根据标注参考图片中多个第一关键点的位置,在待标注的样本图片上的相应位置上进行触发操作,计算机设备根据检测到的触发操作以及已标注的第二关键点,将已标注的第二关键点的下一个关键点确定为该触发操作对应的第二关键点,将该触发操作的接触点坐标确定为该第二关键点在样本图片上的坐标,计算机设备在样本图片中该第二关键点的坐标对应位置,显示该第二关键点以及该第二关键点的编号信息。

需要说明的是,在上述过程中,每通过触发操作标注一个第二关键点,则可以在样本图片上显示该已标注的第二关键点,以便提供直观的视觉效果,使得用户可以查看标注的是否正确,从而及时进行调整。

上述步骤202至203是计算机设备根据所述样本图片上的多个触发操作,在所述样本图片上标注多个第二关键点的过程,在该过程中,仅是对一次触发操作具体如何标注关键点为例进行说明的,在实际应用中,需要对每个检测到的触发操作均执行上述过程,以完成对样本图片中关键点的标注。

例如,参见图4,图4提供了一种标注界面的示意图。在手势关键点标注过程中,用户可以根据标注参考图片中多个第一关键点的骨架关节位置,在待标注的样本图片上的相应骨架关节位置上进行触发操作,计算机设备根据检测到的触发操作以及已标注的第二关键点,将已标注的第二关键点的下一个关键点确定为该触发操作对应的第二关键点,将该触发操作的触发点坐标确定为该第二关键点在图片上的坐标,计算机设备在界面上显示该第二关键点。该第二关键点可以以浮层的方式覆盖在该样本图片上的原始图层上进行显示。另外,该第二关键点可以采用彩色圆点表示,例如绿色等。

204、该计算机设备根据该多个第二关键点之间的预设连接关系,将预设连接关系所指示的第二关键点用线条连接,得到该至少一条关键点线条,在该样本图片上显示至少一条关键点连线。

对于具有不同编号信息的第二关键点来说,其编号信息之间是有预设连接关系的,也即是,该多个第二关键点之间具有预设连接关系,该预设连接关系用于体现哪些关键点属于同一个骨架分支。因此,当对样本图片的多个第二关键点标注完成时,可以基于预设连接关系,将多个第二关键点用线条连接起来。当然,该连接过程可以是在标注过程中进行,每标注一个第二关键点,则将该第二关键点与具有预设连接关系的已标注好的第二关键点用线条连接,并显示在样本图片上。可选地,处在骨架同一分支上的关键点连线可以采用同一种颜色表示,处在骨架不同分支上的关键点连线可以采用不同的颜色来显示,以便区分骨架的不同分支。

通过上述说明可以获知,上述标注过程和关键点连线的显示可以同时进行,也即是,当用户对所述图片进行触发操作时,计算机设备即显示该触发操作对应的第二关键点,若该触发操作对应的第二关键点与已标注的第二关键点存在预设连接关系,则计算机设备将它们连接,得到关键点线条,同时显示该关键点线条。

205、当接收到标注完成指令时,该计算机设备基于该多个第二关键点在该图片上的坐标进行加密,得到加密字符串,将该加密字符串存储至该样本图片的标注结果文件。

计算机设备采用预设密钥以及加密算法,对标注得到的各个第二关键点的坐标进行加密,得到加密字符串,以保证标注数据的安全性。该加密算法可以是des加密算法,当然,也可以采用其他加密算法,本发明实施例对此不做限定。

当用户对一张样本图片完成标注时,可以将该样本图片的标注结果存储至标注结果文件中。每张图片的标注结果可以存储为一个标注结果文件,当然,批量图片的标注结果也可以存储至一个标注结果文件。参见图5,当用户打开某个标注结果文件时,显示该样本图片的坐标经过加密后得到的加密字符串。

本发明实施例是以对标注好的坐标进行加密并存储为例进行说明,在一些实施例中,当计算机设备接收到标注完成指令时,还可以不执行上述步骤207中的加密过程,而直接将标注好的坐标存储为样本图片的标注结果文件,以用于后续的训练过程。

206、当计算机设备接收到图片查看指令时,对该样本图片的标注结果文件中的加密字符串进行解密,基于解密后得到的数据,在该样本图片上显示该样本图片的多个第二关键点、各个第二关键点的编号信息以及由该多个第二关键点连接得到的线条。

计算机设备还可以提供图片查看功能,以便用户确认标注结果的正确性。当用户在应用程序上触发的图片查看指令时,计算机设备接收到该图片查看指令并响应于该指令,显示标注结果文件中的图片标注结果。参见图6,图6所示的是该样本图片的多个第二关键点、编号信息以及由多个第二关键点连接得到的线条。

可选地,当坐标是经过加密后存储,则计算机设备可以基于该图片标注结果文件中的加密字符串,采用与步骤205相同或相匹配的密钥进行解密,得到解密后的数据。

需要说明的是,在该查看过程中,可以基于图片以及关键点的显示,来确认标注的是否正确,如果不正确,则可以删除标注结果文件,并重新进行标注操作,该过程可以大大降低劣质标注的情况。

在实际标注过程中,可以在每一张样本图片标注完成后即触发图片查看指令,来进行标注是否正确的验证,也可以在一批样本图片标注完成后,再触发图片查看指令,来一张张展示已标注的样本图片,进行正确性的验证,本发明实施例对此不做限定。

上述步骤201至206是对于一张样本图片从标注到数据存储再到查看标注结果的顺序进行描述的过程,而在标注过程中,还可以提供多种不同的处理方式,例如,对已标注的某个或全部关键点进行删除、切换到下一个图片继续进行标注、退出标注过程等等,下面,分不同情况对该多种处理方式进行介绍:

(1)对已标注的某个关键点进行删除。

对于已标注的任一关键点来说,用户均可以对其进行重新标注,也即是,退回上一个关键点进行重新标注,则需要删除原标注,相应地,该方法还包括:当接收到第一指令时,删除前一个第二关键点以及所述前一个手势关键点的编号信息,所述第一指令用于指示退回上一个关键点重新进行标注。

在关键点标注过程中,只要应用程序没有接收到退出指令,则计算机设备可以获知用户未完成对该图片中所有关键点的触发操作,可以提供对已标注的关键点进行修改的处理方式。用户可以通过对第一指定按键的触发操作,来触发该应用程序的第一指令,当计算机设备接收到第一指令时,删除上一个触发位置上已记录的坐标以及编号信息。其中,该第一指定按键可以为p按键,当然,还可以为预先指定的其他按键,本发明实施例对此不做限定。

(2)对已标注的全部关键点进行删除。计算机设备还可以提供一种快捷的删除方式,以便通过一次操作将所有关键点均删除,相应地,该方法还包括:当接收到第二指令时,删除所述样本图片中所有第二关键点以及所述所有第二关键点的编号信息,所述第二指令用于删除已标注的全部关键点。

用户可以通过对第二指定按键的触发操作,来触发该应用程序的第二指令,当计算机设备接收到第二指令时,删除该样本图片中所有已添加的标记。其中,该第二指定按键可以为r按键,当然,还可以为预先指定的其他按键,本发明实施例对此不做限定。

(3)切换到下一个图片继续进行标注。当任一张样本图片标注完成时,计算机设备可以提供连续的标注过程,也即是,如果一张标注完成或是当前图片的关键点不完全,无法实现标注等,则可以跳过当前样本图片,而进入下一张样本图片的标注,相应地,该方法还包括:当接收到第三指令时,切换显示下一张样本图片,所述第三指令用于切换图片。用户可以通过对第三指定按键的触发操作,来触发该应用程序的第三指令,当计算机设备接收到第三指令时,切换显示下一张待标注图片。其中,该第三指定按键可以为k按键,当然,还可以为预先指定的其他按键,本发明实施例对此不做限定。

(4)退出标注过程。当用户想要结束标注时,则可以退出标注过程,相应地,该方法还包括:当接收到第四指令时,退出标注过程并记录未标注的样本图片,所述第四指令用于退出标注过程。对于该退出来说,下一次启动应用程序时,则可以直接显示未标注的样本图片。用户可以通过对第四指定按键的触发操作,来触发该应用程序的第四指令,当计算机设备接收到第四指令时,退出标注过程并记录未标注图片。其中,该第四指定按键可以为q按键,当然,还可以为预先指定的其他按键,本发明实施例对此不做限定。

(5)当前样本图片的标注已完成并进入下一样本图片的标注。当该样本图片的所有关键点均已经标注完成,则可以进行下一样本图片的标注,相应地,该方法还包括:当接收到第五指令时,保存所述已标注的样本图片并切换至下一张样本图片,所述第五指令用于所述样本图片已经完成标注。用户可以通过对第五指定按键的触发操作,来触发该应用程序的第五指令,当计算机设备接收到第五指令时,保存已标注图片并切换至下一张待标注图片。其中,该第五指定按键可以为s按键,当然,还可以为预先指定的其他按键,本发明实施例对此不做限定。

而对于查看已标注的样本图片的过程来说,计算机设备也可以提供多种不同的处理方式,以适应用户的标注需求,具体说明如下:

(6)显示下一张已标注图片。在任一张已标注图片的显示过程中,可以通过切换操作切换下一张图片进行显示,相应地,该方法还包括:当在该样本图片的显示过程中,接收到第六指令时,切换显示下一张已标注图片,该第六指令用于切换已标注图片。用户可以通过对第六指定按键的触发操作,来触发该应用程序的第六指令,当计算机设备接收到第六指令时,切换显示下一张已标注图片。其中,该六指定按键可以为n按键,当然,还可以为预先指定的其他按键,本发明实施例对此不做限定。

(7)删除样本图片的标注结果文件。由于关键点的标注可能需要进行修改,因此,还可以提供对标注结果文件的删除功能,相应地,该方法还包括:当在所述样本图片的显示过程中,接收到第七指令时,删除所述图片的标注结果文件,所述第七指令用于删除图片的标注结果文件。用户可以通过对第七指定按键的触发操作,来触发该应用程序的第七指令,当计算机设备接收到第七指令时,删除该图片的标注结果文件。其中,该七指定按键可以为d按键,当然,还可以为预先指定的其他按键,本发明实施例对此不做限定。

需要说明的是,通过步骤202和203的标注过程和步骤206的确认这两个步骤,可以大大降低劣质标注的数量,提高训练集样本的质量。在实际标注过程中,上面的有些步骤是批处理的。比如在任一样本图片标注成功后,在一些实施例中,也可以不马上进入去验证标注的正确性的步骤,而是先进行下一张样本图片的标注,当一批样本图片都标注结束后,再进行展示,以便验证正确性。

如图7所示,图7是本发明实施例提供的一张待标注的样本图片从导入应用程序到确认标注成功的过程的示意图。参见图7,该过程可以基于opencv视觉库执行,以创建一种人与计算机之间互动的方式,包括:

1、启动应用程序,显示标注参考图片和样本图片。

2、判断该样本图片是否已有标注结果文件,若有则跳过该样本图片,若没有,则用户可以通过对样本图片的触发操作来进行标注,跳到第3步;

3、在对样本图片的标注过程中,如果检测到对s键的触发操作,则表示标注完成,跳到第4步;如果检测到对k键的触发操作,则表示忽略标注,并跳到第5步;按q键表示退出程序,跳到第6步;

4、标注成功,记录标注结果,跳到第7步;

5、忽略对该样本图片的标注,记录标注结果,跳到第7步;

6、程序结束,跳到第1步;

7、展示阶段,如果检测到对d键的触发操作,则表示需删除标注结果,跳到第2步;如果检测到对n键的触发操作,则表示此已标注图片的标注合格,可以继续查看下一张已标注图片,跳到第8步;

8、确定此图片标注成功。

上述过程中,一张图片的标注成功需要经过多个步骤,其中第3步的标注和第7步的确认这两个步骤,可以大大降低劣质标注的数量,提高训练集样本的质量。

在实际标注过程中,上面的有些步骤是批处理的。比如在第4步图片标注成功后,在一些实施例中,也可以不马上进入第7步去验证标注的正确性,而是先进行下一张样本图片的标注,当一批样本图片都标注结束后,再进行展示,以便验证正确性。

通过在标注过程中,在显示待标注的样本图片的同时,还提供标注参考图片的显示,从而使得标注者能够基于标注参考图片中各个关键点的位置以及编号信息等,来指导其标注过程,辅助标注者来判断标注的正确与否,能够有效的提高标注的准确性和真实性,从而提高了训练模型的识别准确度。

进一步地,在标注者对关键点进行标注的时候,相邻关键点之间连接形成骨架,能够有利于辅助标注者判断标注正确与否。进一步地,还提供了多种交互按键来实现标注过程中以及标注成功后的多种处理功能,使得标注者可以通过交互按键告诉计算机设备进行不同处理,例如,退回一步、重新开始或者退出程序等等。进一步地,标注生成的结果可以转化成加密字符串然后保存,以保证标注数据的安全性。在整个标注过程完成后,通过展示过程再一次确认数据的正确性。由此,本发明实施例提出一种高效的手势骨架标注方法,能够为深度学习技术提供更好的训练数据。

图8是本发明实施例提供的一种关键点标注装置的结构示意图,参见图8,所述装置包括:

显示模块801,用于显示标注参考图片和样本图片,所述标注参考图片包括多个第一关键点以及各个第一关键点的编号信息,所述各个第一关键点的编号信息用于指示进行关键点标注的标注顺序;

标注模块802,用于根据所述样本图片上的多个触发操作,在所述样本图片上标注多个第二关键点;

存储模块803,用于基于所述样本图片中已标注的多个第二关键点,获取所述样本图片的标注结果文件。

在一些实施例中,所述标注模块802,用于:

当在所述样本图片上检测到触发操作时,根据已标注的第二关键点,确定所述触发操作对应的第二关键点的编号信息;

将所述触发操作的接触点坐标,确定为所述第二关键点在所述样本图片上的坐标,在所述触发点坐标上显示所述第二关键点以及所述第二关键点的编号信息。

在一些实施例中,所述标注模块802,用于:

当在所述样本图片上检测到触发操作时,对所述已标注的第二关键点中的最大编号信息加1,得到所述触发操作对应的第二关键点的编号信息。

在一些实施例中,所述显示模块801还用于在显示所述样本图片上的多个第二关键点时,在所述样本图片上显示至少一条关键点连线。

在一些实施例中,所述显示模块801还用于根据所述多个第二关键点之间的预设连接关系,将预设连接关系所指示的第二关键点用线条连接,得到所述至少一条关键点线条。

在一些实施例中,该装置还包括第一指令处理模块,用于:

当接收到第一指令时,删除前一个第二关键点以及所述前一个第二关键点的编号信息,所述第一指令用于指示退回上一个关键点重新进行标注;或,

当接收到第二指令时,删除所述样本图片中所有第二关键点以及所述所有第二关键点的编号信息,所述第二指令用于删除已标注的全部第二关键点。

在一些实施例中,该装置还包括第二指令处理模块,用于:

当接收到第三指令时,切换显示下一张样本图片,所述第三指令用于切换图片;或,

当接收到第四指令时,退出标注过程并记录未标注的样本图片,所述第四指令用于退出标注过程;或,

当接收到第五指令时,保存所述已标注的样本图片并切换至下一张样本图片,所述第五指令用于所述样本图片已经完成标注。

在一些实施例中,该存储模块803,用于对所述多个第二关键点在所述样本图片上的坐标进行加密,得到加密字符串,将所述加密字符串存储为所述样本图片的标注结果文件。

在一些实施例中,所述装置还包括:解密模块,用于:

当接收到图片查看指令时,对所述样本图片的标注结果文件中的加密字符串进行解密;

基于解密后得到的数据,在所述样本图片上显示所述样本图片的多个第二关键点。

在一些实施例中,该显示模块801还用于当显示所述样本图片以及所述样本图片上的多个第二关键点时,在所述样本图片上显示由所述多个第二关键点连接得到的线条。

在一些实施例中,该装置还包括第三指令处理模块,用于:

当在所述样本图片的显示过程中,接收到第六指令时,切换显示下一张已标注的样本图片,所述第六指令用于切换已标注图片;或,

当在所述样本图片的显示过程中,接收到第七指令时,删除所述样本图片的标注结果文件,所述第七指令用于删除所述样本图片的标注结果文件。

上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。

需要说明的是:上述实施例提供的关键点标注装置在关键点标注时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的关键点标注装置与关键点标注方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

以上述关键点标注装置的一种具体实现方式为例,该装置可以包括以下功能模块:

常量模块,表示标注样本图片、各关键点之间的连接关系和连接线的颜色;该常量模块可以提供为显示模块中的部分功能,用以确定显示时各个点的具体显示形式。

监测鼠标动作的模块,当按下鼠标左键时,记录按下的位置作为标记位置;

监测键盘动作的模块,当标注者需要返回一次标注、从头开始标注、跳过图片、暂时退出系统或者保存标注结果时,按下键盘上的相应位置;

上述检测动作的模块可以提供为标注模块的部分功能,用以对鼠标动作进行监听,从而进行标注,并对键盘动作进行监听,从而对标注进行修改等处理。

存储模块可以提供为上述存储模块的加密存储功能,将标注结果转化成字符串格式,设定密钥用des加密算法加密,然后保存到结果文件中;

解密模块,从结果文件读取数据的时候,用与加密模块同样的密钥对结果进行解密;

标注显示模块,在标注的整个时间段中,记录当前已经标注的结果,并展示在与标注者交互的图像界面上;

标注结果显示模块,标注结束后,从结果文件中读取数据解密,展示到图像界面上。

上述标注显示模块以及标注结果显示模块均可以提供为显示模块的部分功能,用以对需要显示的信息进行显示。

这个标注工具的各个模块之间保持一定的独立性,分工完成不同的任务,但它们之间又有一定的相互依赖关系,其依赖关系如图9的拓扑图显示。从图中可以看到,标注过程需要常量模块、监测鼠标动作模块、监测键盘动作模块之间的配合,展示过程需要常量模块、监测键盘动作模块的配合,由于各个关键点的坐标已经确定,因此,这个过程不需要监测鼠标动作的模块。

图10是本发明实施例提供的一种计算机设备的结构示意图,该计算机设备1000可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessingunits,cpu)1001和一个或一个以上的存储器1002,其中,所述存储器1002中存储有至少一条指令,所述至少一条指令由所述处理器1001加载并执行以实现上述各个方法实施例提供的方法。当然,该计算机设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该计算机设备还可以包括其他用于实现设备功能的部件,在此不做赘述。

在示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由终端中的处理器执行以完成下述实施例中的关键点标注方法。例如,所述计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1