一种基于神经网络模型的信息标注方法与流程

本发明涉及信息技术领域，特别涉及一种基于神经网络模型的信息标注方法。

背景技术：

随着智能终端、ar设备和人工智能领域的成熟与发展，越来越多的以图像采集、图像处理技术为基础的智能设备或ar设备应用于工业场景或日常生活中，尤其在人工智能领域，智能眼镜更是常用的一种增强现实设备。而人工智能领域发展的基础则需要采集大量素材进行处理和机器学习，以建立人工智能模型，但目前素材的采集和标注往往都是分开进行的，一般先利用设备进行素材采集，然后再在其他处理设备中对采集的素材进行信息标注。不仅工作效率低，而且由于采集和标注的设备不同，其加载的程序和模型也不相同，因此先采集再进行识别和分类的错误率也较高。

技术实现要素：

有鉴于此，本发明的主要目的在于提供一种基于神经网络模型的信息标注方法，以提高信息标注的效率及标注信息的准确性。

本发明采用的技术方案为，提供一种基于神经网络模型的信息标注方法，应用于智能设备，包括以下步骤：

a、获取目标物体图像；

b、基于目标识别神经网络模型对所述图像进行识别，在所述图像中标识出所述目标物体的外轮廓及所述目标物体的标注信息；

c、基于接收到的用户调整指令对所述目标物体在所述目标物体图像中的外轮廓和所述标注信息进行调整。

由上，本方法基于目标识别神经网络模型对获取的目标物体图像进行识别并标识出目标物体的外轮廓及目标物体的标注信息，同时，本方法还可对标识出的目标物体的外轮廓和标注信息进行人工调整，从而实现了对目标物采集的同时进行标注，提高了信息标注的效率及标注信息的准确性。

进一步改进，所述步骤c之后，还包括：

将所述调整后的标识有所述目标物体的外轮廓的所述目标物体图像及所述调整后的标注信息作为训练样本，输入到目标识别神经网络模型库中，以对所述目标识别神经网络模型进行训练。

进一步改进，所述步骤b还包括：

基于接收到的用户选择模型的指令选取所述目标识别神经网络模型。

其中，步骤c中所述对标注信息进行调整包括：

对所述标注信息进行内容、位置及显示样式的至少一项的调整。

其中，步骤c中所述对目标物体的外轮廓进行调整包括：

对所述目标物体的外轮廓进行形状及边界位置的至少一项的调整。

进一步改进，所述步骤a之后，还包括：

基于通用分类神经网络模型对所述图像进行识别，识别出所述图像中的目标物体的类别；

基于所述目标物体的类别选取所述目标识别神经网络模型。

进一步改进，所述基于所述目标物体的类别选取所述目标识别神经网络模型之后还包括，基于接收到的用户变更模型的指令选取所述目标识别神经网络模型。

由上，当智能设备利用加载的通用分类神经网络模型对目标的分类出现错误时，可由用户直接在目标识别神经网络模型库中选择一个与当前目标对应的目标识别神经网络模型，进行人工变更，以完成后续的识别任务。

进一步改进，所述步骤c之后，还包括：

将所述调整后的标识有所述目标物体的外轮廓的所述目标物体图像及所述目标识别神经网络模型关联的目标物体类别信息输入到通用分类神经网络模型库中，以对所述通用分类神经网络模型进行训练。

由上，基于神经网络训练技术，将所述调整后的标识有所述目标物体的外轮廓的所述目标物体图像及所述目标识别神经网络模型关联的目标物体类别信息作为训练素材输入到通用分类神经网络模型库中进行训练，可完善通用分类神经网络模型库的素材量，提高通用分类神经网络模型的识别准确率。

可选的，所述用户调整指令包括至少以下之一：根据用户在智能设备提供的虚拟空间内的手势操作生成的调整指令、根据用户在智能设备提供的触摸屏上的触摸操作生成的调整指令、根据用户在智能设备提供的语音输入方式下的语音输入操作生成的调整指令。

由上，根据使用的智能设备不同，其操作方式也不同，例如可在智能设备的触摸屏上进行手动触摸操作，如果该智能设备为头戴式增强现实设备，也可在其虚拟的空间显示屏上进行手势操作，又或者，该智能设备若支持语音功能，可采用关键字识别的语音方式进行语音命令操作。

可选的，所述智能设备包括：头戴式增强现实设备或移动设备或智能摄像头设备。

进一步改进，所述标注信息包括文字格式的信息和/或语音格式的信息。

本发明提供的一种基于神经网络模型的信息标注方法的技术效果是：基于目标识别神经网络模型对获取的目标物体图像进行识别并标识出目标物体的外轮廓及目标物体的标注信息，同时，本方法还可对标识出的目标物体的外轮廓和标注信息进行人工调整，从而实现了对目标物采集的同时进行标注，提高了信息标注的效率及标注信息的准确性。

附图说明

图1为本发明基于神经网络模型的信息标注方法一实施例的流程图；

图2为本发明对汽车目标进行信息标注的实现方法的一实施例的流程示意图。

具体实施方式

下面参照附图对本发明的工作原理和实施方式进行详细描述。

实施例一

图1为本发明基于神经网络模型的信息标注方法的一实施例的流程图，本实施例的方法由智能设备执行，如图一所示，该方法可以包括：

s101：获取目标物体图像；

其中，智能设备可以通过自身具有的摄像头获取所要采集和识别的目标物体图像，即现实图像信息，该现实图像信息例如可以是使用摄像头随机拍摄的一张当前场景的照片，即是真实世界的照片；或者，也可以是使用摄像头获取的真实世界的视频帧。

其中，智能设备可以包括头戴式增强现实设备或移动设备或智能摄像头设备，例如可以是ar眼镜(增强现实眼镜)或智能眼镜或手机或便携式智能摄像头。

其中，智能设备也可以通过有线或者无线数据传输方式接收其他设备获取的目标物体图像。例如可以是ar眼镜从与其通过usb数据线连接的手机接收到所述手机拍摄到的目标物体图像。

例如，用户需要获得当前环境中的某一汽车的标注信息时，通过所佩戴或持有的智能设备对该汽车进行拍照，获得的带有该汽车的图片即目标物体图像。

s102：基于目标识别神经网络模型对所述图像进行识别，在所述图像中标识出所述目标物体的外轮廓及所述目标物体的标注信息；

其中，该目标识别神经网络模型是利用与所述目标物体类型对应的样本进行特定训练的识别模型，用于对目标物体进行识别，目标物体图像经过该神经网络模型识别后能够得到标识有目标物体外轮廓的图像以及目标物体的标注信息。

其中，标注信息包括物体的名称，型号，基本信息，广告信息等。

其中，常用的目标识别神经网络模型包括ssd(single-shotdetector)模型和fasterr-cnn模型。

例如，通过上述s101步骤获得带有汽车的图片后，通过智能设备的目标识别神经网络模型进行识别，得到汽车外轮廓被标识的图像及包括所述汽车的名称，型号，百公里油耗的标注信息，智能设备的显示屏可以显示汽车外轮廓被标识的图像及标注信息。

s103：基于接收到的用户调整指令对所述目标物体在所述目标物体图像中的外轮廓和所述标注信息进行调整。

本实施例的基于神经网络模型的信息标注方法中，用户可以对图像中的目标物体的外轮廓以及目标物体的标注信息进行调整。

本发明提供的一种基于神经网络模型的信息标注方法，通过目标识别神经网络模型对获取的目标物体图像进行识别并标识出目标物体的外轮廓及目标物体的标注信息，实现了对目标物采集的同时进行标注，同时，本方法还可以对标识出的目标物体的外轮廓和标注信息进行人工调整，提高了信息标注的效率及标注信息的准确性。

本实施例的基于神经网络模型的信息标注方法中，用户可以对目标物体的外轮廓进行形状及边界位置的至少一项的调整，例如，用户观察到的外轮廓的边界与目标物体实际的外轮廓边界相距过远，或者与目标物体图像有重叠，用户可以调整当前显示的图像中的目标物体外轮廓，使之更准确匹配目标物体的实际外轮廓边界。进一步的，用户可以通过触摸控制的方式，手势控制的方式或者语音控制的方式进行所述调整，例如，用户可以通过触摸控制的方式拖拽当前显示的外轮廓，使之移动到合适的位置框选目标物，或者通过触摸控制对当前显示的外轮廓进行拉伸或缩小，使之更准确匹配目标物体的实际外轮廓边界。通过用户对外轮廓的调整，得到标识有更加准确的目标物外轮廓的图像，进一步，上述图像可以后续作为训练样本提供给目标识别神经网络模型以及通用分类神经网络模型。

本实施例的基于神经网络模型的信息标注方法中，用户可以对所述标注信息进行内容、位置及显示样式的至少一项的调整，其中，用户观察到的标注信息的内容不准确或者位置显示不合理或者显示样式不是用户所期望的，用户对标注信息可以进行调整。例如，当前图像中的汽车的标注信息显示为：宝马，x5,而根据用户的判断，目标物体汽车为宝马x1，同时用户期望标注信息更加详细，可以对标注信息进行调整，修改错误信息，新增信息。可以理解的，新增的信息可以通过软件实现调取互联网上的相关信息，用户可以通过对上述信息进行复制，删除等操作以形成调整后的标注信息。通过用户对标注信息的调整，一方面可以实现快速生成标注信息，另一方面，可以生成更加完善的标注信息，再一方面，可以生成更加准确的标注信息。进一步，标注信息可以后续作为训练样本提供给目标识别神经网络模型。

本实施例的基于神经网络模型的信息标注方法中，基于接收到的用户选择模型的指令选取所述目标识别神经网络模型。

其中，可以直接通过用户的选择指令选取目标识别神经网络模型，用户根据目标物体的类别选择相应的目标识别神经网络模型，例如，用户针对当前目标物体汽车，选择调取汽车类的目标识别神经网络模型，使得模型对目标物体识别更加准确。

实施例二

本发明基于神经网络模型的信息标注方法的又一实施例的方法，在上述实施例一中的s103步骤之后还包括以下步骤：

将所述调整后的标识有所述目标物体的外轮廓的所述目标物体图像及所述调整后的标注信息作为训练样本，输入所述目标识别神经网络模型，以对所述目标识别神经网络模型进行训练。

其中，用户调整后的标识有目标物体外轮廓的图像及标注信息可以作为神经网络模型的训练样本，输入至智能设备的目标识别神经网络模型，对该模型进行训练，由于经过了用户的调整，训练样本更加准确，输入目标识别神经网络模型进行训练后，模型的稳定性和识别准确度也会不断提升。

实施例三

本发明基于神经网络模型的信息标注方法的又一实施例的方法，在上述实施例一中的s101步骤之后还包括以下步骤：

基于通用分类神经网络模型对所述图像进行识别，识别出所述图像中的目标物体的类别；

基于所述目标物体的类别选取所述目标识别神经网络模型。

其中，通过智能设备中的通用分类神经网络模型对目标物体的图像进行识别，识别出图像中的目标物体的类别，基于该类别调用相关的目标识别神经网络模型，实现智能设备自动调取目标识别神经网络模型。

由上，通过预先在智能设备上加载一通用分类神经网络模型，可实现对目标物体的初级分类，然后智能设备可根据分类结果从目标识别神经网络模型库中自动加载一该分类结果对应的目标识别神经网络模型，以实现对目标物体的精确识别和标识。

本实施例的基于神经网络模型的信息标注方法中，还包括，基于接收到的用户变更模型的指令选取所述目标识别神经网络模型。

其中，用户判断上述步骤中智能设备通过通用分类神经网络模型对目标物体识别后自动调取的目标识别神经网络模型不准确时，可以输出模型变更指令，智能设备接收用户变更模型的指令后选取合适类型的目标识别神经网络模型，以保证最终标注信息的准确性。

本实施例的基于神经网络模型的信息标注方法，还包括以下步骤：

将所述调整后的标识有所述目标物体的外轮廓的所述目标物体图像及所述目标识别神经网络模型关联的目标物体类别信息输入所述通用分类神经网络模型，以对所述通用分类神经网络模型进行训练。

其中，用户调整后的标识有目标物体外轮廓的图像以及目标物体类别信息作为样本输入至智能设备的通用分类神经网络模型，对该模型进行训练，由于经过了用户的调整，训练样本更加准确，输入通用分类神经网络模型进行训练后，模型的稳定性和识别准确度也会不断提升。可以理解的，目标物体的类别信息可以是智能设备通过所调取的目标识别神经网络模型关联得出的类别信息，例如被调取的是汽车相关的目标识别神经网络模型，智能设备获得其关联的类别信息为“汽车”，用户调整后的标识有目标物体外轮廓的图像以及类别信息“汽车”作为训练样本被输入通用分类神经网络模型进行训练。

实施例四

本发明基于神经网络模型的信息标注方法的又一实施例的方法，包括，用户调整指令可以是根据用户在智能设备提供的虚拟空间内的手势操作生成的调整指令，也可以是根据用户在智能设备提供的触摸屏上的触摸操作生成的调整指令还可以是根据用户在智能设备提供的语音输入方式下的语音输入操作生成的调整指令，可以理解的，还可以是其他智能设备所能接收和识别的指令。

实施例五

本发明基于神经网络模型的信息标注方法的又一实施例的方法，包括，所述标注信息包括文字格式的信息和/或语音格式的信息。

其中，标注信息可以是文字信息，也可以是语音信息，可以理解的，也可以是语音识别后转换的文字信息。其中，该智能设备支持语音功能，能够接收用户语音形式的信息录入。例如，用户说出带有唤醒词的语音指令：“修改标注信息”，智能设备识别出上述唤醒词，开始接收用户通过语音信息对标注信息进行调整。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

实施例六：

如图2所示，在利用上述方法，对汽车目标进行采集和标注时，其工作原理为：

s201：智能眼镜识别到车；

用户选择佩戴一智能眼镜，该智能眼镜中预装了本发明所述的方法，由于要对车辆进行识别，因此，在使用该眼镜之前，需要预先在该眼镜中加载汽车领域的通用目标识别神经网络模型，当该用户佩戴该智能眼镜的视野中出现汽车时，会根据汽车领域的通用目标识别神经网络模型，将汽车从背景图像中分割出来，在该汽车的四周形成一标记框。

s202：人看到识别结果；

用户可根据图像中对汽车的标记框进行确认，另外，当标记框的大小或标记范围不合适时，还可人工进行调整，调整方式包括手势、触摸或语音等，具体可根据该智能眼镜所支持的功能进行选择；

除此之外，该步骤还包括根据用户需求或工作任务的精细程度，由用户选择是否加载针对大量汽车素材进行训练得出的目标识别神经网络模型，该模型可针对汽车车型，如suv车型或轿车车型，或针对汽车品牌、汽车颜色进行精确识别；

当用户可自行判断时，可选择不加载上述目标识别神经网络模型。

s203：语音进行信息标注；

用户通过语音对智能眼镜采集出的汽车目标进行信息标注，例如可通过语音说出：黑色凯美瑞，智能设备通过对语音进行转写成文字格式生成标注信息或直接将该语音生成标注信息，使该标注信息与汽车图像进行绑定，以完成汽车目标的采集和标注。

s204：将标注信息和图像进行保存或上传；

本发明所介绍的方法和智能眼镜，常被应用于工业场景中，当完成对目标的采集和标注之后，可将标注信息和图像保存在智能眼镜的存储单元中，或通过通信模块上传至后台进行保存。

其中，所述标注可以是语音识别后转的文字格式，也可以是用户的语音格式，或同时两种格式存在。并且，文字、语音格式可分别用表示文字和表示语音的图标来标识该标注的格式。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。