一种基于机器人的违法横幅检测方法，机器人及存储器与流程

本发明涉及机器人，具体来说，涉及一种基于机器人的违法横幅检测方法，机器人及存储器。

背景技术：

1、在园区或者商场公园等场所可能会出现人为拉(挂)横幅或是举横牌等行为。而这些横幅中有少数概率出现违法违禁的文字标语，这些标语可能会对社会公共秩序和治安环境造成一定的破坏，所以必须及时发觉和处理杜绝这种违法违禁的横幅。

2、目前主要是通过保安或者相关人员定期对园区或者商场等地区进行巡逻检查，用肉眼进行判断消是否出现了违禁违法的横幅和标牌。

3、此外，还有设置摄像头用来识别横幅，但是这些方法局限于摄像头的固定位置，而其他非摄像头的拍摄范围则不能检测到。

4、本文提供的背景描述用于总体上呈现本公开的上下文的目的。除非本文另外指示，在该章节中描述的资料不是该申请的权利要求的现有技术并且不要通过包括在该章节内来承认其成为现有技术。

技术实现思路

1、针对相关技术中的上述技术问题，本发明提出了一种基于机器人的违法横幅检测方法，其包括如下步骤：

2、s1，获取机器人实时获取的目标场所的图像；

3、s2，使用预设的第一神经网络对所述图像进行检测获取检测到的横幅以及横幅在所述图像的位置，其中所述预设的第一神经网络是使用mobilenetv3替换yolov5原始的主干网络的神经网络；

4、s3，使用预设的第二神经网络获取横幅文字内容；其中预设的第二神经网络为mobilenetv2_1x为主干网络，增加特征金字塔fpn的以mobilenetv2_1x为主干网络的神经网络；

5、s4，对所述横幅文字内容进行语义分析以获取文本是否违法；其中对横幅文字内容进行语义分析是使用改进后的transformer模型，所述改进后的transformer模型的通道及深度均裁剪一半。

6、具体的，所述预设的第一神经网络进一步还包括：剔除yolov5中的focus结构而形成的神经网络。

7、具体的，所述步骤s3进一步包括：根据横幅在所述图像的位置，将横幅从所述图像中截取出来以获取横幅图像，并将横幅图像送入预设的第二神经网络中获取横幅文字内容。

8、具体的，所述预设第二神经网络采用分类器+ctcloss进行训练。

9、具体的，所述步骤s4具体为：将横幅文字内容输入改后的transformer模型中，得到一二分类的置信度分数，如果该分数大于0.5则表示该文本违法，获取违法横幅，否则表示该文本是合法合规的。

10、第二方面，本发明的另一个实施例公开了一种机器人，所述机器人包括如下单元：

11、图像获取单元，用于获取目标场所的图像；

12、横幅检测单元，用于使用预设的神经网络对所述图像进行检测获取检测到的横幅以及横幅在所述图像的位置，其中所述预设的神经网络是使用mobilenetv3替换yolov5原始的主干网络的神经网络；

13、文字内容识别单元，用于使用预设的第二神经网络获取横幅文字内容；其中预设的第二神经网络为mobilenetv2_1x为主干网络，增加特征金字塔fpn的mobilenetv2_1x为主干网络的神经网络；

14、违法横幅检测单元，用于对所述横幅文字内容进行语义分析以获取文本是否违法；其中对横幅文字内容进行语义分析是使用改进后的transformer模型，所述改进后的transformer模型的通道及深度均裁剪一半。

15、具体的，所述预设的第一神经网络进一步还包括：剔除yolov5中的focus结构而形成的神经网络。

16、具体的，所述文字内容识别单元进一步包括：根据横幅在所述图像的位置，将横幅从所述图像中截取出来以获取横幅图像，并将横幅图像送入预设的第二神经网络中获取横幅文字内容。

17、具体的，所述违法横幅检测单元具体为：将横幅文字内容输入改后的transformer模型中，得到一二分类的置信度分数，如果该分数大于0.5则表示该文本违法，获取违法横幅，否则表示该文本是合法合规的。

18、第三方面，本发明的另一个实施例公开了一种非易失性存储器，所述非易失性存储器上存储有指令，所述指令被处理器执行时，用于实现上述的一种基于机器人的违法横幅检测方法。

19、本发明的一种基于机器人的违法横幅检测方法，使用神经网络的ocr+nlp方法对横幅进行检测，在获取横幅的文字内容基础上，对横幅的文字内容是否违法进行判断，从而获取违法的横幅。进一步的，本发明的基于机器人的违法横幅检测方法使用机器人巡检的方式对存在横幅的场景进行实时图像分析，从而判断是否出现违法违规的横幅或者标语的情况。打破了传统的使用安保人员进行检测的方案，使得整体效率更高。

技术特征：

1.一种基于机器人的违法横幅检测方法，其包括如下步骤：

2.根据权利要求1所述的方法，所述预设的第一神经网络进一步还包括：剔除yolov5中的focus结构而形成的神经网络。

3.根据权利要求1所述的方法，所述步骤s3进一步包括：根据横幅在所述图像的位置，将横幅从所述图像中截取出来以获取横幅图像，并将横幅图像送入预设的第二神经网络中获取横幅文字内容。

4.根据权利要求1所述的方法，所述预设第二神经网络采用分类器+ctcloss进行训练。

5.根据权利要求1所述的方法，所述步骤s4具体为：将横幅文字内容输入改后的transformer模型中，得到一二分类的置信度分数，如果该分数大于0.5则表示该文本违法，获取违法横幅，否则表示该文本是合法合规的。

6.一种机器人，所述机器人包括如下单元：

7.根据权利要求6所述的机器人，所述预设的第一神经网络进一步还包括：剔除yolov5中的focus结构而形成的神经网络。

8.根据权利要求6所述的机器人，所述文字内容识别单元进一步包括：根据横幅在所述图像的位置，将横幅从所述图像中截取出来以获取横幅图像，并将横幅图像送入预设的第二神经网络中获取横幅文字内容。

9.根据权利要求6所述的机器人，所述违法横幅检测单元具体为：将横幅文字内容输入改后的transformer模型中，得到一二分类的置信度分数，如果该分数大于0.5则表示该文本违法，获取违法横幅，否则表示该文本是合法合规的。

10.一种非易失性存储器，所述非易失性存储器上存储有指令，所述指令被处理器执行时，用于实现如权利要求1-5中任一项所述的一种基于机器人的违法横幅检测方法。

技术总结
本发明提供了一种基于机器人的违法横幅检测方法，其包括如下步骤：S1，获取机器人实时获取的目标场所的图像；S2，使用预设的第一神经网络对所述图像进行检测获取检测到的横幅以及横幅在所述图像的位置；S3，使用预设的第二神经网络获取横幅文字内容；S4，对所述横幅文字内容进行语义分析以获取文本是否违法。本发明的基于机器人的违法横幅检测方法，在获取横幅的文字内容基础上，对横幅的文字内容是否违法进行判断，从而获取违法的横幅。进一步的，本发明基于机器人的违法横幅检测方法使用机器人巡检的方式对存在横幅的场景进行实时图像分析，从而判断是否出现违法违规的横幅或者标语的情况。

技术研发人员：刘彪,刘振轩,柏林,舒海燕,袁添厦,祝涛剑,沈创芸,王恒华,方映峰
受保护的技术使用者：广州高新兴机器人有限公司
技术研发日：
技术公布日：2024/1/14