基于本体库的撕纸行为识别方法、装置、设备及存储介质

1.本发明涉及行为识别技术领域，尤其涉及一种基于本体库的撕纸行为识别方法、装置、设备及存储介质。


背景技术：

2.散热片压接的工业操作工序包括四个步骤：放置罩板、撕掉散热片贴纸、放置散热片和散热片压接，其中，撕掉散热片贴纸这一行为是否成功影响着散热片的压接质量。目前通过在撕掉散热片贴纸这一行为完成后，采用目标检测算法检测散热片上是否存在贴纸，判断撕掉散热片贴纸是否成功，实现对撕纸行为的监督，然而，由于摄像头机位有限、手部遮挡等问题，无法实现对操作过程中的撕掉散热片贴纸进行较为准确的识别。


技术实现要素：

3.本发明实施例的目的是提供一种基于本体库的撕纸行为识别方法、装置、设备及存储介质，通过对撕纸行为进行本质探究，利用构建的专属本体库弥补了实际场景中目标检测以及手部检测的缺陷，将目标检测、手部检测以及行为模式结合，能够有效解决由于目标检测结果不理想导致的判断错误，实现对撕纸行为的有效识别，准确度高。
4.为实现上述目的，本发明实施例提供了一种基于本体库的撕纸行为识别方法，包括：
5.构建撕纸行为的本体库；其中，在所述本体库中对所述撕纸行为进行层级化描述，按照时间先后顺序将所述撕纸行为拆分成三个基元，用关键帧代表基元，设立每一所述关键帧的关键帧规则；
6.获取待识别的撕纸行为视频，对所述撕纸行为视频中的每一帧图像进行目标检测，得到所述每一帧图像的目标候选框；其中，所述目标候选框包括：左手候选框、右手候选框和散热片候选框；
7.利用所述目标候选框判断所述目标候选框所在的图像是否按照时间先后顺序依次满足对应的所述关键帧规则，当判断到存在有三帧图像按照时间先后顺序依次满足对应的所述关键帧规则时，依次激活对应的关键帧和所述关键帧对应的基元；
8.当所有所述基元被激活时，判定所述撕纸行为视频中的撕纸行为成功发生。
9.作为上述方案的改进，所述本体库包括：行为级别、基元级别、关键帧级别和实体级别；其中，
10.所述行为级别包括：撕纸行为；
11.所述基元级别包括：手拿散热片基元、双手交互基元和双手分离基元；
12.所述关键帧级别包括：手拿散热片关键帧、双手交互关键帧和双手分离关键帧；其中，每一所述关键帧具有对应的关键帧规则；
13.所述实体级别包括：左手、右手、散热片和贴纸。
14.作为上述方案的改进，所述手拿散热片关键帧的关键帧规则包括以下中的其中一
种：
15.所述散热片候选框和所述左手候选框存在交集；
16.所述散热片候选框和所述右手候选框存在交集；
17.所述双手交互关键帧的关键帧规则包括以下中的其中一种：
18.所述左手候选框的中心点与所述右手候选框的中心点之间的距离小于预设的第一距离阈值；
19.所述左手候选框与所述右手候选框存在交集；
20.所述左手候选框和所述右手候选框分别与所述散热片候选框存在交集，且所述左手候选框与所述右手候选框在纵轴上的重叠率大于预设的重叠率；
21.所述双手分离关键帧的关键帧规则包括以下中的其中一种：
22.所述左手候选框的中心点与所述右手候选框的中心点之间的距离大于预设的第二距离阈值；其中，所述第二距离阈值大于所述第一距离阈值；
23.所述左手候选框与所述右手候选框不存在交集。
24.作为上述方案的改进，所述利用所述目标候选框判断所述目标候选框所在的图像是否按照时间先后顺序依次满足对应的所述关键帧规则，当判断到存在有三帧图像按照时间先后顺序依次满足对应的所述关键帧规则时，依次激活对应的关键帧和所述关键帧对应的基元，包括：
25.判断每一帧图像的目标候选框是否满足所述手拿散热片关键帧的关键帧规则，当判断到存在第一当前帧图像的所述目标候选框满足所述手拿散热片关键帧的关键帧规则时，将所述第一当前帧图像作为所述手拿散热片关键帧，并激活所述手拿散热片关键帧；
26.当所述手拿散热片关键帧被激活时，激活所述手拿散热片基元；
27.当所述手拿散热片基元被激活时，继续判断在所述手拿散热片关键帧之后的每一帧图像的目标候选框是否满足所述双手交互关键帧的关键帧规则，当判断到存在第二当前帧图像的所述目标候选框满足所述双手交互关键帧的关键帧规则时，将所述第二当前帧图像作为所述双手交互关键帧，并激活所述双手交互关键帧；
28.当所述双手交互关键帧被激活时，激活所述双手交互基元；
29.当所述双手交互基元被激活时，继续判断在所述双手分离关键帧之后的每一帧图像的目标候选框是否满足所述双手分离关键帧的关键帧规则，当判断到存在第三当前帧图像的所述目标候选框满足所述双手分离关键帧的关键帧规则时，将所述第三当前帧图像作为所述双手分离关键帧，并激活所述双手分离关键帧；
30.当所述双手分离关键帧被激活时，激活所述双手分离基元。
31.作为上述方案的改进，所述目标候选框还包括贴纸候选框，则当所有所述基元被激活时，所述基于本体库的撕纸行为识别方法还包括：
32.对于所述三帧图像之后的任一帧图像，当判断到所述散热片候选框与所述贴纸候选框存在第一交集，且所述第一交集的相对大小大于预设的相对大小阈值时，判定所述撕纸行为视频中的撕纸行为失败。
33.作为上述方案的改进，所述对所述撕纸行为视频中的每一帧图像进行目标检测，得到所述每一帧图像的目标候选框，包括：
34.对所述撕纸行为视频中的每一帧图像进行目标检测；
35.当检测到任一帧图像内存在多只左手时，计算每一只左手的候选框的中心点与预设的双手工作区域候选框的中心点之间的距离，将距离最短的左手的候选框作为检测得到的目标候选框；
36.当检测到任一帧图像内存在多只右手时，计算每一只右手的候选框的中心点与所述双手工作区域候选框的中心点之间的距离，将距离最短的右手的候选框作为检测得到的目标候选框。
37.为实现上述目的，本发明实施例还提供了一种基于本体库的撕纸行为识别装置，包括：
38.本体库构建模块，用于构建撕纸行为的本体库；其中，在所述本体库中对所述撕纸行为进行层级化描述，按照时间先后顺序将所述撕纸行为拆分成三个基元，用关键帧代表基元，设立每一所述关键帧的关键帧规则；
39.目标检测模块，用于获取待识别的撕纸行为视频，对所述撕纸行为视频中的每一帧图像进行目标检测，得到所述每一帧图像的目标候选框；其中，所述目标候选框包括：左手候选框、右手候选框和散热片候选框；
40.激活模块，用于利用所述目标候选框判断所述目标候选框所在的图像是否按照时间先后顺序依次满足对应的所述关键帧规则，当判断到存在有三帧图像按照时间先后顺序依次满足对应的所述关键帧规则时，依次激活对应的关键帧和所述关键帧对应的基元；
41.判定模块，用于当所有所述基元被激活时，判定所述撕纸行为视频中的撕纸行为成功发生。
42.作为上述方案的改进，所述本体库包括：行为级别、基元级别、关键帧级别和实体级别；其中，
43.所述行为级别包括：撕纸行为；
44.所述基元级别包括：手拿散热片基元、双手交互基元和双手分离基元；
45.所述关键帧级别包括：手拿散热片关键帧、双手交互关键帧和双手分离关键帧；其中，每一所述关键帧具有对应的关键帧规则；
46.所述实体级别包括：左手、右手、散热片和贴纸。
47.为实现上述目的，本发明实施例还提供了一种基于本体库的撕纸行为识别设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上述的基于本体库的撕纸行为识别方法。
48.为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上述的基于本体库的撕纸行为识别方法。
49.与现有技术相比，本发明实施例提供的一种基于本体库的撕纸行为识别方法、装置、设备及存储介质，具有如下有益效果：
50.(1)基于本体库对撕纸行为进行分析，而不过分依赖于目标检测算法，可以有效解决撕纸行为过程中由于目标较小或者遮挡而产生的误检、错检以及漏检问题。本发明实施例能够在贴纸无法实时有效检测的情况下，对撕纸行为进行合理有力的监督识别；
51.(2)基于认知对撕纸行为的本质进行表达，使机器深刻理解了工业生产行为，做到了认知与感知的有机结合，适应性、泛化性和可迁移性较强；对于撕纸行为所面对的工业生
产场景，如果每次场景改变都需要大量采集数据以及重新训练，则将耗费巨大的人力物力财力，而本发明实施例相对于现有技术迁移成本大大缩小，而且能够有效面对数据集之外的复杂多变的场景。
附图说明
52.图1是本发明实施例提供的一种基于本体库的撕纸行为识别方法的流程图；
53.图2是本发明实施例对撕纸行为的本质化表达；
54.图3是本发明实施例提供的一种基于本体库的撕纸行为识别装置的结构示意图；
55.图4是本发明实施例提供的一种基于本体库的撕纸行为识别设备的结构框图。
具体实施方式
56.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
57.参见图1，图1是本发明实施例提供的一种基于本体库的撕纸行为识别方法的流程图，所述基于本体库的撕纸行为识别方法，包括：
58.s1、构建撕纸行为的本体库；其中，在所述本体库中对所述撕纸行为进行层级化描述，按照时间先后顺序将所述撕纸行为拆分成三个基元，用关键帧代表基元，设立每一所述关键帧的关键帧规则；
59.s2、获取待识别的撕纸行为视频，对所述撕纸行为视频中的每一帧图像进行目标检测，得到所述每一帧图像的目标候选框；其中，所述目标候选框包括：左手候选框、右手候选框和散热片候选框；
60.s3、利用所述目标候选框判断所述目标候选框所在的图像是否按照时间先后顺序依次满足对应的所述关键帧规则，当判断到存在有三帧图像按照时间先后顺序依次满足对应的所述关键帧规则时，依次激活对应的关键帧和所述关键帧对应的基元；
61.s4、当所有所述基元被激活时，判定所述撕纸行为视频中的撕纸行为成功发生。
62.具体地，所述本体库包括：行为级别、基元级别、关键帧级别和实体级别；其中，
63.所述行为级别包括：撕纸行为；
64.所述基元级别包括：手拿散热片基元、双手交互基元和双手分离基元；
65.所述关键帧级别包括：手拿散热片关键帧、双手交互关键帧和双手分离关键帧；其中，每一所述关键帧具有对应的关键帧规则；
66.所述实体级别包括：左手、右手、散热片和贴纸。
67.可以理解的是，从认知的角度出发，撕下散热片的贴纸这一行为必须遵循以下模式：
①
一只手拿着散热片；
②
另一只手靠近，双手交互；
③
双手分离，拿着散热片的手往放置散热片的地方移动。
68.如图2所示，本发明实施例基于以上撕纸行为的模式，对撕纸行为进行本质化表达，构建撕纸行为的本体库；
69.其中，所述本体库包括四个层级：
70.(1)行为级别(action-level)：撕纸行为；
71.(2)基元级别(primitive-level)；按照时间先后顺序将撕纸行为拆分成三个基元，包括：手拿散热片基元、双手交互基元和双手分离基元；
72.(3)关键帧级别(frame-level)：用关键帧代表基元，包括：手拿散热片关键帧、双手交互关键帧和双手分离关键帧；其中，每一关键帧具有对应的关键帧规则；
73.(4)实体级别(entity-level)：撕纸行为中涉及的实体包括左手、右手、散热片和贴纸。
74.在一可选实施例中，所述手拿散热片关键帧的关键帧规则包括以下中的其中一种：
75.所述散热片候选框和所述左手候选框存在交集；
76.所述散热片候选框和所述右手候选框存在交集。
77.可以理解的是，手拿散热片表示开始撕散热片上的贴纸，因此当任一帧图像满足手拿散热片关键帧的关键帧规则时，将该帧图像作为手拿散热片关键帧，并将该手拿散热片关键帧激活，从而激活与手拿散热片关键帧对应的手拿散热片基元。
78.在一可选实施例中，所述双手交互关键帧的关键帧规则包括以下中的其中一种：
79.所述左手候选框的中心点与所述右手候选框的中心点之间的距离小于预设的第一距离阈值；
80.所述左手候选框与所述右手候选框存在交集；
81.所述左手候选框和所述右手候选框分别与所述散热片候选框存在交集，且所述左手候选框与所述右手候选框在纵轴上的重叠率大于预设的重叠率。
82.可以理解的是，双手交互表示正在撕散热片上的贴纸，因此当位于手拿散热片关键帧后的任一帧图像满足双手交互关键帧的关键帧规则时，将该帧图像作为双手交互关键帧，并将该双手交互关键帧激活，从而激活与双手交互关键帧对应的双手交互关基元。
83.可以理解的是，在撕散热片上的贴纸时，可能会出现左手候选框和右手候选框没有交集，但左手候选框和右手候选框分别与散热片候选框有交集的情况，此时由于双手正在撕贴纸，双手是处于同一水平面上的，因此双手的候选框在纵轴上的位置几乎是相同的，比如，以左手候选框的左下角顶点为原点，则左手候选框的左上角顶点的纵坐标为100，此时右手候选框的左上角顶点的纵坐标为90，那么左手候选框与右手候选框在纵轴上的重叠率为(90/100)*100％＝90％。
84.在一可选实施例中，所述双手分离关键帧的关键帧规则包括以下中的其中一种：
85.所述左手候选框的中心点与所述右手候选框的中心点之间的距离大于预设的第二距离阈值；其中，所述第二距离阈值大于所述第一距离阈值；
86.所述左手候选框与所述右手候选框不存在交集。
87.可以理解的是，双手分离表示贴纸已经撕下，因此当位于双手分离关键帧后的任一帧图像满足双手分离关键帧的关键帧规则时，将该帧图像作为双手分离关键帧，并将该双手分离关键帧激活，从而激活与双手分离关键帧对应的双手分离基元。
88.具体地，所述利用所述目标候选框判断所述目标候选框所在的图像是否按照时间先后顺序依次满足对应的所述关键帧规则，当判断到存在有三帧图像按照时间先后顺序依次满足对应的所述关键帧规则时，依次激活对应的关键帧和所述关键帧对应的基元，包括：
89.判断每一帧图像的目标候选框是否满足所述手拿散热片关键帧的关键帧规则，当判断到存在第一当前帧图像的所述目标候选框满足所述手拿散热片关键帧的关键帧规则时，将所述第一当前帧图像作为所述手拿散热片关键帧，并激活所述手拿散热片关键帧；
90.当所述手拿散热片关键帧被激活时，激活所述手拿散热片基元；
91.当所述手拿散热片基元被激活时，继续判断在所述手拿散热片关键帧之后的每一帧图像的目标候选框是否满足所述双手交互关键帧的关键帧规则，当判断到存在第二当前帧图像的所述目标候选框满足所述双手交互关键帧的关键帧规则时，将所述第二当前帧图像作为所述双手交互关键帧，并激活所述双手交互关键帧；
92.当所述双手交互关键帧被激活时，激活所述双手交互基元；
93.当所述双手交互基元被激活时，继续判断在所述双手分离关键帧之后的每一帧图像的目标候选框是否满足所述双手分离关键帧的关键帧规则，当判断到存在第三当前帧图像的所述目标候选框满足所述双手分离关键帧的关键帧规则时，将所述第三当前帧图像作为所述双手分离关键帧，并激活所述双手分离关键帧；
94.当所述双手分离关键帧被激活时，激活所述双手分离基元。
95.可以理解的是，由于本体库是对事物本身的描述，所以撕纸行为的本体库在空间、时间上都有其固定模式。测试时，首先实时读取摄像头数据(待识别的撕纸行为视频)。空间上，对每一帧利用yolov5目标检测算法进行目标检测，可以检测到左手和/或右手和/或散热片和/或贴纸，进而得到左手和/或右手和/或散热片和/或贴纸的候选框，然后判断它们之间的关系。时间上，对采集的每一帧图像都会进行检测及判断，如果符合设立的关键帧规则，则激活此关键帧，从而激活相应基元。基元的激活也必须按照顺序，如果前面的基元未激活，则后续基元无法激活。当基元按时间先后顺序依次激活后，则撕纸行为成功发生，即成功将贴纸从散热片撕下。
96.在一可选实施例中，所述目标候选框还包括贴纸候选框，则当所有所述基元被激活时，所述基于本体库的撕纸行为识别方法还包括：
97.对于所述三帧图像之后的任一帧图像，当判断到所述散热片候选框与所述贴纸候选框存在第一交集，且所述第一交集的相对大小大于预设的相对大小阈值时，判定所述撕纸行为视频中的撕纸行为失败。
98.可以理解的是，虽然通过目标检测算法无法有效捕捉到每一帧图像的贴纸，但仍然可以利用偶尔捕捉到的贴纸候选框对本发明实施例的识别方法进行进一步的完善，只要在双手分离基元被激活后，判断到贴纸在散热片上，即可认为撕纸行为失败，本发明实施例为了更准确识别撕纸行为是否成功发生，在所有基元都被激活的情况下，判断所述三帧图像之后的任一帧图像，是否存在散热片候选框与贴纸候选框有第一交集，且该第一交集大于预设的相对大小阈值的情况，若存在，则说明撕纸行为失败，没有成功将贴纸撕下。
99.在一可选实施例中，所述对所述撕纸行为视频中的每一帧图像进行目标检测，得到所述每一帧图像的目标候选框，包括：
100.对所述撕纸行为视频中的每一帧图像进行目标检测；
101.当检测到任一帧图像内存在多只左手时，计算每一只左手的候选框的中心点与预设的双手工作区域候选框的中心点之间的距离，将距离最短的左手的候选框作为检测得到的目标候选框；
102.当检测到任一帧图像内存在多只右手时，计算每一只右手的候选框的中心点与所述双手工作区域候选框的中心点之间的距离，将距离最短的右手的候选框作为检测得到的目标候选框。
103.可以理解的是，真实的工厂环境十分复杂，如果操作空间较为拥挤，摄像头可能同时会检测到多只手，如果不合理的加以筛选，将会影响到算法运行。本发明实施例从多手中筛选出正在作业的两只手本可以借鉴“近大远小”的思想，但是由于图像中的绝对距离只是真实三维空间在二维空间的投影，并不能考虑到纵深，所以单纯靠候选框大小并无法筛选出正在作业的双手。
104.由于摄像头机位和角度固定，加工的操作板也固定于画面的中间偏下区域，所以进行作业的双手活动区域靠近画面的中下区域。因此，本发明实施例针对多手问题特意设定了双手操作区域，将图像的中下区域设于双手操作区域，当画面中出现多只手时，计算每只手离双手操作区域的距离，筛选出离双手操作区域距离最近的两只手。
105.参见图3，图3是本发明实施例提供的一种基于本体库的撕纸行为识别装置10的结构框图，所述基于本体库的撕纸行为识别装置10包括：
106.本体库构建模块11，用于构建撕纸行为的本体库；其中，在所述本体库中对所述撕纸行为进行层级化描述，按照时间先后顺序将所述撕纸行为拆分成三个基元，用关键帧代表基元，设立每一所述关键帧的关键帧规则；
107.目标检测模块12，用于获取待识别的撕纸行为视频，对所述撕纸行为视频中的每一帧图像进行目标检测，得到所述每一帧图像的目标候选框；其中，所述目标候选框包括：左手候选框、右手候选框和散热片候选框；
108.激活模块13，用于利用所述目标候选框判断所述目标候选框所在的图像是否按照时间先后顺序依次满足对应的所述关键帧规则，当判断到存在有三帧图像按照时间先后顺序依次满足对应的所述关键帧规则时，依次激活对应的关键帧和所述关键帧对应的基元；
109.判定模块14，用于当所有所述基元被激活时，判定所述撕纸行为视频中的撕纸行为成功发生。
110.优选地，所述本体库包括：行为级别、基元级别、关键帧级别和实体级别；其中，
111.所述行为级别包括：撕纸行为；
112.所述基元级别包括：手拿散热片基元、双手交互基元和双手分离基元；
113.所述关键帧级别包括：手拿散热片关键帧、双手交互关键帧和双手分离关键帧；其中，每一所述关键帧具有对应的关键帧规则；
114.所述实体级别包括：左手、右手、散热片和贴纸。
115.优选地，所述手拿散热片关键帧的关键帧规则包括以下中的其中一种：
116.所述散热片候选框和所述左手候选框存在交集；
117.所述散热片候选框和所述右手候选框存在交集；
118.所述双手交互关键帧的关键帧规则包括以下中的其中一种：
119.所述左手候选框的中心点与所述右手候选框的中心点之间的距离小于预设的第一距离阈值；
120.所述左手候选框与所述右手候选框存在交集；
121.所述左手候选框和所述右手候选框分别与所述散热片候选框存在交集，且所述左
手候选框与所述右手候选框在纵轴上的重叠率大于预设的重叠率；
122.所述双手分离关键帧的关键帧规则包括以下中的其中一种：
123.所述左手候选框的中心点与所述右手候选框的中心点之间的距离大于预设的第二距离阈值；其中，所述第二距离阈值大于所述第一距离阈值；
124.所述左手候选框与所述右手候选框不存在交集。
125.优选地，所述利用所述目标候选框判断所述目标候选框所在的图像是否按照时间先后顺序依次满足对应的所述关键帧规则，当判断到存在有三帧图像按照时间先后顺序依次满足对应的所述关键帧规则时，依次激活对应的关键帧和所述关键帧对应的基元，包括：
126.判断每一帧图像的目标候选框是否满足所述手拿散热片关键帧的关键帧规则，当判断到存在第一当前帧图像的所述目标候选框满足所述手拿散热片关键帧的关键帧规则时，将所述第一当前帧图像作为所述手拿散热片关键帧，并激活所述手拿散热片关键帧；
127.当所述手拿散热片关键帧被激活时，激活所述手拿散热片基元；
128.当所述手拿散热片基元被激活时，继续判断在所述手拿散热片关键帧之后的每一帧图像的目标候选框是否满足所述双手交互关键帧的关键帧规则，当判断到存在第二当前帧图像的所述目标候选框满足所述双手交互关键帧的关键帧规则时，将所述第二当前帧图像作为所述双手交互关键帧，并激活所述双手交互关键帧；
129.当所述双手交互关键帧被激活时，激活所述双手交互基元；
130.当所述双手交互基元被激活时，继续判断在所述双手分离关键帧之后的每一帧图像的目标候选框是否满足所述双手分离关键帧的关键帧规则，当判断到存在第三当前帧图像的所述目标候选框满足所述双手分离关键帧的关键帧规则时，将所述第三当前帧图像作为所述双手分离关键帧，并激活所述双手分离关键帧；
131.当所述双手分离关键帧被激活时，激活所述双手分离基元。
132.优选地，所述目标候选框还包括贴纸候选框，则所述判定模块14还用于：
133.对于所述三帧图像之后的任一帧图像，当判断到所述散热片候选框与所述贴纸候选框存在第一交集，且所述第一交集的相对大小大于预设的相对大小阈值时，判定所述撕纸行为视频中的撕纸行为失败。
134.优选地，所述对所述撕纸行为视频中的每一帧图像进行目标检测，得到所述每一帧图像的目标候选框，包括：
135.对所述撕纸行为视频中的每一帧图像进行目标检测；
136.当检测到任一帧图像内存在多只左手时，计算每一只左手的候选框的中心点与预设的双手工作区域候选框的中心点之间的距离，将距离最短的左手的候选框作为检测得到的目标候选框；
137.当检测到任一帧图像内存在多只右手时，计算每一只右手的候选框的中心点与所述双手工作区域候选框的中心点之间的距离，将距离最短的右手的候选框作为检测得到的目标候选框。
138.值得说明的是，本发明实施例所述的基于本体库的撕纸行为识别装置10中各个模块的工作过程可参考上述实施例所述的基于本体库的撕纸行为识别方法的工作过程，在此不再赘述。
139.本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质包括存储
的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上述实施例所述的基于本体库的撕纸行为识别方法。
140.参见图4，图4是本发明实施例提供的一种基于本体库的撕纸行为识别设备20的结构框图，所述基于本体库的撕纸行为识别设备20包括：处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序。所述处理器21执行所述计算机程序时实现上述基于本体库的撕纸行为识别方法实施例中的步骤。或者，所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
141.示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器22中，并由所述处理器21执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于本体库的撕纸行为识别设备20中的执行过程。
142.所述基于本体库的撕纸行为识别设备20可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于本体库的撕纸行为识别设备20可包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，所述示意图仅仅是基于本体库的撕纸行为识别设备20的示例，并不构成对基于本体库的撕纸行为识别设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于本体库的撕纸行为识别设备20还可以包括输入输出设备、网络接入设备、总线等。
143.所称处理器21可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器21是所述基于本体库的撕纸行为识别设备20的控制中心，利用各种接口和线路连接整个基于本体库的撕纸行为识别设备20的各个部分。
144.所述存储器22可用于存储所述计算机程序和/或模块，所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块，以及调用存储在存储器22内的数据，实现所述基于本体库的撕纸行为识别设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
145.其中，所述基于本体库的撕纸行为识别设备20集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器21执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文
件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。
146.需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
147.与现有技术相比，本发明实施例提供的一种基于本体库的撕纸行为识别方法、装置、设备及存储介质，具有如下有益效果：
148.(1)基于本体库对撕纸行为进行分析，而不过分依赖于目标检测算法，可以有效解决撕纸行为过程中由于目标较小或者遮挡而产生的误检、错检以及漏检问题。本发明实施例能够在贴纸无法实时有效检测的情况下，对撕纸行为进行合理有力的监督识别；
149.(2)基于认知对撕纸行为的本质进行表达，使机器深刻理解了工业生产行为，做到了认知与感知的有机结合，适应性、泛化性和可迁移性较强；对于撕纸行为所面对的工业生产场景，如果每次场景改变都需要大量采集数据以及重新训练，则将耗费巨大的人力物力财力，而本发明实施例相对于现有技术迁移成本大大缩小，而且能够有效面对数据集之外的复杂多变的场景。
150.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。