一种多目标行政执法文书信息完整性识别检测方法及系统与流程

本发明涉及目标检测和行政执法文书信息识别领域，具体涉及一种多目标行政执法文书信息完整性识别检测方法及系统。

背景技术：

1、在公安行政处罚中，关于公安收缴物品清单的再审核与信息录入上有着巨大需求，对于此项工作，目前仍然需要人工校对，产生大量的人工的冗余重复工作，不仅工作效率低且人力资源消耗巨大。因此说，通过现在的深度学习的图片处理技术和目标检测方法自动对行政执法文书(公安收缴物品清单)进行审核及校对势在必行。然而现有技术中，对行政执法文书(公安收缴物品清单)基于图片处理和目标检测技术进行审核及校对的相关研究甚少。

2、公开号为cn112215011a、申请号为cn202011131469.0的专利文献公开了一种医疗文书处理的方法和装置，其能够达到类似于数字水印的效果，且不影响医疗文书的美观度、信息完整度，使得医疗人员能够正常查看医疗文书；此外，在一定程度上对用户泄露医疗文书中隐私信息起到威慑作用。但对医疗文书信息完整性识别或检测没有提及。

3、公开号为cn111581447a、申请号为cn202010391756.9的专利文献公开了一种裁判文书评查方法，其基于深度学习算法，实现对已公开的裁判文书根据预设评分规则自动进行评查。所述的裁判文书评查方法包括：爬取模块、处理模块、评查模块，其中：爬取模块，用于从裁判文书网站爬取已经公布的裁判文书；处理模块，对导入的裁判文书进行预处理、信息抽取；评查模块，根据预设评分规则，对法律文书整体进行检验、依据评查标准打分并给出修改意见。该方法用于解决现有技术中人工评查文书耗费大量的人力、时间，不仅工作繁琐，而且容易出错的问题。但该现有技术没有提及关于对文书的分区识别检测，没有提出如何对于文书信息完整性识别检测。

技术实现思路

1、本发明要解决的技术问题是：

2、鉴于以上问题，本发明提出一种多目标行政执法文书信息完整性识别检测方法及系统，用以解决现有技术中对于文书信息完整性识别检测方法缺失的问题。

3、本发明为解决上述技术问题所采用的技术方案为：

4、一种多目标行政执法文书信息完整性识别检测方法，所述方法的实现过程如下：

5、步骤一、行政执法文书图像预处理：

6、将每个待别识检测的行政执法文书轮输入图像进行图像裁剪转为固定尺寸的像素图像；

7、然后利用opencv拟合出每个像素图像所有的轮廓，通过边缘检测算法提取政执法文书像素图像的纸质边缘，找到行政执法文书纸质边缘的四个顶点并映射回原图；最后将得到的四边形图像提取转化为长方形图片；提取出的长方形图片上仅包含行政执法文书(公安收缴物品清单)的图片信息；

8、步骤二、图像区域划分：

9、根据行政执法文书(公安收缴物品清单)格式，将其分为至少四个待审核和校验区域：区域一、用于确定待验证行政执法文书中的物品持有人姓名(或名称)个数的区域；区域二、用于确定待验证行政执法文书的物品持有人、见证人的签名文本个数和手印个数是否与物品持有人姓名个数对应、日期(区域二中椭圆形部分)是否填写的区域；区域三、用于判断保管人签名是否存在、日期(区域三中椭圆形部分)是否填写的区域；区域四、用于判断政执机关(公安机关)印章是否完整、日期(区域四中椭圆形部分)是否填写的区域；

10、步骤三、识别检测：

11、针对区域一进行姓名个数(名字本发明)个数识别；

12、区域二、三、四部分，都包含日期部分，所以将区域二、三、四部分均分为两步检验：

13、区域二：1、签名和指纹识别，2、日期填写判断；

14、区域三：1、签名填写判断，2、日期填写判断；

15、区域四：1、印章识别判断，2、日期填写判断。

16、进一步地，在区域一中，需要确认物品持有人姓名个数，区域一的识别方法是通过计算机的图像形态学方法，通过查找轮廓的方法寻找并确定文字区域的位置和个数；主要的步骤如下：1、读取图片中的区域一部分，并将区域一转为灰度图；2、将区域1进行图片降噪处理并二值化；3、通过图像形态学的膨胀和腐蚀操作，将区域一中的名字区域的高亮部分进行扩张，让白色区域变多，然后再亮部分蚕食，让黑色区域变多，经过此操作后突出文字部分夫人轮廓、并消除边框线条；4、通过查找轮廓，去除不符合文字特点的边框；5、返回文字检测的边框结果；得到文字检测边框个数即人名字个数n1。

17、进一步地，在区域二中，需要识别持有人签名文本个数和手印个数是否与物品持有人姓名个数对应；根据目标检测方法将区域中的签名和指纹进行分类识别和定位；此模块主要通过mask rcnn模型进行训练：1)根据检测目标特征属性准备训练数据源；2)对训练样本进行预处理，数据进行标签标注；3)将其输入到一个预训练模型的resnet101神经网络中获得对应训练样本图片的特征图，对这个特征图中的每一点设定预定个的目标区域roi(region of interest)，从而获得多个候选roi；4)将这些候选的roi送入区域建议网络(rpn)进行二值分类和bb(bounding box)回归，过滤掉一部分候选的roi，对最终的roi进行特征对应，即将原图和特征图的像素对应；5)对这些roi进行分类、bb回归和语义分割获得地获取目标检测结果；在模型训练阶段，通过训练样本对具有初始参数的卷积神经网络进行迭代训练，根据训练结果不断修改优化训练模型相关训练参数，最终得到目标检测模型；模型测试阶段，将待检测样本输入目标检测模型得到检测结果签名个数n2，指纹个数r1；

18、进一步地，在区域三中，保管人签名识别判断过程为：首先并将区域三保管人签名区域进行图片降噪处理并二值化；通过图像形态学的膨胀和腐蚀操作，突出区域中的签名区域的轮廓；然后将区域中签名区域转为只有0和1的矩阵；然后进行区域像素值均方差大小对比，如果其差值大于校验阈值，则存在签名n3，反之则无签名；

19、进一步地，在区域四中，印章识别判断过程为：基于印章区域的三类特征：颜色特征，形状特征和边缘特征，对印章区域进行识别过程为：

20、1)、首先根据印章区域内像素点数值判断印章区域是红色还是黑白色，然后判断印章区域的圆形度即近于圆形的程度，最终判断此区域内是否有印章，存在反馈f1，不存在则无反馈值；

21、2)、如果印章颜色为红色，呈现为高饱和度的鲜红色，首先根据印章的颜色特征提取红色增强分量图，检测潜在的印章区域；然后利用印章的形状区域和边缘特征，再次定位印章；

22、3)如果印章颜色为黑白色，基于形状区域的印章区域精确分割，由于印章区域是圆形，根据印章的边缘和形状特征，去除漏检和误检，得到精确定位印章区域；再进行如下处理：(1)根据初步初定位结果对印章区域进行膨胀处理；(2)填充膨胀结果中印章区域内的空洞；

23、进一步地，日期填写判断：通过将日期无填写的图片与已经填写日期的图片二值化处理，将区域中日期填写区域转为只有0和1的矩阵；然后进行区域像素值均方差大小对比，如果其差值大于校验阈值，则已填写，反之则无填写；

24、区域二日期存在反馈d1，不存在则无反馈值；

25、区域三日期存在反馈d2，不存在则无反馈值；

26、区域四日期存在反馈d3，不存在则无反馈值。

27、进一步地，行政执法文书为公安收缴/追缴物品清单。

28、进一步地，四个待审核和校验区域均符合要求，即多目标均符合要求，才能判定行政执法文书为信息完整。

29、一种多目标行政执法文书信息完整性识别检测系统，该系统具有与上述步骤对应的程序模块，运行时执行上述的多目标行政执法文书信息完整性识别检测方法中的步骤。

30、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现上述的多目标行政执法文书信息完整性识别检测方法的步骤。

31、本发明具有以下有益技术效果：

32、本发明提出的一种多目标行政执法文书信息完整性识别检测方法及系统，解决了现有技术中对于文书信息完整性识别检测方法缺失的问题。本发明是针对行政执法文书的信息完整性采用多目标的手段进行识别检测的，在本发明中，确定待验证清单中的物品持有人姓名个数；确定待验证清单的物品持有人、见证人的签名文本个数和手印个数是否与物品持有人名单对应，日期是否填写；判断保管人签名是否存在，日期是否填写；公安机关印章是否完整，日期是否填写。本方法通过一种多目标行政执法文书信息完整性识别检测方法及系统自动化验证公安收缴物品清单的信息完整性，并自动反馈却是内容的信息和类别。提高了公安审核工作的效率，减少人工的冗余重复工作。