一种基于DPN与FasterRCNN的火车票图像生成方法与流程

本发明涉及深度学习理论中的计算机图像检测领域，人工智能算法中的效用理论，具体地说是一种基于dpn与fasterrcnn的火车票图像生成方法。

背景技术：

车票检验技术是各大交通枢纽最为重要的技术之一。火车站、汽车站、船坞、机场等关键交通枢纽均依靠车票检验技术保证车次人流的有序运行。现有车票均以纸质形式发售，以人工检验与标记的方式来实现验票。近年来，我国交通网络基础设施不断完善，尤其在高铁与动车的建设方面，取得了举世瞩目的成就。以“和谐号”、“复兴号”为排头兵，带领着我国经济高速发展。然而，在耀眼光芒的背后，高速铁路所带来的问题也日益凸显。载客量的提升极大地挑战了各城市交通枢纽的客流吞吐能力。每逢节假日，火车站、汽车站等地的旅客数量激增，工作人员往往需要增加人手来加快进站验票的速度，避免候车室过于拥挤。但这种人工检票的方式不仅耗费人力物力，且效率低下，而且容易漏检误检。近十年来出现了自动检票机、身份证验票等自动化验票功能，但依然无法摆脱纸质车票。纸质车票在未来很长的一段时间内依然会占据一席之地。若利用人工智能技术，对传统验票方式进行改造，可以大大加快检票速度，提升交通枢纽的客流量吞吐能力。

车票检测问题大体可以分为两类。一类是从图像中抽取火车票，另外一类是从火车票中抽取有效信息。无论是哪一类问题，深度学习都是目前除了电子化车票之外，以软件为载体的最佳解决方案。但深度学习所需要的巨大的数据量是难以获取的。尤其是各类票据作为带有个人信息的隐私物品，对其进行大规模收集整理将会遇到极大的阻力。为了获得足够进行训练的数据量，利用计算机图形学相关知识进行图像生成是成本相对较低的解决方案。

图像生成方法隶属于计算机图形学(computergraphic，cg)的范畴。萨瑟兰在1963年完成的关于人机通信图形系统的博士论文，为计算机图形学的未来发展奠定了基础。后来计算机图形学从在显示屏上进行简单的点、线、面显示开始，历经长足发展，到目前的光线追踪技术，虚拟现实技术等等，产生了。随着近年来人工智能的兴起，计算机图形学也发起了“人工智能革命”。尤其以generativeadversarialnetwork(gan)为代表，与深度学习结合的图像生成方法可以快速生成非常真实的cg图像。

技术实现要素：

本发明的技术任务是针对现有技术的不足，使用人工智能算法代替人工检票的方式，提出了一种基于dynamicplanningnetwork(dpn)与fasterregionconvolutionalneuralnetwork(fasterrcnn)的火车票图像生成方法，为火车票验票的深度学习模型提供海量的数据支撑。

本发明解决其技术问题所采用的技术方案是：

一种基于dpn与fasterrcnn的火车票图像生成方法，该方法的实现过程包括：

s1.采集含有火车票的原始图像，图像来源不限且鼓励收集不同来源的图像；

s2.标注出步骤s1所采集到原始图像中的火车票，并保存成xml文件作为标签使用；

s3.对步骤s1所获得的原始图像与步骤s2的标签进行数据增强，在图像增强的同时，其标签也需要做相应的变换，以准确标注出变换后图像中火车票的位置；

s4.在keras深度学习框架的基础下，搭建fasterrcnn深度学习网络模型，将增强后的数据集随机分为训练集、验证集与测试集，将训练集输送给fasterrcnn网络，进行训练；

s5.依据模型在验证集与测试集上的表现情况，对fasterrcnn网络的参数、优化器的超参数以及训练批次、训练步长、训练轮次进行调优，获得fasterrcnn在测试集上的表现最优模型；

s6.利用dpn网络结构，训练一个用于数据增强的模型，推动dpn不断逼近真实火车票的情景，形成最佳的行动策略；

s7.使用已训练完毕的dpn网络生成火车票图像。经过训练的dpn网络会生成一套特有的图像增强策略。与利用计算机视觉库进行纯人工的数据增强相比，该策略所获得的增强图像更广泛、更平滑、更具有针对性。将训练数据集输入到dpn网络中运行多个轮次，dpn网络会根据不同的图像选择相应的最优增强方式。

方案优选地，在步骤s6中dpn网络是关于真实环境的模拟，具体操作内容如下：

以一张原始火车票作为“初始状态”，以各种图像变换方式作为“行为”；

在“初始状态”的情况下dpn做出某种“行为”，以获取“奖励”，该奖励是由fasterrcnn对做出“行为”后图像中火车票位置预测值与实际标签的差值来表示的；

重复该过程，鼓励dpn对各种各样的“行为”进行探索；

变换结果难以被faster-rcnn识别的“行为”将获得较少的奖励，甚至负奖励，变换结果具有较高识别率的“行为”将获得正奖励。

方案优选地，在步骤s6中构建dpn网络，以trial-and-error的方式，推动dpn不断逼近真实火车票的情景，形成最佳的行动策略，实现奖励的最大化。以前面几步所训练的fasterrcnn为评判标准，对dpn网络进行。

方案优选地，在步骤s1中通过相机拍摄、网络爬虫爬取等方式，获取含有火车票的原始图像。

方案优选地，步骤s1中含有火车票的原始图像不小于200*200像素大小，图像中的火车票允许有一定程度的模糊、弯折、缺损，但不能到人眼难以辨别的地步。

方案优选地，在步骤s2中使用github上的开源工具labelimg，将步骤s1所采集到原始图像中的火车票标注出来，并以xml文件的形式保存，作为标签使用。

方案优选地，在步骤s3中数据增强的方式包括但不限于图像的缩放、旋转、平移、灰度化、二值化、噪声混入、背景填充。

方案优选地，在步骤s3中利用opencv计算机视觉库，编写脚本，对原始图像进行数据增强。

方案优选地，步骤s4中训练集、验证集与测试集，三个数据集的比例为60％，20％，20％，步骤s4中数据集可用于训练其他的火车票识别模型，如基于ctpn、rnn的文字识别模型等。

方案优选地，在步骤s4中将训练集以mini-batch的形式输送给fasterrcnn网络，进行训练。

本发明的一种基于dpn与fasterrcnn的火车票图像生成方法，与现有技术相比所产生的有益效果是：

本发明研发了一种融合rpn与fasterrcnn来生成火车票的方法，该产品可以为公司内部火车票检测、票务检测模型提供足够庞大的训练数据，能解决传统人工检票方式效率低下，容易漏检误检的缺陷，为火车票验票的深度学习模型提供海量的数据支撑。

该产品除了产生票务数据之外，还可以稍作改动，对其他类型的图像进行数据增强，例如数字图像、汉字图像等等。

附图说明

为了更清楚地描述本发明一种基于dpn与fasterrcnn的火车票图像生成方法的工作原理，下面将附上简图作进一步说明。

附图1是本发明的方法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明的一种基于dpn与fasterrcnn的火车票图像生成方法，该方法的实现过程包括：

s1.采集含有火车票的原始图像，图像来源不限且鼓励收集不同来源的图像；含有火车票的原始图像不能小于200*200像素大小，图像中的火车票允许有一定程度的模糊、弯折、缺损，但不能到人眼难以辨别的地步。

s2.标注出步骤s1所采集到原始图像中的火车票，并保存成xml文件作为标签使用；

s3.对步骤s1所获得的原始图像与步骤s2的标签进行数据增强，在图像增强的同时，其标签也需要做相应的变换，以准确标注出变换后图像中火车票的位置；

s4.在keras深度学习框架的基础下，搭建fasterrcnn深度学习网络模型，网络模型的搭建参考ren,s.,he,k.,girshick,r.andsun,j.,2015.fasterr-cnn:towardsreal-timeobjectdetectionwithregionproposalnetworks.inadvancesinneuralinformationprocessingsystems(pp.91-99).，将增强后的数据集随机分为训练集、验证集与测试集，将训练集输送给fasterrcnn网络，进行训练；

s5.依据模型在验证集与测试集上的表现情况，对fasterrcnn网络的参数、优化器的超参数以及训练批次、训练步长、训练轮次进行调优，获得fasterrcnn在测试集上的表现最优模型；

s6.利用dpn网络结构，训练一个用于数据增强的模型，推动dpn不断逼近真实火车票的情景，形成最佳的行动策略；

s7.使用已训练完毕的dpn网络生成10万张火车票图像。经过训练的dpn网络会生成一套特有的图像增强策略。与利用计算机视觉库进行纯人工的数据增强相比，该策略所获得的增强图像更广泛、更平滑、更具有针对性。将训练数据集输入到dpn网络中运行多个轮次，dpn网络会根据不同的图像选择相应的最优增强方式。

步骤s6中根据tasfi,n.l.andcapretz,m.,2018.dynamicplanningnetworks.中所描述的dpn网络结构，构建dpn网络，以trial-and-error的方式，推动dpn不断逼近真实火车票的情景，形成最佳的行动策略，实现奖励的最大化。以前面几步所训练的fasterrcnn为评判标准，对dpn网络进行。

步骤s6中，dpn网络是关于真实环境的模拟，具体操作内容如下：

以一张原始火车票作为“初始状态”，以各种图像变换方式作为“行为”；

在“初始状态”的情况下dpn做出某种“行为”，以获取“奖励”，该奖励是由fasterrcnn对做出“行为”后图像中火车票位置预测值与实际标签的差值来表示的；

重复该过程，鼓励dpn对各种各样的“行为”进行探索；

变换结果难以被faster-rcnn识别的“行为”将获得较少的奖励，甚至负奖励，变换结果具有较高识别率的“行为”将获得正奖励。

在步骤s1中通过相机拍摄、网络爬虫爬取等方式，获取含有火车票的原始图像。

在步骤s2中使用github上的开源工具labelimg，将步骤s1所采集到原始图像中的火车票标注出来，并以xml文件的形式保存，作为标签使用。

在步骤s3中数据增强的方式包括但不限于图像的缩放、旋转、平移、灰度化、二值化、噪声混入、背景填充。

在步骤s3中利用opencv计算机视觉库，编写脚本，对原始图像进行数据增强。

步骤s4中训练集、验证集与测试集，三个数据集的比例为60％，20％，20％，步骤s4中数据集可用于训练其他的火车票识别模型，如基于ctpn、rnn的文字识别模型等。

在步骤s4中将训练集以mini-batch的形式输送给fasterrcnn网络，进行训练。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。