一种基于单张二维图像的盘煤方法、存储介质和电子设备与流程

本发明属于煤场管理，具体涉及一种基于单张二维图像的盘煤方法、存储介质和电子设备

背景技术：

1、当下电力行业中，虽然各类新能源发电项目正在蓬勃发展，但传统火力发电仍然作为发电量的主体，其发电量占全类型发电量的60％以上。然而在传统火力发电厂的发电成本中煤矿花费所占份额最大，约占全部发电生产成本的75％以上，其占用电厂日常生产中的现金流资金巨大，所以对煤进行资源管理对于电力行业的生产实为重中之重。

2、电厂根据生产需求和现存煤量情况来制定相应的生产调度、采购和库存决策，不但可以有效地优化燃煤库存，避免资金积压，提高资金周转率，还可以从根本上解决亏吨、潜亏等燃料管理缺陷，实现企业的收支平衡。同时，在当前煤炭价格不断上涨、发电企业利润持续下降的形势下，大型燃煤电厂为了降低燃料成本、提高经济效益普遍采取掺烧经济煤种。及时盘存煤场各煤种存煤量，也为准确配煤作业提供实现的技术手段。同时为燃煤电厂科学合理地组织生产、经济调度、成本分析、经济效益评估提供重要依据。

3、自上世纪90年代起，很多高校、电厂及一些从业企展开对煤场储煤量的精确测量的研究，如华北电力大学、南京理工大学、东南大学、武汉大学、天津威德电子有限公司、马鞍山万能达发电公司、沈阳华岩电力电子有限公司、西安科灵采制样测试技术研究所等。各研究机构根据不同的测量原理，研究开发出不同的盘煤系统，包括由脉冲超声测距传感器、数据采集仪和微机组成的自动测量系统；基于无棱镜的全站仪盘煤系统；由激光器和线阵ccd摄像机组成的光电探测系统；激光便携式盘煤系统等等，并在电力、钢铁、冶金等资源型企业的堆料盘存中得到了广泛的应用，一定程度上解决了电厂存煤量的自动化盘存问题，但也普遍存在盘煤工作量大、测量误差大，盘存工作受天气、环境影响大、只能定期盘存，不能实时、动态反映煤场存煤和不同煤种状态等问题。

4、现存盘存煤矿的技术实现路径多种多样，其中以激光扫描测量技术和基于计算机视觉测量技术为主。

5、现有激光扫描测量技术的由于三维激光扫描仪价格昂贵，国内激光盘煤产品均使用了二维激光扫描仪，根据二维激光扫描仪的搭载平台不同，激光盘煤系统可以分为便携式激光盘煤系统、固定式激光盘煤系统和基于行走机器人的激光盘煤系统。工作时用二维激光扫描仪对煤场表面进行断面扫描，获得煤场断面轮廓的二维坐标数据，技术如图1所示

6、最后与位移传感器或者角度传感器获得的位置信息相匹配，通过软件的一系列处理，获得被测目标的表面形态和三维坐标数据，再进行煤场储量计算、三维模型建立与展示最后得到煤场形态数据进而达到对煤的管理，但该方法仍然受到各类限制，想要更加精确的盘煤，就需要用到大型的仪器设备，比如固定式激光盘煤系统，运用斗轮机进行扫描，这样相较于便携式的盘煤仪普遍存在盘煤工作量大、测量误差大，盘存工作受天气、环境影响大、只能定期盘存，不能实时、动态反映煤场存煤和不同煤种状态等问题，虽然提高了精确度和结果的收敛性，但是大大增加了盘煤所需的时间成本和设备运行检修的成本；而便携式的盘煤仪精度又不够；

7、现有的计算机视觉测量技术主要还是基于视觉slam为主的三维重建工作，其技术实现路径主要流程如图2所示；

8、而三维重建工作对于盘煤而言，主要是通过运动恢复结构(structure frommotion，sfm)是指从不同角度获取的图像序列中解算出相机参数，恢复场景三维结构的过程，通常利用两视图或多视图像间特征匹配点的对极几何关系，恢复相机位置姿态信息和场景三维结构。相机位置姿态信息即相机外部参数，包括拍摄过程中的相机旋转角度和相机平移量。利用三维点云描述场景的三维结构，通过将一定数量的二维图像特征点映射到三维空间坐标系上，形成三维点云，实现场景三维结构恢复，二维平面到三维空间的映射关系由相机外部参数和相机内部参数构成的投影矩阵表示，其中，相机内部参数包括相机的焦距、像主点坐标以及像素大小等，相机的内部参数通过相机标定获得。传统的运动恢复结构算法流程如图3所示：

9、将二维图像特征点映射到三维空间坐标系上设计到一系列的坐标转换，但是归根结底是从像素坐标系到世界坐标系的转换，根据上述相机标定、特征点提取与匹配、对极几何原理分别得到相机内部参数矩阵、匹配点像素坐标、相机旋转矩阵和相机平移向量，利用这些参数可以恢复出相机投影矩阵，找到二维像素坐标点与三维空间坐标点的映射关系，解算出图像像素点对应的三维空间坐标，生成三维点云，恢复场景三维结构。

10、基于计算机视觉的测量技术则是通过激光测距仪打点测距，数码相机围绕整个煤场进行拍摄，由图像拼接拼成完整的煤场，从而完成图像采集的工作，再把采集到的煤场表面散乱坐标数据进行插值处理，然后通过图像拟合修正插值，最后完成煤场三维重建和体积计算。

11、该方法主要通过运动恢复结构的计算机方法对煤堆进行三维重建，需要大量的准备工作，且存在多种不足，比如全局式运动恢复结构鲁棒性不足，旋转矩阵求解时l1范数对外点相对鲁棒，而摄像机位置求解时相对平移关系对匹配外点比较敏感；场景完整性不足，过滤外极几何边，可能丢失部分图像等等问题，或者需要标定系统外部参数来确定每场的空间信息，以及对初始图像对选择及摄像机的添加顺序敏感；场景漂移问题,大场景重建时的累计误差；效率不足,反复的捆绑调整需要大量的计算时间；这些问题都导致了现有的基于计算机视觉的技术不能实时地对煤堆进行监盘，因为监盘的时间成本被迫提高进而降低了电厂的盘煤效率。

12、整体而言，现有的盘煤方法都存在工作量大，只能定期盘存，不能实时、动态反映煤场存煤的问题。

技术实现思路

1、本发明针对现有技术中的不足，提供一种基于单张二维图像的盘煤方法、存储介质和电子设备，仅通过单张二维图片实现煤场的三维建模，从而实现盘煤，成本低廉、方便快捷且能实现对煤场的实时监测。

2、为实现上述目的，本发明采用以下技术方案：

3、一种基于单张二维图像的盘煤方法，包括以下步骤：

4、s1、收集若干煤场二维图片和对应的三维点云数据，建立训练集；

5、s2、建立并训练卷积神经网络，具体包括以下分步骤：

6、s21、建立卷积神经网络，并将训练集中的一张煤场二维图片输入卷积神经网络中，提取二维图片的特征信息；

7、s22、将步骤s21提取的特征信息通过反卷积进行上采样，得到3*n的矩阵，其中n为重建三维点云数量；所述3*n矩阵包含n个点云的三维坐标信息；

8、s23、通过卷积神经网络，将步骤s22得到的3*n矩阵信息与步骤s21中输入的二维图片对应的三维点云数据进行比对，如果损失函数计算所得差值在设定范围内，则进入步骤s25，否则进入步骤s24；

9、s24、根据步骤s23损失函数的计算结果，进行回传更新卷积神经网络相关参数，然后重复步骤s21-s23；更新卷积神经网络相关参数用于优化对二维图片的特征提取以及对所提取的特征信息进行的上采样，使步骤s22卷积神经网络得到的三维点云坐标收敛于训练集中该二维图片对应的三维点云数据的位置；

10、s25、从训练集中剩下的二维图片中任选一张输入卷积神经网络，重复步骤s21-s23，直至训练集中所有二维图片使用完；

11、s3、将一张煤场的二维图片输入步骤s2训练完的卷积神经网络中，得到对应的三维点云坐标信息，并通过这些三维点云坐标信息构建煤场三维模型，从而计算出煤场体积，完成盘煤。

12、作为优选，步骤s1和s3中的二维图片都需涵盖整个煤场的形状信息，且像素都填充至预定规格；步骤s1中训练集里的三维点云数据记录整个煤场的空间形状信息。

13、作为优选，步骤s23中的损失函数包括第一损失函数和第二损失函数；所述第一损失函数为l1loss或mseloss，第二损失函数为emd；两种损失函数都用于计算卷积神经网络输出的三维点云坐标与训练集中该二维图片对应的三维点云数据位置的误差，并进行回传，更新卷积神经网络相关参数，但第一损失函数计算结果用于返回更新卷积神经网络对二维图片的特征提取以及对所提取的特征信息进行上采样的相关参数，而第二损失函数的计算结果用于返回更新卷积神经网络对特征信息进行上采样的相关参数。作为优选，步骤s1中还需记录训练集种煤场二维图片的数量。

14、作为优选，步骤s2中建立的卷积神经网络包括残差网络模块和点云网络模块，所述残差网络模块用于提取二维图片的特征信息，并建立该二维图片对应的三维点云坐标信息；所述点云网络模块用于比对残差网络模块建立的三维点云坐标信息与训练集中该二维图片对应的三维点云数据位置的差异。

15、作为优选，步骤s21中对二维图片的特征提取包括以下分步骤：

16、s211、将二维图片输入卷积神经网络，并保存为3*h*w的第一矩阵，其中h和w为第一矩阵设定的高和宽；

17、s212、对步骤s211得到的第一矩阵进行卷积，将其保存为1*h′*w′的第二矩阵，其中h′和w′为第二矩阵设定的高和宽。

18、作为优选，步骤s3中的二维图片的拍摄相机内外部参数与步骤s1中拍摄相机内外部参数相同，且拍摄的煤场结构与步骤s1相同。

19、作为优选，步骤s1所述煤场二维图片的拍摄相机内外部参数一致且拍摄的为同一煤场。

20、一种计算机可读存储介质，存储有计算机程序，所述计算机程序使计算机执行上述的基于单张二维图像的盘煤方法。

21、一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时，实现上述基于单张二维图像的盘煤方法。

22、本发明的有益效果是：

23、1、通过运用仅靠单张二维图像实现煤场的三维模型重建，从而实现盘煤，缩减了盘煤时所需的设备购置、运维成本和人力成本以此达到经济性和实时性兼顾，在兼顾了上述问题同时通过计算机算法来提升盘煤的精确性，从而实现对煤堆信息实时地、经济地、准确地把控，解决当下电厂盘煤实时性、经济性和精准性无法兼顾的难题。

24、2、本发明提供的方法无需过多前置训练成本，仅需相关煤场多批次煤堆图片以及煤堆对应点云数据做算法训练使用即可。

25、3、本发明提供的方法，仅需一台拍摄设备即可，无需购置额外特殊设备，例如双目摄像机、景深摄像机等设备，设备购置成本、维护成本低。

26、4、本发明提供的卷积神经网络可学习更新，有效的降低了系统维护和更新成本。

27、5、对不同种类的煤场，只要提供足够的二维图片及对应的三维点云数据，即可完成卷积神经网络的训练，使得本发明提供的方法可用于不同种类煤场，适用范围极广。

28、6、通过损失函数计算误差并进行回传，更新卷积神经网络的相关参数，并进行反复迭代，直至误差达到设定范围内，使得本发明提供的方法三维建模能达到较高的精度，提高了盘煤的准确度，避免因较大的误差造成不必要的损失。