基于图像误差反馈的无人机拍摄智能控制方法及系统与流程

1.本发明涉及无人机的控制技术领域，具体地涉及一种基于图像误差反馈的无人机拍摄智能控制方法及系统。


背景技术：

2.电力巡检是电力设施维护的常规环节。近年来，为了降低人力成本，提高巡检效率，多地开始逐步引入无人机巡检技术。无人机巡检技术是指采用无人机前往现场拍摄图像，通过人为直接判断或机器图像识别的方式来确定现场设备的状态，从而完成巡检工作。
3.但是，机器图像识别的精度很大程度取决于无人机的拍摄角度。因此，控制调节无人机的拍摄角度是无人机拍摄以及机器图像识别的重要环节。然而，现有技术中很少有关于这类控制算法。


技术实现要素：

4.本发明实施方式的目的是提供一种基于图像误差反馈的无人机拍摄智能控制方法及系统，该控制方法及系统能够校准无人机镜头的拍摄角度。
5.为了实现上述目的，本发明实施方式提供一种基于图像误差反馈的无人机拍摄智能控制方法，包括：
6.获取当前无人机拍摄的采样图片；
7.基于预设的视角识别方法根据所述采样图片计算所述采样图片的视角；
8.获取所述无人机当前的位置以及所述采样图片对应的实物的位置；
9.根据所述无人机当前的位置和所述采样图片的位置确定所述无人机拍摄的实际角度；
10.将所述实际角度与所述视角进行比对，以确定当前的角度误差；
11.判断所述角度误差是否大于或等于预设的误差阈值；
12.在所述角度误差大于或等于所述误差阈值的情况下，根据所述角度误差调节所述无人机的镜头角度。
13.可选地，基于预设的视角识别方法根据所述采样图片计算所述采样图片的视角包括：
14.提取所述采样图片的特征图的边缘线条；
15.在所述边缘线条中寻找不相邻的两组对边；
16.分别计算每组对边中两条边的差值；
17.确定差值较大的第一对边和差值较小的第二对边；
18.根据所述第一对边中较长的一边与所述采样图片的边缘的夹角确定所述视角中的y轴旋转角；
19.根据所述第一对边中两条边的比例确定所述视角中的x轴旋转角；
20.根据所述第二对边中两条边的比例确定所述视角中的z轴旋转角；
21.根据所述y轴旋转角、x轴旋转角以及z轴旋转角确定所述采样图片的视角。
22.可选地，提取所述采样图片的特征图的边缘线条包括：
23.对所述采用图片执行全局阈值分析操作以得到多个敏感区域；
24.针对每个敏感区域进行8连通域分析以形成待筛选区域；
25.删除不满足边缘筛选要求的所述待筛选区域；
26.对所述待筛选区域执行形态学开操作以去除所述待筛选区域边缘处的毛刺点；
27.对形态学开操作后的所述待筛选区域执行亚像素精度轮廓拟合操作以得到所述特征图。
28.可选地，边缘筛选要求包括：
29.生成每个待筛选区域的区域边缘；
30.将预设的遮光矩阵投影在所述区域边缘中以得到每个所述待筛选区域的边缘遮光矩阵；
31.根据所述边缘遮光矩阵确定所述待筛选区域的实际边的数量；
32.在所述实际边的数量为4的情况下，确定所述待筛选区域满足边缘筛选要求。
33.可选地，所述控制方法还包括：
34.采用公式(1)表示所述边缘遮光矩阵，
[0035][0036]
其中，a为所述边缘遮光矩阵，a
11
、a
1n
、a
m1
、a
mn
为所述边缘遮光矩阵中的像素表达向量，在所述区域边缘所在的图像中的区域像素的灰度值大于灰度阈值的情况下，所述像素表达向量的数值为1，在所述区域边缘所在的图像中的区域像素的灰度值小于或等于灰度阈值的情况下，所述像素表达向量的数值为0.
[0037]
可选地，所述控制方法还包括：
[0038]
针对所述区域边缘所在的图像的每个区域像素，统计灰度值大于所述灰度阈值的第一像素块；
[0039]
统计灰度值小于或等于所述灰度阈值的第二像素块；
[0040]
比较所述第一像素块和所述第二像素块的数量大小；
[0041]
在所述第一像素块的数量大于所述第二像素块的数量的情况下，确定所述区域像素的灰度值大于所述灰度阈值；
[0042]
在所述第一像素块的数量小于或等于所述第二像素块的数量的情况下，确定所述区域像素的灰度值小于或等于所述灰度阈值。
[0043]
可选地，获取所述无人机当前的位置以及所述采样图片对应的实物的位置包括：
[0044]
以所述无人机所在的位置为原点，所述无人机的两翼为x轴，两翼在水平方向上的垂线为y轴，两翼在竖直方向上的垂线为z轴，建立空间坐标系；
[0045]
确定所述实物在所述空间坐标系中的位置坐标；
[0046]
连接所述位置坐标和原点，并确定与连线相垂直的平面；
[0047]
计算所述平面的y轴旋转角、x轴旋转角以及z轴旋转角，以得到所述实际角度。
[0048]
可选地，以所述无人机所在的位置为原点，所述无人机的两翼为x轴，两翼在水平
方向上的垂线为y轴，两翼在竖直方向上的垂线为z轴，建立空间坐标系包括：
[0049]
以所述无人机的镜头的中心为原点。
[0050]
另一方面，本发明还提供一种基于图像误差反馈的无人机拍摄智能控制系统，所述控制系统包括处理器，所述处理器用于被机器读取以使得所述机器执行如上述任一所述的控制方法。
[0051]
再一方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行如上述任一所述的控制方法。
[0052]
通过上述技术方案，本发明提供的一种基于图像误差反馈的无人机拍摄智能控制方法及系统通过对采样图片进行分析得到视角，再结合无人机和实物的相对位置来确定实际角度，通过将分析的视角和实际角度进行比对，从而完成对无人机镜头角度的校正，提高了无人机拍摄合格图片的效率。
[0053]
本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0054]
附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：
[0055]
图1是根据本发明的一个实施方式的一种基于图像误差反馈的无人机拍摄智能控制方法的流程图；
[0056]
图2是根据本发明的一个实施方式的一种基于图像误差反馈的无人机拍摄智能控制方法的部分流程图；
[0057]
图3是根据本发明的一个实施方式的一种基于图像误差反馈的无人机拍摄智能控制方法的部分流程图；
[0058]
图4是根据本发明的一个实施方式的一种基于图像误差反馈的无人机拍摄智能控制方法的部分流程图；
[0059]
图5是根据本发明的一个实施方式的一种基于图像误差反馈的无人机拍摄智能控制方法的部分流程图。
具体实施方式
[0060]
以下结合附图对本发明实施方式的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施方式，并不用于限制本发明实施方式。
[0061]
在本发明实施方式中，在未作相反说明的情况下，使用的方位词如“上、下、顶、底”通常是针对附图所示的方向而言的或者是针对竖直、垂直或重力方向上而言的各部件相互位置关系描述用词。
[0062]
另外，若本发明实施方式中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人
员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
[0063]
如图1所示是根据本发明的一个实施方式的一种基于图像误差反馈的无人机拍摄智能控制方法的流程图。在该图1中，该控制方法可以包括：
[0064]
在步骤s10中，获取当前无人机拍摄的采样图片；
[0065]
在步骤s11中，基于预设的视角识别方法根据采样图片计算采样图片的视角；
[0066]
在步骤s12中，获取无人机当前的位置以及采样图片对应的实物的位置；
[0067]
在步骤s13中，根据无人机当前的位置和采样图片的位置确定无人机拍摄的实际角度；
[0068]
在步骤s14中，将实际角度与视角进行比对，以确定当前的角度误差；
[0069]
在步骤s15中，判断角度误差是否大于或等于预设的误差阈值；
[0070]
在步骤s16中，在角度误差大于或等于误差阈值的情况下，根据角度误差调节无人机的镜头角度。
[0071]
在该如图1所示的方法中，步骤s10可以用于获取无人机拍摄的采样图片。由于本发明提供的方法主要是用于校准无人机的拍摄镜头的角度，因此且在后续的分析过程中，所涉及的角度计算均是基于特定形状的实物。故在该实施方式中，该采样图片的实物可以是矩形的样板图片。并且，为了能够进一步提高步骤s11计算视角的精准度，该样板图片的图案可以是预定的形状，从而提高识别率。
[0072]
步骤s11可以用于根据该采样图片计算采用图片的视角。对于该预设的视角识别方法，虽然可以是本领域人员所知的多种方法。但是在本发明的一个优选示例中，该视角识别方法可以包括如图2中所示出的方法。在该图2中，该视角识别方法可以包括：
[0073]
在步骤s20中，提取采样图片的特征图的边缘线条；
[0074]
在步骤s21中，在边缘线条中寻找不相邻的两组对边；
[0075]
在步骤s22中，分别计算每组对边中两条边的差值；
[0076]
在步骤s23中，确定差值较大的第一对边和差值较小的第二对边；
[0077]
在步骤s24中，根据第一对边中较长的一边与采样图片的边缘的夹角确定视角中的y轴旋转角；
[0078]
在步骤s25中，根据第一对边中两条边的比例确定视角中的x轴旋转角；
[0079]
在步骤s26中，根据第二对边中两条边的比例确定视角中的z轴旋转角；
[0080]
在步骤s27中，根据y轴旋转角、x轴旋转角以及z轴旋转角确定采样图片的视角。
[0081]
在该如图2所示出的方法中，对于步骤s20提取采样图片的特征图的边缘线条的具体方法，则可以是例如图3中所示出的方法。在该图3中，在步骤s20可以包括：
[0082]
在步骤s30中，对采用图片执行全局阈值分析操作以得到多个敏感区域；
[0083]
在步骤s31中，针对每个敏感区域进行8连通域分析以形成待筛选区域；
[0084]
在步骤s32中，删除不满足边缘筛选要求的待筛选区域；
[0085]
在步骤s33中，对待筛选区域执行形态学开操作以去除待筛选区域边缘处的毛刺点；
[0086]
在步骤s34中，对形态学开操作后的待筛选区域执行亚像素精度轮廓拟合操作以得到特征图。
[0087]
在该如图3所示出的方法中，对于步骤s32中的边缘筛选要求，虽然可以是本领域人员所知的多种方式。但是，考虑到实际样板图片的形状为矩形，因此在筛选时，需要保留实际边的数量为4的待筛选区域，转而删除其余实际边不为4的待筛选区域。而对于获取该实际边的数量的方式，虽然也可以是本领域人员所知的多种方式。但是在本发明的一个实施方式中，为了能够通过最简单的算法来获取该实际边，该边缘筛选要求的方法可以是例如首先生成每个待筛选区域的区域边缘；再将预设的遮光矩阵投影在区域边缘中以得到每个待筛选区域的边缘遮光矩阵；最后根据边缘遮光矩阵确定待筛选区域的实际边的数量；在实际边的数量为4的情况下，确定待筛选区域满足边缘筛选要求。对于该边缘遮光矩阵，虽然也可以是本领域人员所知的多种形式。但是，在本发明的一个优选示例中，该边缘遮光矩阵可以是如公式(1)所示，
[0088][0089]
其中，a为边缘遮光矩阵，a
11
、a
1n
、a
m1
、a
mn
为边缘遮光矩阵中的像素表达向量，在区域边缘所在的图像中的区域像素的灰度值大于灰度阈值的情况下，像素表达向量的数值为1，在区域边缘所在的图像中的区域像素的灰度值小于或等于灰度阈值的情况下，像素表达向量的数值为0。
[0090]
此外，至于针对该边缘遮光矩阵获取实际边数量的方式，则可以是本领域人员所知的矩阵分析方法，例如采用预设的标准矩阵与该边缘遮光矩阵相乘，通过对乘积结果的分析来确定该边缘遮光矩阵中的实际边的数量。
[0091]
另外，为了降低算法的计算量，在确定区域像素时，往往需要将多个像素块划分为一个区域像素。基于该技术条件，在确定公式(1)中的像素表达向量时，则需要先采用如图4中所示出的步骤来确定。具体地，在该图4中，该方法可以包括：
[0092]
在步骤s40中，针对区域边缘所在的图像的每个区域像素，统计灰度值大于灰度阈值的第一像素块；
[0093]
在步骤s41中，统计灰度值小于或等于灰度阈值的第二像素块；
[0094]
在步骤s42中，比较第一像素块和第二像素块的数量大小；
[0095]
在步骤s43中，在第一像素块的数量大于第二像素块的数量的情况下，确定区域像素的灰度值大于灰度阈值；
[0096]
在步骤s44中，在第一像素块的数量小于或等于第二像素块的数量的情况下，确定区域像素的灰度值小于或等于灰度阈值。
[0097]
步骤s13用于根据无人机当前的位置和采样图片的位置确定无人机拍摄的实际角度。对于确定该实际角度的方法，虽然也可以是本领域人员所知的多种形式。但是，考虑到步骤s11中分析得到的视角的表达形式，在本发明的一个示例中，该步骤s13可以进一步包括如图5中所示出的步骤。
[0098]
在该图5中，该步骤s13可以包括：
[0099]
在步骤s50中，以无人机所在的位置为原点，无人机的两翼为x轴，两翼在水平方向上的垂线为y轴，两翼在竖直方向上的垂线为z轴，建立空间坐标系；
[0100]
在步骤s51中，确定实物在空间坐标系中的位置坐标；
[0101]
在步骤s52中，连接位置坐标和原点(例如以无人机的镜头的中心为原点)，并确定与连线相垂直的平面；
[0102]
在步骤s53中，计算平面的y轴旋转角、x轴旋转角以及z轴旋转角，以得到实际角度。
[0103]
另一方面，本发明还提供一种基于图像误差反馈的无人机拍摄智能控制系统，所述控制系统包括处理器，所述处理器用于被机器读取以使得所述机器执行如上述任一所述的控制方法。
[0104]
再一方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行如上述任一所述的控制方法。
[0105]
通过上述技术方案，本发明提供的一种基于图像误差反馈的无人机拍摄智能控制方法及系统通过对采样图片进行分析得到视角，再结合无人机和实物的相对位置来确定实际角度，通过将分析的视角和实际角度进行比对，从而完成对无人机镜头角度的校正，提高了无人机拍摄合格图片的效率。
[0106]
以上结合附图详细描述了本发明例的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。
[0107]
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。
[0108]
本领域技术人员可以理解实现上述实施方式方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0109]
此外，本发明实施方式的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。