无人飞机光轴变动补偿装置、方法和全景拍摄系统与流程

本发明涉及无人飞机领域，特别是涉及无人飞机光轴变动补偿装置、方法和全景拍摄系统。

背景技术：

利用无人飞机搭载摄影装置从空中航拍日益成为一种时尚。采用了旋翼结构的无人飞机在水平方向上移动时，机身会发生倾斜。如何抵消因机身倾斜所带来的摄影装置的光轴变动成为一个有待解决的问题。

根据光轴方向不同，常见的搭载在无人飞机上摄影装置可分为两种类型：一种是光轴方向与水平面大致平行，另一种是光轴方向与水平面大致垂直。由于光轴方向与无人飞机在水平面上运动方向的夹角不同，上述两种类型的摄影装置在面临的如何补偿机身运动带来光轴变动问题也有较大差异。具体而言，后者对光轴的角度变化更加敏感，但可以近似忽略因变焦所带来的无人飞机和摄影装置整体重心的变化。

另外，为了在单次拍摄中就可以获得更多的信息，往往会在无人飞机上搭载具有广角镜头、超广角镜头乃至视角近似等于180度或大于180度的鱼眼镜头的摄影装置。极致的广角镜头即鱼眼镜头能够一举摄入周边的图像。在无人飞机上搭载设有鱼眼镜头的摄影装置时，为了避免被机身遮挡，通常选择摄影装置的光轴方向与水平面大致垂直的配置方式。如何解决当光轴与水平面保持垂直时，快速精确地补偿因机身倾斜带来的摄影装置的光轴变动是一个难点。

另一方面，在拍摄VR(Virtual Reality，即虚拟现实，简称VR)全景照片或视频时，较为常见的方法包括采用两个反方向配置的视角大于等于180度的鱼眼摄影装置。若将该装置搭载在无人飞机上，例如在无人飞机机身的上方和下方同时配置光轴垂直于水平方向、方向相反的一对鱼眼镜头。此时不仅需要补偿上述因机身运动时带来的光轴变动，同时还要解决使一对鱼眼镜头的光轴时刻保持平行(即使在两光轴未垂直于水平面时)的问题。

技术实现要素：

为解决上述问题，根据本发明的一个方面，提供了一种无人飞机的镜头模组的光轴变动补偿装置，包括无人飞机机身和位于机身下方的第一摄影装置，所述第一摄影装置包括第一镜头模组，所述第一镜头模组的光轴方向与水平面垂直，所述光轴变动补偿装置的特征在于包括：

第一驱动部，其设置在所述无人飞机机身或者第一摄影装置上，用于变动第一摄影装置相对于所述无人机机身的夹角；

姿势制御装置，其设置在所述无人飞机机身或者第一摄影装置上，用于控制所述第一驱动部；以及

平衡检测装置，其设置在所述第一摄影装置上，用于检测所述第一镜头模组的光轴方向与水平面之间的偏移夹角。

优选地，该补偿装置还包括：存储器，其存储有表示所述无人飞机的速度和方向与第一镜头模组补偿角度的对应关系表；控制单元，其用于控制并监控所述无人飞机的运行状态；所述姿势制御装置分别连接所述存储器和所述无人飞机控制模块。

优选地，该补偿装置还包括：图像处理装置，其设置在所述无人飞机机身或者第一摄影装置上，用于获取来自所述第一镜头模组的图像，从该图像里抽出一个以上的特征点；所述姿势制御装置连接图像处理装置。

优选地，所述平衡检测装置为电子水平仪或回转仪；所述第一镜头模组为视角大于等于180度的超广角镜头。

优选地，所述无人飞机机身包括连接所述摄影装置支撑臂，所述支撑臂可活动地设置在机身正下方。

优选地，所述第一驱动部上设有驱动机构，并在至少两个不共轴的输出轴上分别设有圆形齿轮，所述第一摄影装置设有与各圆形齿轮啮合的扇形齿轮。

根据本发明的又一个方面，提供了一种无人飞机的镜头模组的光轴变动的补偿方法，包括上述光轴变动补偿装置，还包括步骤：获取所述第一镜头模组的光轴方向与水平面之间的偏移夹角；根据该夹角，使所述第一镜头模组相对于所述无人飞机机身变动对应的夹角。

优选地，该补偿方法还包括步骤：获取所述无人飞机在水平方向上的飞行速度和飞行方向；根据所述速度和方向，查询预先训练得到的所述速度与对应的所述第一镜头模组光轴补偿夹角的对应关系，得到与所述速度对应夹角；使所述第一镜头模组相对于所述无人飞机机身变动该夹角。

优选地，获取所述无人飞机在水平方向上的改变飞行速度和飞行方向的命令；根据所述命令，查询预先训练得到的所述速度与对应所述第一镜头模组光轴补偿夹角的对应关系，得到与所述速度对应的夹角；在所述无人飞机按照所述命令，在水平方向上的改变飞行速度和飞行方向之前或同时，使所述第一镜头模组相对于所述无人飞机机身变动该夹角。

优选地，该补偿方法还包括步骤：从所述第一镜头模组获取图像；从该图像里抽出一个以上的特征点；根据该特征点的变动，计算得到所述第一镜头模组的光轴方向与水平面之间的夹角；根据该夹角，使所述第一镜头模组相对于所述无人飞机机身变动对应的夹角。

优选地，特征点为图像轮廓曲度大于等于预设的阈值的区域。

根据本发明的又一个方面，提供了一种无人飞机的全景拍摄系统，包括上述无人飞机的镜头模组的光轴变动补偿装置，还包括第二摄影装置，其设置在所述无人飞机机身的上方，包括第二镜头模组，所述第二镜头模组与所述第一镜头模组的朝向方向相反；第二驱动部，其设置在所述无人飞机的机身或者第二摄影装置上，用于变动所述第二摄影装置相对于机身的夹角，以使得所述第二镜头模组的光轴方向与第一镜头模组的光轴方向保持平行；所述第二驱动部连接所述姿势制御装置和/或控制单元。

优选地，所述第一镜头模组和所述第二镜头模组为视角大于等于180度的超广角镜头。

根据本发明的一个方面，提供了一种无人飞机，包括上述的无人飞机的镜头模组的光轴变动补偿装置。

本发明的有益效果：当无人飞机在水平面上运动时，平衡检测装置检测摄影装置的光轴与拍摄物体不成直角关系，摄影装置上姿势制御装置或机身的控制单元通过驱动部变更摄影装置与无人飞机角度以补偿镜头模组光轴的变动；通过查询存储部内的对应表的方式，无需计算即可快速得到驱动部转动角度；通过图像处理装置抽取通过镜头模组得到的图像的特征点，利用特征点的变化计算光轴变动的补偿量，大幅提高了补偿的精度；提高了拍摄画面的稳定性，获得优质画面。

附图说明

下面结合附图对本发明作进一步说明：

图1是用户操作本发明第一实施例的整体结构示意图；

图2是本发明第一实施例的正面剖视图；

图3是本发明第一实施例在没有实行光轴补偿前，无人飞机沿箭头方向运动的示意图；

图4是本发明第一实施例在实行光轴补偿后，无人飞机沿箭头方向运动的示意图；

图5是本发明第一实施例的电路结构框图；

图6是本发明第三实施例的设有两个摄影装置的无人飞机全景拍摄系统的整体结构示意图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。下列实施例的目的是解释说明权利要求，而不应当被理解为对权利要求范围的限制。

本申请的权利要求书、说明书、以及图面中所示的装置、系统、程序以及方法上所提到的动作、操作说明、步骤以及阶段等各个处理的实施顺序，除非用“在…前”、“先于……”等限定语特别标明，否则可以按任意的顺序实现。关于本申请的权利要求书、说明书、以及图面中所示的装置、流程等，即使出于方便考虑，使用了“首先”、“然后”等词汇来说明，也并非意味着必须要按这个顺序去实施。

图1是根据本发明第一实施例的受用户10所操控的无人飞机100的整体示意图。无人飞机100可以是为外部所操控的在空中飞行的小型飞机。无人飞机100具备机身200和被机身200所装载的第一摄影装置300。然而，无人飞机100也可以是内置GPS，预先被编入与航线等相关的控制程序的半自律型飞机，或者可以是一切都不需要用户10操作的全自律型飞机。无人飞机100装载有电池。

用户10可以利用操作装置50通过无线通信向无人飞机100发送指令，从而操控无人飞机100的起飞、空中飞行以及降落。此外，也可以操作装载在无人飞机100上的第一摄影装置300。

第一摄影装置300是指具有超广角鱼眼镜头可以拍摄图像的相机。第一摄影装置300可以沿着机身200所装载的镜头的光轴移动。从第一摄影装置300发射往操作装置50的映像信号，既可以从无人飞机100的电源从on到off前连续发射，也可以根据用户10下给操作装置50的指令进行发射。

机身200含有X字形状，在X字的4个端部，装载着能在各个旋转轴周围旋转的第1水平旋翼212、第2水平旋翼222、第3水平旋翼232以及第4水平旋翼242。机身200具备有能使各水平旋翼分别在旋转轴周围旋转的第1翼驱动部214、第2翼驱动部224、第3翼驱动部234以及第4翼驱动部244。第1翼驱动部214等内置DC马达，通过DC马达的旋转力量旋转第1翼驱动部214等。机身200包括分别控制监控第1-4翼驱动部的工作状态的控制单元，该控制单元通过分别调节各翼驱动部的旋转速度来控制无人飞机100的运动方向。

机身200具备控制单元250和第一驱动部260。控制单元250控制无人飞机100的动作，第一驱动部260能使第一摄影装置300相对于机身200按指定的方向移动和/或转动。控制单元250被编入内置在X字中央的机身200主体部分内的微型多用途计算机内。第一驱动部260被设置在支撑臂270的前端上，以减少转动第一摄影装置300时的负担。支撑臂270从机身200这个主体部分的正下方起垂下，可以相对于机身200在多个方向上转动，以使得机身200相对于第一摄影装置300相对保持静止状态，从而防止无人飞机100在工作时机身摇晃，避免影响摄影的画面稳定性。此外，第一驱动部260也可设置在第一摄影装置300内部。

图2是本发明第一实施例的在水平方向上处于相对静止的无人飞机100的正面剖视图。被机身200所装载的第一摄影装置300的底面上配备有含有视角大于或等于180度的鱼眼第一镜头模组320。第一摄影装置300的底面为倒平顶锥形，以防止遮挡鱼眼第一镜头模组320的可视角。第一摄影装置300中还有平衡检测装置，平衡检测装置可采用电子水平仪、光学类回转仪、陀螺仪等，用于检测第一摄影装置300的姿势与水平面之间的夹角。姿势制御装置设在机身200或第一摄影装置300上，其分别连接平衡检测装置和第一驱动部260姿。势制御装置可采用微控制器。机身200可以利用姿势制御装置，通过平衡检测装置获得第一摄影装置300和水平面之间的夹角，根据该夹角控制驱动部，控制第一驱动部260使第一摄影装置300相对于机身200倾斜方向转动，以补偿机身200的倾斜角度，使第一摄影装置300上的第一镜头模组320的光轴与水平面成同直角关系的。第一摄影装置300拍摄来自鱼眼第一镜头模组320的图像。第一摄影装置300还包括摄影部330，该摄影部330被配置在入射到第一镜头模组320的光的入射侧和对侧的光轴上，以拍摄来自第一镜头模组320的图像。摄影部330是指，如CCD或者是CMOS等图像传感器。

第一驱动部260一边用装载机构装载第一摄影装置300，一边用驱动机构改变机身200相对于第一摄影装置300的角度。装载机构是指可以装载部件并且可以360°旋转的机构，例如，在第一驱动部260对面的第一摄影装置300的外面上形成与第一镜头模组320的光轴方向正交方向上的中心轴延伸的轴承，第一驱动部260上可以具备与轴承在同一方向上延伸并嵌合在轴承上的旋转轴。这种情况下，第一驱动部260通过使旋转轴嵌合在轴承上，从而支撑第一摄影装置300，通过旋转轴和轴承，从而使第一摄影装置300旋转。另一方面，作为驱动机构，例如，在第一驱动部260对面的第一摄影装置300的外面上已形成以上述旋转轴为旋转中心且外周拥有多个齿的不共轴的扇形齿轮组，第一驱动部260可以具备有能控制步进马达或伺服电动机之类的旋转次数的马达和圆形齿轮。该齿轮为马达的旋转轴所支持，其外周上有与扇形齿轮的齿是相辅相成形状的齿。在这种情况下，第一驱动部260使圆形齿轮的齿和扇形齿轮的齿相互咬合，通过使马达的旋转力变换为扇形齿轮的旋转力，从而变动机身200相对于第一摄影装置300的角度。扇形齿轮至少有两组，其齿轮轴相互正交，以实现一对正交方向上的转动。

如图5所示，机身200的控制单元250具备控制部252、储存器254、通信部256和图像处理装置258。储存器254存储有代表无人飞机100的飞行速度与对应第一镜头模组320光轴补偿夹角的对应关系的表格资料。通信部256根据无线通信与外部通信。图像处理装置258处理来自摄影部330的图像数据。具体是，图像处理装置258可以连续接收来自拍摄第一镜头模组320的图像的摄影部330的图像数据信息，并抽出各个图像数据里所含的多个特征点。图像处理装置258可以对照经过一定时间前后的各图像数据，并解析从中抽出的特征点之变动。根据这些特征点的解析结果，在多个特征点被判为超过预定的临界值往重力方向变动时，图像处理装置258还可以向控制部252发送该情报。

控制部252通过通信部256，接收来自操作装置50的指令，将拍摄来自第一镜头模组320的图像的摄影部330的映像信号发给操作装置50。控制部252根据操作装置50的指令，控制第1水平旋翼驱动部214等，以控制无人飞机100的起飞、飞行以及降落。

控制部252根据操作装置50的指令控制镜头驱动部310。该指令除了可以是和第一镜头模组320的光轴变动操作有关的指令之外，还可以含有第一镜头模组320是手动改变光轴的倾斜状态操作有关的指令。还有，第一镜头模组320的光轴也可以根据被摄影物体的地理数据进行自动调节。

控制部252控制第一驱动部260，使相对于机身200的第一摄影装置300的角度发生变化以补偿因摄影物体运动方向或地理位置的变动。控制部252既可以根据事先做好的控制程序控制第一驱动部260，也可以根据来自平衡检测装置的信号，控制第一驱动部260，还可以根据来自图像处理装置258的信号控制第一驱动部260，还可以参考存储在存储器254里的表格数据控制第一驱动部260。此外，控制部252也可以通过姿势制御装置控制控制第一驱动部260。第一摄影装置300上还可以设有激光测距仪，用于测量第一镜头模组320至被摄物之间的距离。该激光测距仪可以和软件配合，根据第一摄影装置300摄取的图像计算第一镜头模组320的光轴与被摄物平面的角度变化。

在当前状态下由于无人飞机100在水平方向上处于相对静止，第一摄影装置300的鱼眼第一镜头模组320与水平方向的夹角是90度，此时鱼眼第一镜头模组320达到了最大的取景范围，因此不需要补偿。

图3是在没有实行光轴补偿前，无人飞机100沿箭头方向运动的示意图。箭头所示方向为行进方向。四轴的无人飞机100在水平方向上运动时，运动方向一侧的两个水平旋翼降低转速，机身200在运动方向上发生倾斜，连接在机身200上的第一摄影装置300也随之倾斜。此时，如果不对第一摄影装置300进行光轴补偿，通过第一摄影装置300摄取的图像将发生偏转，机身200倾斜方向一侧的图像会有所缺失。

图4是在实行光轴补偿后，无人飞机100沿箭头方向运动的示意图，箭头所示方向为行进方向。当平衡检测装置测量到鱼眼第一镜头模组320的光轴方向不与水平方向垂直时，姿势制御装置根据鱼眼第一镜头模组320的光轴方向与水平方向夹角的变化而调整第一摄影装置300相对于机身200的角度，使鱼眼第一镜头模组320的光轴方向与水平方向垂直。

本发明第一实施例的运行方式和后述第二实施例基本相同，故在此不再赘言。

根据本发明的第二实施例，提供了一种无人飞机100的第一镜头模组320的光轴变动的补偿方法。实现该补偿方法的设备可参照本发明第一实施例。

第一镜头模组320的光轴与水平面垂直，因此无人飞机100的机身200在水平面上的倾斜的角度变化非常敏感。当机身200相对于倾斜θ度时，第一镜头模组320的光轴与水平面的垂线的夹角也为θ度。当第一镜头模组320距离地面被摄物较高时，轻微的夹角变化就会放大为视野的巨大变化。例如，以在没有补偿的情况下，以无人飞机100飞行高度为30米(忽略机身200和第一摄影装置300的厚度)，第一镜头模组320随机身300的倾斜，偏移了15度，则此时光轴中心对准的被摄物的位置相对于原位置移动了约为tan15°*30米＝8米。因此对光轴补偿的速度和精度都有很高的要求。

本实施例的补偿方法包括以下步骤：

第一次补偿：由控制单元250获取所述无人飞机100在水平方向的速度和方向或者预定要改变的飞行方向和飞行速度的命令；根据所述速度和方向，查询存储部内的预先训练得到的所述速度与对应第一镜头模组320光轴补偿夹角的对应关系，得到与所述速度对应夹角；控制单元驱动第一驱动部相对于机身转动第一摄影装置，从而使第一镜头模组320相对于机身200变动该夹角。第一次补偿可以在控制单元250控制机身200改变运动方向之前或者同时进行补偿，也可以在机身改变运动方向后再进行补偿。

第二次补偿：平衡检测装置获取第一镜头模组320的光轴方向与水平面之间的偏移夹角；根据该偏移夹角，姿势制御装置驱动第一驱动部相对于机身转动第一摄影装置，使第一镜头模组320相对于无人飞机100的机身200变动对应的夹角，即前述偏移夹角减去90度。

第三次补偿：从第一镜头模组320获取图像；抽出所述图像上的至少2个特征点(优选为4个点以上)，图像处理装置258可以连续接收来自拍摄第一镜头模组320的图像的摄影部330的图像数据信息，并抽出各个图像数据里所含的多个特征点。图像处理装置258可以对照经过一定时间前后的各图像数据，并解析从中抽出的特征点之变动。根据这些特征点的解析结果，在多个特征点被判为超过预定的临界值往重力方向变动时，图像处理装置258还可以向控制部252发送该情报。本次补偿利用了图像识别技术，图像识别可以是以图像的主要的特征点为主，这种特征可以不是物理意义上的特征，只要满足一定的数学描述就可以。特征点既是一个点的位置标识，同时是其局部邻域的模式特征。事实上，特征点是一个具有一定特征的局部区域的位置标识，称其为点，是将其抽象为一个位置概念，以便于确定两幅图像中同一个位置点的对应关系而进行图像配准。在特征匹配过程中是以该特征点为中心，将邻域的局部特征进行匹配。在本实施例中，图像的主要特征点可采用图像轮廓曲度最大(或者高于一预设的阈值)或轮廓方向突然改变的地方。图像处理装置258中设有自动检测和计算角度的软件，该软件根据图像轮廓变化最大的地方和该轮廓原来的位置(历史图像)之间的角度，计算出摄影装置的光轴与平面的角度。示例性地，上述软件采用多尺度小波变化法和SUAN角点提取法提取图像特征点，以及采用基于单目视觉和激光测距仪的位姿测量算法计算摄影装置的光轴与平面的角度。

第一次补偿的优点在于通过查表的方式，可以直接得到补偿偏转的角度，因此反应速度最快，可以在机身200接到倾斜命令的同时开始甚至提前开始补偿，从而大幅降低补偿的滞后性；缺点在于对补偿精度依赖训练得到的对应关系表是否准确，无法检测偏转后的补偿效果，以及当收到风等外界影响时补偿的精度无法保障。第二次补偿的优点在于利用电子水平仪等测量装置直接测得光轴与水平面的夹角进行补偿，通过偏转-检测-再偏转的多次检测调整的方式，能够确保补偿的精度，不受风等外界因素的影像；缺点在于需要靠多次反复偏转才能达到精确的补偿值，补偿的精度依赖于电子水平仪等测量装置的精度。第三次补偿的优点为补偿的到的结果即期望的拍摄结果，因此补偿的精度最高；缺点在于同样需要多次检测调整才能确保补偿的精度，补偿的速度最慢，对硬件计算条件要求较高。综合以上的优缺点，按照第一次补偿、第二次补偿和第三次补偿顺序进行补偿，可以达到补偿速度和补偿精度的平衡，达到良好的补偿效果。

此外，上述三次补偿的顺序还可以任意调换，或者任取其中一者或两者进行组合。

参考图6所示，本发明的第三实施例提供了一种无人飞机100的全景拍摄系统，包括四轴无人飞机100，该无人飞机100上配置有上下相对两个第一摄影装置300，即第一摄影装置300和第二摄影装置。第一摄影装置300和无人飞机100与本发明的第一实施例相同。第二摄影装置上设有视角大于180度的鱼眼第一镜头模组320，还设有连接位于机身200的姿势制御装置的第二驱动部和第二姿势制御装置。

对于本实施例来说，不仅需要对光轴进行补偿，在补偿的过程中还必须保证第一摄影装置300和第二摄影装置的光轴保持平行。当无人飞机100沿水平面向箭头方向飞行时，无人飞机100机身200向飞行方向倾斜，第一摄影装置300利用姿势制御装置和/或控制单元250，通过第一驱动部对其第一镜头模组320的光轴1进行转动θ度，从而使光轴1与水平面垂直。同时该姿势制御装置和/或控制单元250还同时控制位于第二摄影装置的第二驱动部向相反的方向转动θ度，以保持第一摄影装置300和第二摄影装置的光轴平行，从而使二者拍摄的影像正好能够覆盖360度的全景。

本发明第四实施例提供了一种无人飞机，其搭载了本发明第一实施例或第三实施例中的镜头模组的光轴变动补偿装置装置，具体结构和运行过程参考本发明第一实施例或第三实施例，在此不再赘言。

当然，本发明创造并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

符号说明，10用户、50操作装置、100无人飞机、200机身、212第1水平旋翼、214第1翼驱动部、222第2水平旋翼、224第2翼驱动部、232第3水平旋翼、234第3翼驱动部、242第4水平旋翼、244第4翼驱动部、250控制单元、252控制部、254储存器、256通信部、258图像处理装置、260驱动部、270支撑臂、300第一摄影装置、320第一镜头模组、330摄影部。