基于三维光场技术的光学无人机监测系统的制作方法

本发明属于无人机监测领域，特别涉及一种基于光场技术的无人机监测系统。

背景技术：

随着无人机技术的发展，对无人机的监测系统的改进有着广泛的需求，现有技术中多采用雷达和摄像头相结合的监测系统。雷达监测易受隐身技术欺骗且低空监测的效果较差，摄像头一般来说分辨率较低。中国发明专利申请201810128587.2公开了一种无人机监测系统及其监督方法。在该方法中，利用软件方法，扫描区域内的图像，通过第一和第二相机形成立体视觉判断图像中是否存在可疑的目标，通过计算可疑目标的准确位置，对可疑目标进行跟踪拍摄。该技术主要是在软件部分进行改进。中国发明专利申请201810396720.2公开了一种无人机探测方法、装置及电子设备。也主要是从软件的角度，控制探测平台上的相机转动，采取发送转动指令至转台的电机，以使电机带动转台上的多台相机转动预设角度；发送停止指令至该电机，以使该电机控制转台在转动预设角度后停止转动；当确定上述多台相机停止预设时间后，控制多台相机进行一次拍摄以获取多个图像；对该多个图像进行图像识别，确定监控区域内是否存在无人机；如果监控区域内不存在无人机，则重新执行以上步骤。

需要一种新的分辨率高，并且稳定的监测系统，获得清晰的立体图像，从而在监测或探测无人机的过程中提高效率和准确性。

技术实现要素：

本发明的目的在于提供一种新的分辨率高，并且稳定的监测系统，获得清晰的立体图像，从而在监测或探测无人机的过程中提高效率和准确性。

本发明公开了一种基于光场技术的无人机监测系统，其中第一摄像机，用于持续获得监测区域内的图像信息；以及第二摄像机，所述第二摄像机为包含复眼透镜的光场相机，用于在所获的图像信息被判定为无人机时，获得所述无人机的光场信息；以及彼此垂直放置的垂直旋转平台和水平旋转平台；所述垂直旋转平台用于控制所述第一摄像机和第二摄像机沿垂直于所述水平旋转平台的方向旋转；并且所述水平旋转平台用于控制所述第一摄像机和第二摄像机沿水平方向旋转；其中所述第一摄像机和第二摄像机能够在所述垂直旋转平台和所述水平旋转平台的控制下同步旋转；以及计算机处理器，用于分析判断所获得的监测区域内的图像信息是否为无人机，并且通过所获得的光场信息计算出无人机的深度信息从而获得与所述无人机的位置。

本发明的一个方面，所述垂直旋转平台控制所述第一摄像机和第二摄像机的旋转范围为仰角15－45度。所述水平旋转平台控制所述第一摄像机和第二摄像机的旋转范围为0－120度。所述第二摄像机还包括一个具有约1°对角线透镜的远摄透镜组和相机感光元件，所述复眼透镜配置于所述远摄透镜组和所述相机感光元件之间，并靠近所述相机感光元件。其中所述复眼透镜为微透镜阵列。其中所述微透镜阵列为线性排列或六边形排布的方式，其中所述六边形排布的微透镜阵列由于其每一行相较上一行错位排布。其中所述六边形微透镜阵列的每个微透镜的宽度均为60μm，但是在90μm内存有两个微透镜。其中所述

光场图像i(x，y)可以由公式表示可以由公式表示：

i(x，y)＝∫∫lf(u，v，x，y)dudv(1)

其中(u，v，x，y)表示沿着与(u，v)处的主透镜相交的光线行进的光和(x，y)处的微透镜平面，并且使用全光圈；并且图3(d)为本发明的光场成像系统的移动子孔径图像来计算重新聚焦的图像原理示意图，通过图3(d)所示的方式移动子孔径图像来计算重新聚焦的图像：

移位的光场函数可以表示为：

本发明提供的三维光场技术的光学无人机监测系统能够对监测过程中的震动进行隔离，从而在监测或探测无人机的过程中提高效率和准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实例，对于本领域普通技术人员来讲，在不付出创新性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的无人机监测系统的结构示意图。

图2为本发明的无人机监测系统的第二摄像机的结构示意图。

图3(a)和3(b)为本发明的光场成像系统的原理图。

图3(c)为处理后的光场图像示例图。

图3(d)为本发明的光场成像系统的移动子孔径图像来计算重新聚焦的图像原理示意图。

图4(a)为为本发明的无人机监测系统的第二摄像机103的六边形微透镜阵列的显微镜图。

图4(b)为本发明的无人机监测系统的第二摄像机103的六边形微透镜阵列的白光干涉仪检测图。

图5为本发明的无人机监测系统的工作原理图。

具体实施方式

现结合相应的附图，对本发明的具体实施例进行描述。然而，本发明可以以多种不同的形式实施，而不应被解释为局限于此处展示的实施例。提供这些实施例只是为了本发明可以详尽和全面，从而可以将本发明的范围完全地描述给本领域的技术人员。附图中说明的实施例的详细描述中使用的措辞不应对本发明造成限制。

图1为本发明的无人机监测系统100的结构示意图。其中所述系统100包括，用于存放处理器以及旋转平台控制器的机箱101，第一摄像机102，第二摄像机103，长焦镜头104，广角镜头105，垂直旋转平台106，水平旋转平台107，垂直支撑面板108，水平支撑板109。其中第一摄像机102和第二摄像机103均为高分辨率摄像机，二者的轴线彼此平行，通过固定杆110固定在水平支撑板109上；垂直旋转平台106固定于水平支撑板109的一侧；其中所述垂直旋转平台106的轴心部分与垂直支撑面板108相固定，所述垂直旋转平台106的轴线为水平方向，并所述垂直旋转平台能围绕所述轴心沿箭头a的方向与沿箭头a的相反方向分别旋转。由于所述垂直旋转平台106与水平支撑板109和第一固定杆110之间均为相互固定的，因此，在垂直旋转平台106围绕其轴心旋转时，能够通过带动固定在水平支撑板109上的第一固定杆110，进而使所述第一摄像机102与所述第二摄像机103同时运动，即，使所述第一摄像机102与所述第二摄像机103同步围绕所述垂直旋转台沿箭头a或与箭头a相反的方向旋转，在一个实施例中，旋转的范围可为仰角15－45度。进一步，所述垂直支撑面板108固定在第二固定杆111上，所述第二支撑杆111固定在水平旋转平台107上。如图1所示，在所述第二支撑杆111的带动下，包括所述第一摄像机102，第二摄像机103，长焦镜头104，广角镜头105,垂直旋转平台106，垂直支撑面板108,水平支撑板109均能围绕所述水平旋转平台107的轴心沿箭头b或者沿箭头b相反的方向旋转；所述水平旋转平台107的轴线垂直于所述水平旋转平台的旋转方向。同样地，由于第二固定杆111与所述水平旋转平台107之间是固定的，因此在所述第二固定杆111在所述水平旋转平台107上沿箭头b的方向或沿箭头b相反的方向旋转的时候，能够同时带动所述光场相机102与所述普通摄像机103同时运动，即，使所述光场相机102与所述普通摄像机103同步围绕所述水平旋转台沿箭头b或与箭头b相反的方向旋转。在一个实施例中，旋转的范围可为仰角15－45度。在一个实施例中，旋转的范围可为水平旋转平台所允许的范围，特别优选地在于0－120度。

水平旋转平台107为无振动光学平台，其放置在机箱101上，机箱101用来容纳包括处理器和旋转平台控制器的所述计算机工作站，所述水平旋转平台107提供水平的平面，固定在水平旋转平台107上的摄像机系统能够对无人机进行追踪，同时能够保持所述摄像机系统相对固定，并不受到震动的干扰。

所述两个高分辨率摄像机102，103可以采用相同的相机主体，例如采用超高清的4k(4096×2160像素)摄像机；也可以采用不同的相机主体。其中第二摄像机103为广角摄像机，其拍摄广阔的范围，具有将距离感夸张化，对焦范围广等拍摄特点。使用广角时可将眼前的物体放得更大，将远处的物体缩得更小,令四周的图像失真。广角还能使图像中的任意一点都调节到最适当的焦距，使得画面更加清晰，也可以称之为完全自动对焦，所述第二广角摄像机103可采用相机感光元件上单个像素尺寸在1-8微米范围内的摄像机；在广角第二摄像机103内包括一个视角透镜或对角透镜。第二摄像机103为超远距离摄像机，所述第二摄像机103利用超级远摄镜头对飞行的无人机进行追踪，所述超级远摄镜头采用100-2200mm焦段范围内的镜头。将在下文对第二摄像机103进行详细的结构说明。计算机工作站位于光学无人机监测系统100机箱101的内部，对采集获得的信息进行处理、对无人机的飞行进行监测，并及时给出警报。机箱101主要是在户外，例如机场等环境中保护光学无人机监测系统100。

图2为本发明的无人机监测系统的第二摄像机103的结构示意图。微透镜阵列201置于第二摄像机103(即光场相机)的感光元件202与相机镜头204和205之间。通过第二摄像机103采集的照片在显示器上放大可以看出，图片是由横竖都等距分布的圆形子图像组成。每个子图像对应的是一个微透镜。第二摄像机103可以为光场相机，在第二摄像机103中，还包括一个具有约1°对角线透镜的超级远摄透镜组204，205；所述超级远摄透镜组204，205可以采用100-2200mm焦段范围内的透镜。一个实施例中，第二摄像机103还包括微透镜阵列201，所述微透镜阵列201的存在使所述第二摄像机103成为复眼摄像机，例如，超高清(hud)4k复眼摄像机，其中的微镜头阵列201是根据图像传感器规范以及显微镜光路来进行设计的。装有复眼透镜的相机进行拍摄时的操作方式与普通相机的拍摄相同，拍摄获得的图片未处理前放大可以看到整幅图像是由每个复眼透镜的小图像组合而成。光场计算软件处理后可以将图片重聚焦到不同焦平面上，正因为有重聚焦的特性所以光场图像可以获得所拍摄图像的深度信息。由于，复眼镜片加装到相机感光元件之前即可拍摄得到记录光场信息的图像。

图3(a)和3(b)为本发明的光场成像系统的原理图。显示了在cmos传感器301前面具有微透镜阵列302的光场成像系统的机制。图3(a)通过像素的所有光线都通过其母微透镜并通过主透镜303上的共轭方形(子光圈)。图3(b)通过子孔径的所有光线通过不同微透镜下的相应像素聚焦。这些像素形成通过该子孔径看到的照片。

光场图像i(x，y)可以由公式表示可以由公式表示：

i(x，y)＝∫∫lf(u，v，x，y)dudv(1)

其中(u，v，x，y)表示沿着与(u，v)处的主透镜相交的光线行进的光和(x，y)处的微透镜平面，并且使用全光圈。图3(d)为本发明的光场成像系统的移动子孔径图像来计算重新聚焦的图像原理示意图，通过图3(d)所示的方式移动子孔径图像来计算重新聚焦的图像：

移位的光场函数可以表示为

光场成像技术允许重新聚焦图像并估计场景的深度图。通过光场计算出基本的深度范围，并结合图像上的位置来确定无人机的位置。

对于芯片板应用的半导体制造，可以使用复眼来找出铝粘合线的最大环高度，芯片上的第一键合高度和基板上的第二键合高度。图3(c)为处理后的光场图像示例图。在图3(c)中，正方向上的更大数量(μm)意味着朝向物镜的更近的虚拟焦平面。物镜表面上的焦平面校准为0μm。处理后的光场图像。图3(c)的左上图像是顶部线层，图3(c)的右上图像是中间层，图3(c)的左下图像是底部金属层，图3(c)的右下图像是全焦点图像。将开发自动聚焦软件以捕获所有线图像，而无需命令垂直轴的任何机械运动。将开发实时aoi软件并与自动对焦软件结合使用。用户界面将显示由相机拍摄的图像和全焦点图像，将标记检测到的任何缺陷。

通过深度信息获得距离的方式与现有的通过距离标定物获得距离的方式相比更简便，能获得清晰的图像和准确的距离信息。

因此，微镜头阵列201只加装在第二摄像机103而不装于第二摄像机103上。在微镜头阵列201参数的设计过程中，像素间距以及传感器尺寸都是其影响因素。在微透镜阵列对准策略中有线性和六边形两种。六边形微透镜阵列较线性阵列略有差异，每个微透镜的宽度均为60μm，但是在90μm内存有两个微透镜。第二摄像机103中还包括靠近微透镜阵列201的相机感光元件202。感光元件202的示例为，cmos电荷耦合器件图像传感器ccd，用于将所感应的光线信号转变为电信号。当第二摄像机103发现被摄物体206时，被摄物体经过超级远摄透镜组204，205形成虚拟图像203，经过微透镜阵列201的处理，所述虚拟图像203在感光元件202中形成高清晰的图像电信号。

图4(a)为本发明的无人机监测系统的第二摄像机103的六边形微透镜阵列的显微镜图。坐标单位为微米。图4(b)为本发明的无人机监测系统的第二摄像机103的六边形微透镜阵列的白光干涉仪检测图。图4(a)和图4(b)检测的是同一个微透镜阵列。在一个示例中，微透镜阵列采用线性阵列的排布。但是线性排布会导致微透镜之间留有较大的空隙，此空隙不能产生图像，因此，在另一示例中，微透镜阵列可采用六边形排布的方式，而六边形排布的微透镜阵列由于其每一行相较上一行错位排布即可大幅减小微透镜之间的空隙提高微透镜后的图像传感器的利用效率。计算光场信息时，需要通过线性对准来确保每个子图像都被程序提取到，因此生成横向与纵向的参考线，使参考线穿过横向和纵向子图像的中心，之后即可抓取所有子图像并算出深度信息。对于图4(a)中显示的六边形微透镜阵列来说，微透镜的错位分布，使得对准时需要采用新的对准方法，使软件可以准确提取并对比分析每个微透镜的图像。如4(a)所示，六边形微透镜阵列模式要比线性微透镜阵列模式密集的多。六边形微透镜阵列虽然在垂直方面是线性对齐的，但是其在水平方向则是平移的。因此，本发明的无人机监测系统可采用六边形微透镜阵列模式。这是因为，密集度更高的六边形微透镜阵列模式可以提供更高分辨率的光场成像系统。

图5为本发明的无人机监测系统的工作流程图500。在步骤501，启动无人机监测系统开始监测；在步骤502，第二摄像机103持续工作，并不断地将将较大范围内的获得的视频图像信息发送至计算机工作站；由于所述第二摄像机103为广角摄像机，因此所述摄像机可以扫描保护区域并捕获高清4k视频。同时，因为扫描的范围较大，因此所获得的图像分辨率较低，无法获知清晰的无人机图像。广角第二摄像机103拍摄到的视频会一直由计算机处理。当无人机进入相机的视场后，计算机会通过基于机器学习的监测算法进行监测。若没有无人机被监测到则不产生任何控制信号。当监测确认为无人机后会由计算机通过比对无人机位置坐标与相机视场中心坐标比对，若超过水平或垂直方向的阈值则会产生控制信号，控制信号通过usb接口与平台控制器相连接。在步骤503，通过与计算机工作站中存储的数据库进行比对，判定所获得的图像是否符合数据库中无人机的形状，一旦目标匹配，则进入步骤504，当监测到的无人机处于相机视场中心后会产生信号控制水平旋转平台107和垂直旋转平台106旋转到合适的位置，通过第二摄像机103进行拍照，所拍摄的照片即包含了所拍摄景物的光场图像，之后将交由光场处理软件进行信息处理；也就是说，无人机监测系统100将驱动第二摄像机103，聚焦在锁定目标上的远摄镜头来跟踪可疑目标，从而获得目标无人机的高分辨率图像和光场信息，并进入步骤504；在不匹配的情况下，回到步骤502，重复将第二摄像机103获得的视频图像信息发送至计算机工作站；在步骤504，无人机监测系统100再次使用数据库对这些信息进行计算和验证后，计算并获得所述光场图像的深度及位置信息并向用户或控制塔发出警示。也就是说，高分辨率图像一旦与数据库中的无人机形状信息具有高度的相似性，就会将报警信号发送给监控系统，所述无人机的深度及位置信息也将被送回监督中心。

本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着，结合实施例描述的特定特征、结构或者特性包括在本发明的至少一个实施例中。此外，请注意，这里“在一个实施例中”的词语例子不一定全指同一个实施例。

以上所述仅用于说明本发明的技术方案，任何本领域普通技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围应视权利要求范围为准。本发明已结合例子在上面进行了阐述。然而，在本发明公开范围以内的上述实施例以外的其它实施例也同样可行。本发明的不同的特点和步骤可以以不同于所描述的其它方法进行组合。本发明的范围仅受限于所附的权利要求书。更一般地，本领域普通技术人员可以轻易地理解此处描述的所有的参数，尺寸，材料和配置是为示范目的而实际的参数，尺寸，材料和/或配置将取决于特定应用或本发明教导所用于的应用。