无人机自主定位方法、装置及无人机与流程

本公开涉及无人机自主定位技术领域，更具体地，涉及无人机自主定位方法、装置及无人机。

背景技术：

随着人类社会城市化进程的推进，城市人口爆炸性增长与地表面积的有限性矛盾不断上升，使得城市作战体系正向地下空间拓展。随着地下空间在城市作战中的地位日益提升，实现对地下空间目标侦察探测尤为重要。在地下空间，利用无人机搜索、识别、锁定和跟踪目标具有广泛的应用。为了实现无人机在地下空间正常飞行与执行任务，需要解决无人机在地下空间中的自主定位问题。

目前，主要是通过卫星及惯导(全称为惯性导航系统，即inertialnavigationsystem，ins)来实现无人机在地上空间飞行时的自主定位。

然而，在地下空间的环境中，由于环境封闭、遮挡严重等易导致卫星信号的丢失，故而现有自主定位方式不适用于地下空间环境。

技术实现要素：

本公开实施例的一个目的是提供一种无人机自主定位的新技术方案，能够适用于地下空间环境。

根据本公开的第一方面，提供了一种无人机自主定位方法，包括：根据无人机的二维激光雷达采集的数据，得到激光定位信息；根据所述无人机的惯性传感器、视觉里程计和深度相机分别采集的数据，得到视觉定位信息；根据所述无人机的定高雷达采集的数据，得到高度信息；根据所述激光定位信息、所述视觉定位信息和所述高度信息，得到所述无人机所处空间位置的定位信息。

根据本公开的第二方面，还提供了一种无人机自主定位装置，包括处理器和存储器，所述存储器用于存储指令，所述指令用于控制所述处理器进行操作以执行本公开的第一方面所述的方法。

根据本公开的第三方面，还提供了一种无人机，包括二维激光雷达、惯性传感器、视觉里程计、深度相机、定高雷达和本公开的第二方面所述的无人机自主定位装置；其中，所述无人机自主定位装置分别与所述二维激光雷达、所述惯性传感器、所述视觉里程计、所述深度相机、所述定高雷达通信连接。

本公开实施例的一个有益效果在于，本公开实施例的方法根据无人机的二维激光雷达采集的数据，得到激光定位信息；根据无人机的惯性传感器、视觉里程计和深度相机分别采集的数据，得到视觉定位信息；根据无人机的定高雷达采集的数据，得到高度信息；根据激光定位信息、视觉定位信息和高度信息，得到无人机所处空间位置的定位信息。根据本实施例的方法，无需卫星信号即可实现无人机自主定位，该自主定位方式可适用于地下空间环境。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据一个实施例的智能无人机系统的方框原理图；

图2是根据一个实施例的无人机自主定位软件交互接口的示意图；

图3是根据一个实施例的无人机自主定位方法的流程示意图；

图4是根据另一个实施例的无人机自主定位方法的流程示意图；

图5是根据一个实施例的无人机导航避障软件交互接口的示意图；

图6是根据另一个实施例的无人机自主定位方法的流程示意图；

图7是根据另一个实施例的无人机自主定位方法的流程示意图；

图8是根据一个实施例的优化后的fdsst算法流程的示意图；

图9是根据一个实施例的无人机自主定位装置的方框原理图；

图10是根据一个实施例的无人机的方框原理图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

<系统实施例>

图1是可应用本公开实施例的方法的一种可选的智能无人机系统的结构组成示意图。如图1所示，该智能无人机系统至少可以包括无人机和地面测控终端。无人机和地面测控终端可以通过无线通信方式进行交互。

如图1所示，该无人机至少可以包括平台与动力子系统10、飞行控制子系统20、感知与信息融合子系统30、目标探测与跟踪子系统40、数据链子系统50、地面测控子系统60。

其中，平台与动力子系统10可具有多传感器搭载平台的功能，具体可包括机体、无刷电机、电子调速器、螺旋桨、电池等部件；飞行控制子系统20可具有控制无人机的姿态与航迹稳定、飞行状态参数采集与导航计算的功能，具体可包括惯性传感器201、自动驾驶仪、接收机、状态知识点等部件；感知与信息融合子系统30可具有地下车库环境中自主定位与导航飞行等功能，具体可包括机载计算机、二维激光雷达301、视觉里程计302、深度相机303、定高雷达304等部件；目标探测与跟踪子系统40可具有目标探测与识别、锁定目标后动态跟踪的功能，具体可包括光电吊舱401等部件；数据链子系统50可具有采用高抗遮挡图形和数据一体的数据链、实时传输飞机与地面之间图像和数据的功能，具体可包括机载端、地面端等部件；地面测控子系统60可具有地面操控、实现人机交互的功能，具体可包括地面测控终端、遥控器等部件。

基于上述内容，无人机的设备接口连接关系可以如下所述：机载计算机通过uart(universalasynchronousreceiver/transmitter，通用异步收发传输器)线路分别与定高雷达、激光雷达、自动驾驶仪连接，机载计算机通过usb线路分别与视觉里程计、深度相机连接；光电吊舱分别通过hdmi(highdefinitionmultimediainterface，高清多媒体接口)线路与机载计算机连接、通过cvbs(compositevideobroadcastsignal，复合同步视频广播信号)视频信息线路与数据链机载端连接、通过rs422(平衡电压数字接口电路的电气特性)线路与自动驾驶仪连接；自动驾驶仪还通过rs422与数据链机载端连接；数据链机载端与数据链地面端无线连接。

本实施例中，惯性传感器201，或称惯性测量单元(inertialmeasurementunit，imu)，可用于实现六轴位置与姿态解算；二维激光雷达301可用于实现高精度二维定位；视觉里程计302，或称视觉传感器，可用于实现六轴参考位置与姿态解算；深度相机303可用于实现深度数据的获取；定高雷达304可用于实现精准定高；光电吊舱401可用于采集视频数据。

在一个实施例中，以地下车库环境为例，无人机在地下车库环境中，可以采用惯性传感器201、二维激光雷达301、视觉里程计302、深度相机303、定高雷达304，进行多传感器融合定位。其中，无人机自主定位软件交互接口的示意图可以如图2所示。

如图2所示，上述机载计算机中可以安装有ros(robotoperatingsystem，机器人操作系统)，ros中可以设置有激光定高驱动包、激光雷达驱动包、相机驱动包和mavrospackage，并可通过ros中的mavrospackage与无人机的飞行控制系统(即上述飞行控制子系统20)通信。

具体地，上述惯性传感器201采集到的惯导数据可输出至mavrospackage以用于信息融合，经多传感器信息融合得到的多传感器融合定位信息可输出给飞行控制系统，以便据此控制无人机飞行。

<方法实施例>

实施例1

图3是根据一个实施例的无人机自主定位方法的流程示意图。本实施例中，无人机自主定位方法可以包括如下步骤s310～s340。

步骤s310，根据无人机的二维激光雷达采集的数据，得到激光定位信息。

详细地，激光雷达通常为毫米级分辨率，使得无人机即使是长时间运行后也可以产生较高精度。本实施例中，采用激光雷达进行激光slam(simultaneouslocalizationandmapping，即时定位与地图构建)定位，可直接获取场景深度，拼接匹配地图获取自身位姿。

本实施例中，经激光雷达得到的激光定位信息，会进一步与其他传感器信息相结合以用于多传感器信息融合定位，故可选用二维激光雷达以得到激光定位信息，而无需使用三维激光雷达，从而可以避免出现因使用三维激光雷达而存在的，三维激光雷达在输出点云信息时需要耗费比较高的处理器性能、三维激光雷达体积大且价格昂贵等问题。

在一个实施例中，所述步骤s310包括：利用基于cartographer的激光slam算法，根据无人机的二维激光雷达采集的数据进行二维定位与环境建图，得到所述无人机在三个平面方向与偏航方向上的位姿信息，作为所述激光定位信息。

详细的，cartographerr是google推出的一套基于图优化的slam算法。

本实施例中，激光slam方案在后端，对所有观测量提出了优化的要求，可以时刻约束传感器数据产生的漂移，从而保证定位的精度。

如图2所示，可以根据上述二维激光雷达301采集到的数据，通过基于cartographer的激光slam算法进行高精度二维定位与环境建图，输出无人机在三个平面方向与偏航方向上的位姿信息，以得到激光定位话题(即上述激光定位信息)。得到的激光定位信息可进一步用于多传感器信息融合定位，以实现对无人机的自主精准定位。

本实施例中，激光slam仅为无人机自主定位所用信息的一部分，通过二维激光slam可保证无人机在长时间运行条件下，对三个平面方向与偏航方向这种比较重要自由度方向上的高精度解算。

步骤s320，根据所述无人机的惯性传感器、视觉里程计和深度相机分别采集的数据，得到视觉定位信息。

考虑到单纯相机视觉slam解算的位姿精度低，无人机长时间运行后惯导数据误差大等因素，本实施例中使用图像帧做参考以纠正惯性传感器的累积误差，来获取无人机滚转和俯仰方向上的姿态，这一实现方式比单纯使用惯性传感器滤波解算位姿更为精准。

具体地，可以先将视觉里程计得到的视觉数据、惯性传感器得到的惯导数据和深度相机得到的深度数据，作初步的多传感器信息融合以得到视觉定位信息，视觉定位信息再与其他传感器信息相结合从而作进一步的多传感器信息融合定位，以实现无人机自主定位。基于此，可以缓解因单纯相机视觉slam存在尺度问题，使得无人机长时间运行后有较大漂移，弱光线以及空旷环境时误差加大等不良影响。

在一个实施例中，所述步骤s320包括：利用基于vins的vio-slam融合技术，根据所述无人机的惯性传感器采集的惯导数据、所述无人机的视觉里程计采集的单目场景图像、所述无人机的深度相机采集的深度信息，得到所述无人机在滚转和俯仰方向上的位姿信息，作为所述视觉定位信息。

详细地，vins是香港科技大学开源的一个单目视觉惯导slam方案，该方案是基于优化和滑动窗口的vio(visualinertialodometry，视觉惯性里程计)系统，使用imu预积分构建紧耦合框架，并且具备自动初始化、在线外参标定、重定位、闭环检测，以及全局位姿图优化功能。

本实施例中，视觉slam方案在后端，对所有观测量提出了优化的要求，可以时刻约束传感器数据产生的漂移，从而保证定位的精度。

本实施例中，如图2所示，可以根据上述惯性传感器201采集到的惯导数据、上述视觉里程计302采集到的单目场景图像、上述深度相机303采集到的深度信息，传递给基于视觉-惯性的视觉slam算法，输出无人机在滚转和俯仰方向上的位姿信息，以得到视觉定位话题(即上述视觉定位信息)。得到的视觉定位信息可进一步用于多传感器信息融合定位，以实现对无人机的自主精准定位。

由上可知，本实施例中的视觉slam仅为无人机自主定位所用信息的一部分，通过视觉slam可提供无人机除三个平面与偏航方向外其他自由度方向的位姿的参考。

步骤s330，根据所述无人机的定高雷达采集的数据，得到高度信息。

本实施例中，如图2所示，可以根据上述定高雷达304，传递无人机与地面间高度的高度话题(即上述高度信息)。得到的高度信息可进一步用于多传感器信息融合定位，以实现对无人机的自主精准定位。本实施例使用定高雷达来替代气压计，有益于获得更高的定位精度。

步骤s340，根据所述激光定位信息、所述视觉定位信息和所述高度信息，得到所述无人机所处空间位置的定位信息。

本实施例中，激光slam、视觉slam、高度信息均仅为无人机自主定位所用信息的一部分，三者通过位姿融合滤波输出无人机自主定位信息。

详细地，上述无人机自主定位方法可以应用于地下车库环境中，以实现无人机在地下车库中的自主定位飞行。如此，在一个实施例中，所述无人机所处空间位置的定位信息为所述无人机在地下车库中的定位信息。

本实施例中，优选地，可以基于cartographer的激光slam方案获取三个平面与偏航方向高精度位姿信息，以及可以基于vins的vio-slam融合技术，补充滚转和俯仰姿态信息，通过将该两种slam方案应用在地下车库这种封闭的室内场景中，使得传感器仍能不受环境限制而很好地运行，从而给无人机提供准确的定位信息。

由上可知，本实施例提供的无人机自主定位方法，通过对二维激光雷达、惯性传感器、视觉里程计、深度相机、定高雷达这些传感器所采集到的传感器数据进行多传感器信息融合，可得到无人机所处空间位置的定位信息。这一自主定位方式不依赖于gps等卫星信号，故可应用于地下车库等无卫星信号的地下环境中，可支持无人机稳定运行。此外，由于不再主要依赖于惯性传感器所采集的惯导数据来实现自主定位，故可避免无人机长时间运行后，惯导数据对无人机位姿估计所带来的较大漂移，从而有益于提高无人机定位的精准度。

在一个实施例中，将上述无人机自主定位方法应用于以图1所示的上述无人机，通过仿真与试验相结合，经大量、反复测试来验证无人机在地下车库自主飞行和不依赖卫星信号时的自主定位精度。试验环境、试验内容、试验结果如下：

试验环境：没有卫星信号的地下三层及三层以下车库环境。

试验内容：无人机起飞后在适当高度保持悬停，随后以正下方点为原点绘制圆形边框，实时捕捉无人机实际水平位置，当完成飞行后根据测得实际水平位置相对正下方初始点的偏移量，计算定位误差。

试验结果：无人机可实现自主定位，且自主定位精度高。

综上可知，针对无人机处于地下车库时，gps模块将不能正常运作，此时仅依靠惯性传感器，在长时间运行后会对位姿估计带来比较大的漂移，从而影响无人机定位精准度等问题，本公开的实施例提出了基于cartographer的激光slam和基于vins的vio-slam融合进行定位的方法，利用激光slam的获取三个平面与偏航方向高精度位姿信息，同时利用vio-slam补充滚转和俯仰姿态信息。这两种slam方案都在后端，对所有观测量提出了优化的要求，可以时刻约束传感器数据产生的漂移，且该方法在地下车库这种封闭的室内场景时，仍能不受环境限制而很好地运行，确保了无人机实时获取准确的定位信息。

实施例2

基于上述实施例1公开的内容，在实现无人机自主定位的过程中，无人机还可基于实时的自主定位信息在所处空间环境中避障飞行。在一个实施例中，请参考图4，该无人机自主定位方法还可以包括如下步骤s410～s440。

步骤s410，构建所述无人机所处空间环境的第一地图。

可以根据无人机避障飞行任务的起始位置(如无人机的空间位置)和目的位置，并结合无人机上各传感器(如上述二维激光雷达301、视觉里程计302等)所感知到的环境数据，构建无人机所处空间环境的地图。其中，可以根据无人机的自主定位信息确定无人机的空间位置。

详细地，该无人机避障飞行方式可以应用于地下车库环境中，以实现无人机在地下车库中的避障飞行。如此，在一个实施例中，所述无人机所处空间环境为所述无人机所在地下车库。

举例来说，可以利用上述视觉里程计302、二维激光雷达301等传感器，获得地下车库环境和环境中静态障碍物的立体深度信息，进而根据该立体深度信息构建环境三维模型并建立全局二维栅格地图与三维八叉树地图，并基于此来规划全局路径、对动态障碍物进行检测等。

由上可知，本实施例从实际场景的角度出发，提出了基于视觉里程计、激光雷达等多传感器信息融合的环境感知和障碍物检测方式，构建地下车库的栅格地图与八叉树地图，提高无人机对车辆等障碍物的避障能力。

此外，本实施例通过构建三维空间地图以为无人机避障飞行提供数据基础，还可避免出现无人机仅在二维平面上进行避障飞行时效率低下、可能会陷入局部困境以及无法实现实时准确躲避障碍物的问题。

在一个实施例中，所述步骤s410包括：根据所述无人机的深度相机采集的数据，获取所述无人机所处空间环境的场景结构和局部障碍物信息；根据所述场景结构和局部障碍物信息，建立所述无人机所处空间环境的局部场景的深度信息地图，并以八叉树地图的形式呈现。

如此，根据所述第一地图规划全局路径，即可以为根据所述八叉树地图规划全局路径。比如，可以在建立的八叉树地图中使用a*算法(a-staralgorithm)进行全局搜索，以规划全局路径。

本实施例中，可以在上述步骤s340之后，执行步骤s420。

步骤s420，根据所述无人机所处空间位置的定位信息和所述第一地图规划全局路径。

在一个实施例中，所述根据所述八叉树地图规划全局路径，包括：根据所述无人机的深度相机采集的rgb(或称rgbcolormode，rgb色彩模式)图像数据，得到目的地区域的目标区域信息；根据所述目标区域信息和预设的slam本地地图，进行三维航点确定，得到所述目的地区域所处空间位置的定位信息；根据所述目的地区域所处空间位置的定位信息、所述深度相机采集的局部深度信息、所述无人机所处空间位置的定位信息、所述slam本地地图，在所述八叉树地图中使用a*算法进行全局规划，得到全局路径。

详细地，rgb色彩模式是工业界的一种颜色标准，是通过对红(r)、绿(g)、蓝(b)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的。

本实施例中，可以将视觉跟踪结果转换为目标点跟踪坐标，进而根据深度信息、无人机所在位置、激光slam建立的地图以及目标点位置，通过a*算法规划全局路径。

在一种实现方式中，无人机导航避障软件交互接口的示意图可以如图5所示。如图5所示，上述机载计算机中可以安装有ros，ros中可以设置有mavrospackage，并可通过mavrospackage经mavlink(microairvehiclelink，微型空中飞行器链路通讯协议)通讯方式以与无人机的飞行控制系统(即上述飞行控制子系统20)通信。比如，机载计算机在得到避障飞行结果后，可经mavrospackage将避障飞行结果的相应指令输出给飞行控制系统，以便据此控制无人机飞行。

在图5中，无人机的深度相机采集到的rgb图像话题(即上述rgb图像数据)，经视觉跟踪处理(比如可结合yolov3-tiny网络结构和fdsst算法执行视觉跟踪处理)可得到目标区域话题(即上述目标区域信息)。根据目标区域话题和slam本地地图进行三维航点确定(比如可经相机模型转换以进行三维航点确定)，可得到三维航点话题(即上述目的地区域所处空间位置的定位信息)。根据无人机所处空间位置的定位信息(比如可以为无人机的自主定位模块经自主定位而得出的位置)、深度相机采集到的局部深度话题(即上述局部深度信息)、slam本地地图和三维航点话题，使用a*算法进行全局规划，得到全局路径。

详细地，yolo(youonlylookonce)是一种基于深度神经网络的对象识别和定位算法，已经发展到v3版本，可在输入数据(图片或者视频)中查找特定的目标。对yolov3检测网络压缩优化可得到yolov3-tiny检测网络。

详细地，dsst(discriminativescalespacetracking)算法是一个基于相关滤波器的目标跟踪算法，fdsst算法是dsst算法的加速改进版。

本实施例中，采用具有实时性高和响应速度快等特点的a*路径规划算法来进行全局规划，使得无人机在规划路径中飞行以躲避障碍物，提高了无人机避障的鲁棒性。

步骤s430，基于所述无人机所处空间位置的定位信息，确定所述全局路径中的所述无人机所在节点的下一个节点。

该步骤中，根据无人机的位置确定全局路径中的下一个节点以作为当前的目标节点，从而可控制无人机从其所在位置向目标节点处飞行。飞行至目标节点时，该目标节点通常即为无人机当前所在节点，从而可以再次确定下一个节点。如此循环，直至无人机飞行至全局路径中的最后一个节点，从而完成避障飞行任务。

基于此，在一个实施例中，该方法还包括：在控制所述无人机飞行至所述下一个节点处的情况下，判断所述下一个节点是否为所述全局路径中的最后一个节点；在所述下一个节点不为所述最后一个节点的情况下，执行所述确定所述全局路径中的所述无人机所在节点的下一个节点的步骤。

其中，在判断出所述下一个节点为所述全局路径中的最后一个节点时，确认无人机完成避障飞行任务，从而可进入自主返航阶段。在该自主返航阶段，无人机可根据先前阶段建立的地图确定返航路径，实现自主回收的功能。在判断出所述下一个节点不为所述全局路径中的最后一个节点时，确定新的下一个节点。

步骤s440，基于所述无人机所处空间位置的定位信息，控制所述无人机向所述下一个节点处飞行，并在控制所述无人机向所述下一个节点处飞行的过程中，确定是否存在障碍物；在存在障碍物的情况下，基于所述无人机所处空间位置的定位信息，更新所述全局路径，并执行所述步骤430。

该步骤中，基于全局规划所获得的节点之间的路径进行局部规划。

在构建的地图上经路径规划算法可获得最优的全局路径，无人机在基于全局路径的移动过程中，难免会出现地图上原本不存在的障碍物，如行人等。如此，可以利用无人机上所搭载的传感器以在运行途中实时获取周边环境信息，并据此完善局部的路径规划，以对移动路径上的障碍物进行避障。

本实施例中，经实时的局部避障以实时更新全局路径，使得规划局部路径的同时保证不改变全局路径规划的最优性。

本实施例中，无人机在所处空间环境中飞行过程中，结合全局路径规划和局部避障的执行，可对环境中静态障碍物和动态障碍物进行二维平面和三维空间上的实时规避，实现无人机的避障飞行。

在一个实施例中，可以基于分辨率可调的八叉树地图来实现全局规划和局部避障，即全局规划和局部避障分别基于不同分辨率的地图，使得降低路径计算量的同时还可提高导航的效率，能够满足地下车库等复杂场景障碍物探测与规避的要求。

在一个实施例中，所述步骤s440中，所述更新所述全局路径，包括：确定所述障碍物所处空间位置的第一定位信息和所述无人机所处空间位置的第二定位信息；根据所述第一定位信息和所述第二定位信息间的距离，设置所述障碍物对所述无人机的斥力场；根据所述下一个节点的定位信息和所述第二定位信息间的距离，设置所述下一个节点对所述无人机的引力场；对所述斥力场和所述引力场进行叠加，得到叠加引力场；根据所述叠加引力场更新所述全局路径。

本实施例中，设置障碍物的斥力场与目标节点(如上述下一个节点)的引力场，其中，与障碍物越远斥力越小，与目标节点越近引力越大。进而通过叠加可获得一个抽象的引力势场，这个叠加引力场与无人机和障碍物的相对距离、无人机和目标节点的相对距离有关。然后可根据无人机在势场中所受到的力调节运动轨迹。通常情况下，无人机受目标节点所产生的引力势和障碍物产生的斥力势共同作用下，总是从高势能点向低势能点运动，使得无人机最后总能到达地图中势能最低点。

本实施例中，利用人工势能场以进行动态局部避障，实现全局路径的按需实时更新，可使得无人机在飞行过程中，不仅能有效躲避空间环境中的静态障碍物，还可有效躲避空间环境中的动态障碍物(比如对于地下车库这一空间环境，动态障碍物可以有行人、车速较快的车辆等)，有益于降低无人机避障响应时间，提高无人机避障的鲁棒性。

如图5所示，基于已规划好的全局路径，可以使用apf(artificialpotentialfield，人工势场法)来实现局部避障，并根据局部避障结果更新该全局路径，以得到新的全局路径，并基于新的全局路径经飞行控制系统以控制无人机避障飞行。

本实施例针对无人机飞行过程中的障碍物躲避等问题，提出了基于a*算法和apf算法的、具有实时性高和响应速度快等特点的无人机路径规划和避障算法，使得无人机具有路径规划能力并同时在规划路径中躲避障碍物，提高了无人机的鲁棒性。

在一个实施例中，在所述步骤s410之后，以及在所述步骤s420之前，该方法还包括：利用tie_breaker技术，剔除所述第一地图中的冗余搜索节点。比如，在构建无人机所处空间环境的第一地图之后，先剔除掉第一地图中的冗余搜索节点，再在已剔除冗余搜索节点后的第一地图上使用a*算法进行全局搜索。如此，通过剔除不必要的冗余搜索节点，可提高搜索效率，从而可更快的规划出全局路径，且规划出的全局路径更准确。

可以理解的是，无人机避障飞行任务的目的位置可以是固定的(如向固定位置处的避障飞行)，也可以是变化的(如用于目标跟踪的避障飞行)。若目的位置固定，构建的第一地图可以是首次构建即可。若目的位置不固定，可以实时或周期性地构建针对于目的位置的第一地图。

基于此，在一个实施例中，该方法还包括：周期性确定目的地区域所处空间位置的第三定位信息；判断所述第三定位信息和上一次确定的第三定位信息间的第一距离，是否不小于预设距离阈值；在所述第一距离不小于所述预设距离阈值的情况下，执行所述构建无人机所处空间环境的第一地图的步骤。

本实施例中，通过对目的位置的不断判定及对比分析，可以确定目的位置是否是变化的，若是则实时重建地图，并基于新的地图规划全局路径，以便更加准确地飞向新的目的位置。当然，若目的位置变化不大可不重建地图，以节省避障飞行流程。

由上可知，本实施例提供的无人机避障飞行方式，通过构建空间环境地图以规划全局路径，并在根据全局路径导航飞行过程中实时监测障碍物的存在，以便按需实时执行局部避障以更新全局路径，直至无人机完成避障飞行任务。这一避障飞行方式使得无人机可具有准确的环境感知能力和快速的目标检测能力，从而可适用于无人机在地下立体空间中避障飞行的应用场景。当然，基于同样的实现原理，这一避障飞行方式同样可以适用于非地下立体空间中。

在一个实施例中，将上述无人机避障飞行方式应用于以图1所示的上述无人机，通过仿真与试验相结合，经大量、反复测试来验证无人机的避障速度和识别距离。试验环境、试验内容、试验结果如下：

试验环境：没有卫星信号的地下三层及三层以下车库环境。

试验内容：在有立柱、车辆等障碍物的地下车库环境中，设置无人机飞行路径，且路径中包含障碍物，在飞行过程中，无人机及时修改飞行路径规避障碍物，之后再回到规划路径继续飞行，最后降落于指定位置。

试验结果：无人机可实现避障飞行，且避障速度和识别距离均佳。

综上可知，针对无人机在地下车库复杂且空间狭小的非结构环境中要有极高的路径规划实时性和快速避障飞行等问题，本公开的实施例提出了基于视觉传感器和激光雷达等多传感器信息融合的环境感知和障碍物检测方式，基于a*的无人机路径规划和基于apf的避障算法，通过利用多传感器融合构建地下车库的栅格地图与八叉树地图，利用a*和apf算法进行路径规划和局部障碍物规避，使全局和局部算法分别基于不同的分辨率地图，提高了无人机的鲁棒性，降低了路径计算量的同时提高了导航的效率。

实施例3

基于上述实施例1公开的内容，在实现无人机自主定位的过程中，无人机还可基于实时的自主定位信息在所处空间环境中进行目标识别。在一个实施例中，请参考图6，该无人机自主定位方法还可以包括如下步骤s610～s630。

步骤s610，对无人机的用于采集图像的传感器采集的图像进行图像识别，直至识别到符合预设特征信息的第一图像。

比如，该图像可以为上述光电吊舱401采集的视频中的一帧图像。

在一种实现方式中，预设特征信息的个数可以不止一个。比如，多个预设特征信息分别为多个车辆特征信息时，可对相应的多个车辆分别识别。

详细地，可以将采集的图像输入已训练好的模型中，再通过对图像中的特征进行匹配以进行图像识别。在根据预设特征信息而识别到上述第一图像后，由于该第一图像所对应的对象符合该预设特征信息，可认为该对象为可疑对象。基于此，为提高目标识别准确性，可控制无人机飞行至该可疑对象的标识区域处，以识别出其标识信息，进而可根据标识信息来进一步识别目标对象。

详细地，该无人机识别目标的方式可以应用于地下车库环境中，以实现无人机在地下车库中的目标识别。如此，在一个实施例中，所述预设特征信息为目标车辆的车辆特征信息；所述预设标识信息为所述目标车辆的车牌号；所述标识区域为车牌区域。举例来说，车辆特征信息可以包括车辆的颜色、外观等特征。

以车辆识别为例，为实现目标车辆的识别，首先利用无人机上的传感器采集图像，针对采集到的每一帧图像，将预设的车辆特征信息作为输入，利用深度学习中的图像特征匹配识别网络和车牌识别技术，匹配随机搜索图像中的可疑目标车辆。若未搜索到则进一步搜索下一帧图像，直至从某一帧图像中识别到满足预设特征信息的可疑目标车辆。搜索到可疑目标车辆后，即可向该可疑目标车辆处飞行，以便近距离对可疑目标车辆的车牌位置进行定位。

在一种实现方式中，通过光电吊舱采集到的视频可具有60fps全高清和高清(1280×720)以上分辨率的图像。以及可通过关键帧的采集，先对采集到的图像进行图像裁剪、噪声过滤、自动白平衡、自动曝光以及伽马校正、边缘增强、对比度调整等预处理操作，再将预处理后的图像送入车辆特征识别网络。

在一种实现方式中，在利用无人机的传感器采集图像之前，可以根据无人机所处空间环境的环境因素，进行自适应光线补偿处理，以便于无人机能够更加快速、准确的识别目标对象。

本实施例中，可以在上述步骤s340之后，执行步骤s620。

步骤s620，根据所述无人机所处空间位置的定位信息，控制所述无人机飞行至对应所述第一图像的第一对象的标识区域处，并在控制所述无人机飞行至所述标识区域处的情况下，对所述传感器采集的图像进行图像识别，得到所述标识区域携带的第一标识信息。

该步骤中，无人机飞行至可疑对象的标识区域处时，无人机上的传感器，如上述光电吊舱所采集到的图像通常会包含该标识区域对应的图像，进而可从中识别出该可疑对象的标识信息。当然，若从当前帧图像中未识别到该标识区域对应的图像，则可以继续识别下一帧图像，如此反复，直至从一图像中识别到该标识区域对应的图像。

以车辆识别为例，该第一对象即可以为一可疑目标车辆，其标识区域即可以为车辆车牌所在区域，该第一标识信息即可以为车辆车牌号。

基于此，在一个实施例中，所述步骤s620中，所述对所述传感器采集的图像进行图像识别，得到所述标识区域携带的第一标识信息，包括：对所述传感器采集的图像进行图像识别，直至识别到对应所述车牌区域的第二图像；将所述第二图像校正为呈正面视图的矩形图像；将所述第二图像和所述矩形图像均送入端到端的ocr(opticalcharacterrecognition，光学字符识别)网络进行字符匹配识别，得到对应所述第二图像的第一车牌号和对应所述矩形图像的第二车牌号；判断所述第一车牌号和所述第二车牌号是否相同；在所述第一车牌号和所述第二车牌号相同的情况下，确定所述第一标识信息为所述第一车牌号或所述第二车牌号。

在一种实现方式中，网络输入形状可为3×160×40，输出形状可为1×84×20，以用于识别长度可变的车牌字符，端到端的字符识别可采用ctc-loss作为损失函数。

本实施例中，采用端对端的方法进行目标车辆识别，并利用神经网络进行车辆牌照的检测定位和字符识别，以便实时完成对目标的快速检测识别。基于目标识别效率的提高，可为后续对目标对象的稳定跟踪争取时间。

本实施例中，在对车牌区域定位后，一方面直接进行文本信息识别，以识别其中的车牌号，另一方面对该车牌区域的图像进行特定校正，再从中识别车牌号。若识别到的车牌号一致，可认为识别到的车牌号具有较高的识别准确率。

步骤s630，对比所述第一标识信息和预设标识信息，在所述第一标识信息和所述预设标识信息相同的情况下，确定所述第一对象为目标对象。

该步骤中，若识别到的第一标识信息和预设标识信息一致，即可认为上述可疑对象即为目标对象，并锁定目标对象。通过锁定目标对象，可进一步执行对该目标对象的目标跟踪处理。

基于上述内容，在一个实施例中，该方法还包括：将ccpd数据集输入yolov3-tiny检测网络进行模型训练，得到用于识别所述第一图像的第一检测模型；

所述步骤s610中，所述对所述传感器采集的图像进行图像识别，直至识别到符合预设特征信息的第一图像，包括：将所述传感器采集的图像输入所述第一检测模型进行图像识别，直至识别到符合预设特征信息的第一图像。

基于上述内容，在一个实施例中，该方法还包括：将ccpd数据集输入yolov3-tiny检测网络进行模型训练，得到用于识别所述第一标识信息的第二检测模型；

所述步骤s620中，所述对所述传感器采集的图像进行图像识别，得到所述标识区域携带的第一标识信息，包括：将所述传感器采集的图像输入所述第二检测模型进行图像识别，得到所述标识区域携带的第一标识信息。

详细的，ccpd数据集是一个用于车牌识别的大型国内的数据集。

详细地，yolov3这一一站式目标检测算法具有实用性较强、对小目标检测亦敏感等特点。考虑到yolov3检测网络应用于机载嵌入式系统时，其检测实时性不够高的情况，本实施例使用在yolov3的基础上压缩剪枝后的yolov3-tiny网络，通过牺牲少量精度以提高预测帧频。

比如，在yolov3的基础上去掉所有的resnet结构，并将最终输出分支减少为2个。两个分支特征图大小分别为13×13和26×26，每个特征图使用3个anchor做预测。由于每个分支上都有不同层深度特征融合，故对小目标检测依然有效。通过摄像头实时捕获图像的方式进行测试，速度可达到25帧/秒以上。

再比如，先将车牌检测定位网络模型进行训练以得到yolo模型，再利用模型优化器(modeloptimizer)进行处理，以将训练好的模型的权重精度从32位浮点降低到8位整数，从而生成模型优化后的中间模型(intermediaterepresentation，ir)。基于此，可在牺牲适量精度需求的前提下，更好地发挥机载计算机上推理的性能优势。之后，即可在目标环境中部署该模型，以供应用程序中的推理引擎调用。

优选地，可以利用英特尔发布的openvino工具包进行模型优化，以扩展计算机视觉工作负载并实现性能最大化、提升推理应用的运行速度。

本实施例中，通过选用一站式次轻量模型yolov3tiny，利用网络压缩和剪枝技术，同时配合基于机载计算机cpu硬件优化加速技术，可以实现无人机机载设备有限计算资源下的实时高精度目标检测识别，从而缓解甚至克服地下车库环境中，随机搜索采集到的图像信息抖动模糊光照和对比度较差、车牌遮挡污渍、要定位识别的车牌区域图像占比小等困难，亦可同时识别多个目标车辆，适合用于嵌入式低成本cpu的场合，可以做到精度和实时性要求的平衡。

由上可知，本实施例提供的无人机识别目标的方式，先根据预设特征信息对识别对象进行初步识别，初步识别通过时进一步采集标识信息，在保证标识信息获取无误的情况下进行再次识别，再次识别通过则锁定目的对象。这一实现方式可以克服仅根据特征信息匹配识别目标时所容易存在的，因特征信息具有数据依赖性、扩展性及通用性不佳等问题而使得目标识别准确率较低的问题，从而可更好的应用在复杂环境中的目标识别检测。

在一个实施例中，将上述无人机避障飞行方式应用于以图1所示的上述无人机，通过仿真与试验相结合，经大量、反复测试来验证无人机的搜索能力和识别目标车辆准确率。试验环境、试验内容、试验结果如下：

试验环境：没有卫星信号的地下三层及三层以下车库环境。

试验内容：在地下车库环境中，对给定特征的目标车库进行快速搜索识别，判断出目标车辆的位置，并锁定车辆。

试验结果：无人机可实现目标识别，且识别实时性和识别准确率均佳。

综上所述，针对无人机目标识别过程中环境复杂、光线不一、图像抖动模糊、背景复杂、车牌区域图像占比小、传统计算模型计算量大等问题，本公开的实施例构建了一站式次轻量模型yolov3-tiny，利用网络压缩和剪枝技术，同时配合基于机载计算机cpu硬件优化加速技术进行目标快速检测与识别。通过优化图像特征匹配识别和车牌识别网络与采用端对端的方法进行目标车辆快速识别，实现了在有限计算资源下的实时高精度目标检测识别，做到了精度和实时性要求的平衡。

实施例4

基于上述实施例1公开的内容，在实现无人机自主定位的过程中，无人机还可基于实时的自主定位信息在所处空间环境中进行目标跟踪。在一个实施例中，请参考图7，该无人机自主定位方法还可以包括如下步骤s710～s740。

步骤s710，获取无人机的用于采集图像的传感器采集的图像。比如，该图像可以为上述光电吊舱401采集的图像。

步骤s720，根据所述图像中对应已识别到的目标对象的图像区域，确定所述目标对象的第一空间位置信息。

详细地，可以根据传感器采集到的图像，对待跟踪的目标对象进行识别，并在识别到目标对象后锁定该目标对象。以及，基于识别到的目标对象所对应的图像，并结合在识别到目标对象后传感器采集的图像，对目标对象进行跟踪。

本实施例中，在确定出目标对象对应的图像区域后，可据此确定出目标对象的空间位置，进而据此预测目标对象的下一个空间位置。

详细地，该无人机跟踪目标的方式可以应用于地下车库环境中，以实现无人机在地下车库中的目标跟踪。如此，在一个实施例中，所述目标对象的第一空间位置信息为所述目标对象在地下车库中的空间位置信息。

步骤s730，根据所述第一空间位置信息，预测所述目标对象的下一个空间位置信息。

考虑到跟踪目标在视觉图像上的尺度缩放问题以及快速实时跟踪的要求，可以使用fdsst跟踪算法实现对动态目标的稳定跟踪。

基于此，在一个实施例中，所述步骤s730包括：利用fdsst算法的位置滤波器，根据对应所述第一空间位置信息的位置，预测新位置；利用fdsst算法的尺寸滤波器，根据所述新位置和对应所述第一空间位置信息的尺寸，预测新尺寸；根据所述新位置和所述新尺寸，得到所述目标对象的下一个空间位置信息。

本实施例中，可以基于第一空间位置信息所对应的位置和尺寸，经对新位置和新尺寸的预测，以预测下一个空间位置信息。

为进一步加强跟踪精度以实现对动态目标的稳定跟踪，可对fdsst算法进行优化，比如可以利用循环矩阵方法由第一帧选定目标生成一系列训练样本，用于训练最优相关滤波器估计下一帧中目标的位置，并选用多通道hog(histogramoforientedgradient，方向梯度直方图)特征，训练多通道相关滤波器。基于此，优化后的fdsst算法流程可以如图8所示。图8中的虚线用于标识视频图像中目标对象对应的图像区域。

请参考图8，该算法流程可以包括：

(1)根据图像第一帧的目标信息，提取目标特征，选定期望输出以目标为中心的高斯函数，并根据输入输出计算出滤波器初始参数；

(2)对于随后的每一帧图像，从上一帧的预测位置提取图像特征；

(3)加入余弦窗并通过相关滤波器预测本帧中目标位置，此操作用快速傅里叶变换(fft)完成，加快运算速度；

(4)输出得到最大响应位置即目标位置，提取目标位置；

(5)根据特征更新相关滤波器参数并重复步骤(2)。

基于此，在一个实施例中，所述步骤s730中，所述预测所述目标对象的下一个空间位置信息，包括：利用优化后的fdsst算法，预测所述目标对象的下一个空间位置信息；其中，所述优化后的fdsst算法具有下述特征中的一个或多个：特征一，滤波器推导采用逐点进行运算，通过fft(fastfouriertransform，快速傅立叶变换)进行加速，将时间域的运算转换到复频域；特征二，采用pca(principalcomponentanalysis，主成分分析)降维的方式对hog特征进行维数压缩，降低位置滤波器和尺度滤波器的特征维数，并由三角多项式插值获得尺度定位；特征三，对滤波结果进行插值，用粗的特征格点来训练和检测样本，用三角多项式插值得到最后的预测结果。

本实施例中，可使用优化后的fdsst跟踪算法实现对动态目标的稳定跟踪，通过基于hog特征的位置滤波器和尺度滤波器来达到对目标的跟踪，利用fft快速计算使得算法快速高效，利用pca维数压缩的方法成倍减少了计算量，因为fft的计算代价和特征维数成正比，且可以加大目标检测范围，让算法的跟踪精度和效果变得更好，在保证精确度的同时又满足实时性的要求。基于此，可实现无人机在高速飞行的条件下仍能实时跟踪特定目标，并可应用于存在有相似目标的干扰、场景障碍物的遮挡以及视野背景杂斑等问题的地下车库环境中，可具有良好的目标车辆跟踪效果。

在一个实施例中，通过在四旋翼飞行器采集的视频上进行实验，实验结果表明平均帧频超过35帧/秒，达到了实时的效果，且跟踪误差与四旋翼飞行器抖动造成的飞行误差相比在可接受范围内。

本实施例中，可以在上述步骤s340之后，执行步骤s740。

步骤s740，根据所述下一个空间位置信息和所述无人机所处空间位置的定位信息，控制所述无人机朝向所述目标对象飞行。

本实施例中，利用高清摄像头拍摄地面目标，将采集的图像信息由机载图像处理算法实时处理得出跟踪结果，进而可将跟踪结果以串口的方式发送给无人机飞行控制系统。具体地，飞行控制系统可根据跟踪结果解算偏移量，并以控制量的形式控制飞行器姿态，从而完成对目标对象的跟踪。

为保证无人机对动态目标对象的稳定跟踪，所获取到的每一帧视频图像中均应包括该目标对象对应的图像，否则可认为丢失目标对象即跟踪失败。在丢失目标对象的情况下，可以再次启动目标搜索与识别，并在再次识别到目标对象后继续跟踪。

基于此，在一个实施例中，在所述步骤s710之后，以及在所述步骤s720之前，该方法还包括：识别所述图像是否具有所述图像区域；在所述图像具有所述图像区域的情况下，执行所述步骤s720；在所述图像不具有所述图像区域的情况下，执行所述步骤s710。

由上可知，本实施例提供的目标跟踪方式根据无人机采集到的视频图像，对识别到的目标对象进行图像识别，并根据识别结果确定其空间位置，进而据此对其下一个空间位置进行预测，以基于预测结果跟踪目标。由于不再仅单纯依赖特征点来识别目标以实现目标跟踪，故可提高目标跟踪效果。

在一个实施例中，将上述无人机自主定位方法应用于以图1所示的上述无人机，通过仿真与试验相结合，经大量、反复测试来验证无人机跟踪车辆的速度、持续跟踪时间及失跟概率。试验环境、试验内容、试验结果如下：

试验环境：没有卫星信号的地下三层及三层以下车库环境。

试验内容：无人机锁定目标车辆，让目标车辆在停车场中移动，行驶速度缓慢达到20km/h，并且转弯，上楼或下楼到其它楼层等，无人机始终锁定目标车辆持续跟踪。

试验结果：无人机可实现目标跟踪，且持续跟踪时间较大，失跟概率较小。

综上所述，针对地下环境中，相似目标的干扰、场景障碍物的遮挡以及视野背景杂斑等问题，本公开的实施例提出了使用fdsst跟踪算法实现对动态车辆的稳定跟踪。通过基于hog特征的位置滤波器和尺度滤波器来达到对目标的跟踪，利用fft快速计算实现算法快速高效，采用pca维数压缩的方法成倍减少计算量，加大了目标检测范围，让算法的跟踪精度和效果变得更好，在保证精确度的同时又拥有很好的实时性。

实施例5

基于上述实施例1-4中公开的内容，以图1所示的上述无人机可以具有自主定位、避障飞行、目标识别和目标跟踪的功能，从而实现无人机在地下车库从起飞到目标搜索与识别、锁定与动态跟踪至任务结束返航的整个流程，该流程的具体实现过程可以如下所述：

①无人机起飞后，融合多种传感器信息，自主定位并导航避障飞行；

②随后进入目标搜索与识别阶段，该阶段主要负责在当前地下车库搜寻目标车辆。通过自主定位模块进行slam定位与建图，利用补全slam本地地图的策略遍历当前场景，在遍历补全地图的过程中，利用光线补偿并通过目标识别模块，对环境中的车辆进行多特征快速匹配搜索，确定可疑车辆，再对可疑车辆进行车牌位置定位，并识别与匹配车牌，直至寻找到目标车辆为止；

③无人机完成目标搜索后锁定目标，进入目标跟踪阶段，该阶段主要对目标车辆的动态跟踪与导航避障，通过目标跟踪模块对识别到的指定车辆进行视觉跟踪，再通过导航避障模块对视觉跟踪的目标车辆进行快速运动跟踪，期间若发生跟踪丢失则再次启动目标搜索与识别阶段，直至达到任务要求为止；

④无人机完成任务要求后，进入自主返航阶段，在该阶段无人机根据先前阶段建立的地图确定返航路径，实现自主回收的功能。

可见，本实施例中，通过给定目标车辆的特征，无人机可以快速识别并跟踪特定车辆，并在此过程中进行无卫星信号的自主定位和导航避障。

在一个实施例中，将上述实施例1-4中公开的内容应用于以图1所示的上述无人机，通过仿真与试验相结合，经大量、反复测试对无人机进行综合效能评估。试验环境、试验内容、试验结果如下：

试验环境：没有卫星信号的地下三层及三层以下车库环境。

试验内容：将整个试验过程合并在一起，对无人机实现快速搜索与动态跟踪任务进行测试，实现全自主的导航避障飞行，目标搜索与识别和目标锁定与动态跟踪。

试验结果：无人机可实现自主定位、避障飞行、目标识别和目标跟踪。

<装置实施例>

图9是根据一个实施例的无人机自主定位装置的方框原理图，该无人机自主定位装置901至少可以包括处理器9011和存储器9012，所述存储器9012用于存储指令，该指令用于控制所述处理器9011进行操作以执行根据本公开任意实施例的无人机自主定位方法。技术人员可以根据本公开所公开方案设计该指令。指令如何控制处理器9011进行操作为本领域公知，故在此不再详细描述。

本实施例中，存储器9012用于存储计算机指令，存储器9012例如包括rom(只读存储器)、ram(随机存取存储器)、诸如硬盘的非易失性存储器等。

本实施例中，处理器9011用于执行计算机程序，该计算机程序可以采用比如x86、arm、risc、mips、sse等架构的指令集编写。处理器9011例如可以是中央处理器cpu、微处理器mcu等。

除了如上所述的处理器9011和存储器9012，该无人机自主定位装置901还可以包括接口装置等。接口装置例如包括各种总线接口，例如，包括串行总线接口(包括usb接口等)、并行总线接口等。

在一个实施例中，上述无人机自主定位装置901可以在上述机载计算机中。

图10是根据一个实施例的无人机的方框原理图，该无人机100至少可以包括二维激光雷达1002、视觉里程计1003、深度相机1004、定高雷达1005、惯性传感器1006和本公开所公开的无人机自主定位装置1001；

其中，所述无人机自主定位装置1001分别与所述二维激光雷达1002、所述视觉里程计1003、所述深度相机1004、所述定高雷达1005、所述惯性传感器1006通信连接。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。