一种视频直播AR标签叠加方法和装置与流程

本发明属于机载视频处理，具体涉及一种视频直播ar标签叠加方法和装置。

背景技术：

1、无人机视频直播与传统的网络直播不同，无人机直播作为一种可移动的直播方式，不仅灵活性高，而且视角也与传统的视频采集方式不同，更为广阔。近些年，我国的无人机行业出现了爆发式增长，无人机在航拍航测、农业植保、电力巡检、商业表演、灾害救援等各项领域得到了广泛的应用。随着我国网络直播的兴起，以及企业上云意识和能力的不断增强，无人机视频直播，具有极其广阔的应用前景。

2、但是目前而言，由于无人机直播对网络、数据采集技术要求较高，在国内目前还没有大范围普及。同时，无人机视频直播存在只能播放原始航拍视频画面的缺陷，不能在视频画面上实时高精度地叠加数据信息，比如：视频画面里的建筑物、城市道路、救援地标、兴趣收藏等地理信息，使得无人机视频直播的价值大大降低；另外，将无人机航拍视频及飞行姿态数据发送至地面进行视频二次处理，虽然可实现在地面视频画面上叠加数据信息，但真实数据因为传输延迟造成精度损失，使得无人机视频叠加数据信息的准确度大大降低。

技术实现思路

1、本发明的目的在于克服现有技术中的不足，提供一种视频直播ar标签叠加方法和装置。本发明方案能够解决上述现有技术中存在的问题。

2、本发明的技术解决方案：

3、根据第一方面，一种视频直播ar标签叠加方法，包括以下步骤：

4、在飞行器中预置飞行器飞行区域的地图，并在预置地图上的特定点设置poi数据；

5、飞行器起飞后，实时获取视频画面、飞行器姿态数据、视频获取设备状态数据；

6、根据飞行器姿态数据、视频获取设备状态数据计算获得此时获取的视频画面在预置地图上的位置，并获得预置地图上，此视频画面相应位置的地理信息；

7、将获取的视频画面实时进行解算，获得每帧视频画面所包含的地理信息；

8、将视频画面解算得到的地理信息和预置地图上相应位置的地理信息融合，并将预置地图上的位置所包含的poi数据，制作对应的ar标签，叠加到视频画面上。

9、进一步的，所述的特定点可以为任何想标记的点，其属性包括：名称、经度、纬度和海拔。

10、进一步的，所述的飞行器姿态数据包括飞行器的经度、纬度、高度、航向角、俯仰角和侧偏角。

11、进一步的，所述的视频获取设备状态数据包括视频获取设备的方位角、俯仰角、水平视场和垂直视场。

12、进一步的，所述的视频画面在预置地图上的位置的计算方法为：

13、s3.1根据飞行姿态，实时对视频获取设备反馈的方位角与俯仰角进行角度纠正，计算当前视频获取设备在实际世界中，真实的方位角p与俯仰角t；

14、s3.2根据方位角p与俯仰角t，以及当前视场大小，计算当前视频左上角的方位角与俯仰角、右下角的方位角与俯仰角；

15、s3.3根据飞行器经度、飞行器纬度、飞行器高度、视频获取设备左上角、右下角方位角及俯仰角，计算视频画面左上角、右下角经纬度，由视频画面左上角、右下角所界定的经纬度范围，则是视频画面在预置地图上的位置。

16、进一步的，所述的制作ar标签过程为：

17、遍历当前视频画面包含的poi点的地理信息集合；

18、确定标签个数；

19、计算各个标签在视频画面中的二维像素坐标；

20、制作标签形状；

21、制作标签文本。

22、根据第二方面，提供上述一种视频直播ar标签叠加装置，包括视频获取设备、飞行器、预置地图处理单元、图像位置计算单元、ar标签生成单元和视频输出单元；所述的视频获取设备、预置地图处理单元、图像位置计算单元、ar标签生成单元和视频输出单元都安装在飞行器上，所有视频与数据处理皆在飞行器端完成；所述的视频获取设备将获取的实时视频画面传送给图像位置计算单元；所述的预置地图处理单元在预置的地图中设置特定点的poi数据，并传送给图像位置计算单元；所述飞行器将飞行器姿态数据和视频获取设备状态数据传送给图像位置计算单元；所述的图像位置计算单元根据获得的数据计算出实时视频画面在预置地图中的位置，并将视频画面的地理信息与预置地图中对应位置的地理信息融合，将融合后的poi信息传送给ar标签生成单元；所述的ar标签生成单元根据poi信息生成ar标签，并将生成的ar标签与原始视频融合后传送给视频输出单元，所述的视频输出单元将ar标签处理后的视频进行输出。

23、本发明与现有技术相比的有益效果：

24、本发明通过在飞行器上对直播的视频进行处理，并添加标签，丰富了视频直播的内容，并且速度快、精度高，解决了现有技术中利用飞行器进行直播不能添加标签或因添加标签而造成的视频处理不及时、数据精度不高的缺点。

技术特征：

1.一种视频直播ar标签叠加方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种视频直播ar标签叠加方法，其特征在于，所述的特定点可以为任何想标记的点，其属性包括：名称、经度、纬度和海拔。

3.根据权利要求1所述的一种视频直播ar标签叠加方法，其特征在于，所述的飞行器姿态数据包括飞行器的经度、纬度、高度、航向角、俯仰角和侧偏角。

4.根据权利要求3所述的一种视频直播ar标签叠加方法，其特征在于，所述的视频获取设备状态数据包括视频获取设备的方位角、俯仰角、水平视场和垂直视场。

5.根据权利要求4所述的一种视频直播ar标签叠加方法，其特征在于，所述的视频画面在预置地图上的位置的计算方法为：

6.根据权利要求2或3所述的一种视频直播ar标签叠加方法，其特征在于，所述的制作ar标签过程为：

7.如权利要求1-6之一所述的一种视频直播ar标签叠加装置，其特征在于，包括视频获取设备、飞行器、预置地图处理单元、图像位置计算单元、ar标签生成单元和视频输出单元；所述的视频获取设备、预置地图处理单元、图像位置计算单元、ar标签生成单元和视频输出单元都安装在飞行器上，所有视频与数据处理皆在飞行器端完成；所述的视频获取设备将获取的实时视频画面传送给图像位置计算单元；所述的预置地图处理单元在预置的地图中设置特定点的poi数据，并传送给图像位置计算单元；所述飞行器将飞行器姿态数据和视频获取设备状态数据传送给图像位置计算单元；所述的图像位置计算单元根据获得的数据计算出实时视频画面在预置地图中的位置，并将视频画面的地理信息与预置地图中对应位置的地理信息融合，将融合后的poi信息传送给ar标签生成单元；所述的ar标签生成单元根据poi信息生成ar标签，并将生成的ar标签与原始视频融合后传送给视频输出单元，所述的视频输出单元将ar标签处理后的视频进行输出。

8.一种介质，其特征在于，所述的介质存贮有权利要求1-6所述的视频直播ar标签叠加方法。

9.一种飞行器，其特征在于，所述飞行器安装权利要求7所述的视频直播ar标签叠加装置。

技术总结
本发明提供一种视频直播AR标签叠加方法和装置，包括以下步骤：在飞行器中预置飞行器飞行区域的地图，并在地图上的特定点设置POI数据；实时获取视频画面、飞行器姿态数据、视频获取设备状态数据；计算获得此时获取的视频画面在预置地图上的位置，并获得预置地图上此视频画面相应位置的地理信息；获得每帧视频画面所包含的地理信息；制作对应的AR标签，叠加到视频画面上。本发明使得在飞行器的直播中添加了AR标签信息，丰富了视频直播的内容，并且速度快、精度高。

技术研发人员：杜越洋,罗怡,牟若凡,李东伟
受保护的技术使用者：海鹰航空通用装备有限责任公司
技术研发日：
技术公布日：2024/1/11