视频数据中的实时帧对准的制作方法

本公开处于图像处理架构领域，并且更具体地处于超高清视频处理领域。

背景技术：

具有大图像格式和小像素间距的超高清(uhd)图像传感器正变得普遍可用于许多新产品和应用的使用中。然而，常规的视频架构通常不支持uhd传感器的带宽和定时要求。已经开发出支持uhd传感器的带宽和定时要求的新视频架构；然而，这些新的视频架构通常利用先前可用的硬件的情况下从头开始开发以用于特定用途。

uhd传感器技术的改进大大超过许多现有视频传输架构的带宽和传输能力。被设计和配置用于传输高清(hd)视频的现有视频硬件的广泛基础设施被部署并安装在全世界的设备中。该基础设施通常不支持将视频数据从uhd摄像机传输到显示器或终端用户。

现有的hd视频架构通常被配置用于处理例如符合一种或多种标准格式(诸如电影和电视工程师协会(smpte)标准smpte292m和smpte424m)的视频数据流。这些标准包括720p高清(hdtv)格式，其中视频数据被格式化为具有720条水平数据路径和16：9宽高比的帧。smpte292m标准包括例如720p格式，其具有1280x720像素的分辨率。

hd视频数据的常见传输格式是720p60，其中720p格式的视频数据以每秒60帧进行传送。smpte424m标准包括1080p60传输格式，其中1080p格式的数据以每秒60帧进行传送。1080p格式的视频数据有时被称为“全hd”并且具有1920x1080像素的分辨率。

大量当前部署的图像检测系统被按照hd视频标准(诸如常用的720p标准)来构建。720p标准系统的1280x720像素帧每帧包括约1.5兆像素。相反，uhd图像传感器通常以5kx5k格式输出图像帧，其每帧具有约2500万像素。因此，720p标准系统中使用的1280x720像素远不足以传输由uhd图像传感器生成的大得多的数量的像素。

uhd传感器通常与视频架构一起使用，该视频架构被特别设计以用于传输uhd视频数据。这些新的视频架构通常利用视频压缩技术来支持uhd带宽和定时要求。目前用于传输uhd视频数据的一些视频架构使用并行编码器或编解码器和数据压缩来传输uhd视频。然而，压缩的使用使得这些视频架构不适合依赖于接收原始传感器数据的终端用户。

使用传统硬件来传输来自下一代相机的uhd视频的使用是有问题的，这是因为传统硬件通常没有提供足够的带宽。此外，针对已经实现大量传统视频处理设备的用户而言，用新架构替代现有视频架构来传输uhd视频数据可能是不切实际的和/或极其昂贵的。

各种空间和时间上的视频压缩技术已经被用于处理来自uhd图像传感器的图像数据，以在现有hd视频架构上进行传输。uhd视频数据通常使用压缩算法进行压缩，该压缩算法保留足够的uhd视频数据以生成用于人类查看的可见图像和视频流，但丢失或丢弃可能是人类可视图像和视频流所不需要的来自uhd图像传感器的数据。

用于处理来自uhd传感器的数据的其他常规技术通常涉及使用已经针对uhd传感器的特定应用而开发的新的或专有的视频架构。这些技术成本高且效率低，这是因为它们没有利用已经在全世界部署的广泛可用的hd视频架构。

在现有设备上传输uhd图像数据通常涉及将图像数据分成多个分组(packet)或子帧。对单独的视频路径分组进行分类(sort)并且将多个帧拼接(stitch)在一起成为全景场景通常会增加可以防止图像数据的实时显示的处理步骤。

用于以多个帧拼接全景场景的先前系统和方法涉及场景配准(registration)和图像处理，以混合重叠图像数据，以将多个帧拼接在一起成为全景场景。用于以多个帧拼接全景场景的其他先前已知技术涉及基于惯性的图像配准和基于地理定位的图像配准技术以将影像融合在一起，其中一种类型的图像数据被融合在其它类型的图像数据之上。

已经基于特征配准执行了用于将多个帧拼接在一起成为全景场景的各种其他方法。这些方法通常涉及对图像数据的大量后处理，这增加了延迟。特征配准技术不适合将非特征丰富的场景的全景图像拼接在一起。而且，不利地，许多现有的基于场景的配准方案不能精确地拼接不同/多个光谱带。

在许多uhd成像应用中，将期望将来自uhd传感器的原始数据提供给分析员或其他用户。uhd视频数据的其他客户需要高度准确且时间上对准的符号体系(symbology)与图像数据重叠，以满足任务要求。然而，在传输之前将符号体系插入到视频流中替代了原始图像数据并破坏了可能对原始数据的分析员或其他客户有用的某些信息。先前的系统和方法涉及归档标记和使用时间上对准的元数据，其不允许接近实时地呈现符号体系。然而，例如，由于异步视频和数据流水线，依赖于时间上对准的元数据的方法一直是有问题的。

技术实现要素：

本公开的各方面包括用于高效和无损收集uhd数据的uhd传感器数据处理装置和方法。根据本公开的一方面的传感器数据处理装置包括被耦合到处理电路的原始uhd数据输入路径和被并联耦合到处理电路的多个图像数据输出路径。一个或多个元数据输出路径与图像数据输出路径并联耦合到处理电路。

处理电路被配置为接收来自uhd传感器的原始uhd数据，将原始uhd数据划分为无损分段并且将无损分段并行地引导到图像数据输出路径上。处理器电路还被配置为：生成包括编码信息的元数据，该编码信息有助于从无损分段重建原始uhd数据；并且将元数据引导到元数据输出路径上。

用于经由如本文所述的当前视频传输架构将视频数据从uhd传感器传输到显示器或终端用户的改进方法和装置包括像素打包方法和使用多个物理连接来并行传送数据的方法。本文所公开的方法克服了传统硬件的带宽限制，并使传统硬件能够传输来自下一代相机的uhd视频数据。

根据本公开的一个方面，执行视频处理以基于用于跟踪分组和地理定位信息的元数据将视频图像数据重新组装为马赛克拼贴或拼接的影像。非常精确的地理定位和惯性空间/坐标数据被用来精确拼接视频帧。可以执行后端视频处理以基于被包括在元数据中的定位数据和惯性数据将视频重新组装为马赛克拼贴或拼接的全景影像。

在说明性实施例中，实施元数据编码方案以将与图像像素相关联的地理定位信息以及惯性空间和坐标信息并入到标准klv元数据分组中。根据本公开的一个方面，将信息编码在视频数据的vanc/hanc元数据空间中，以便于下游实时视频拼接。klv元数据用于传送包含地理定位和惯性信息的与视频芯片时间上对准的分组。

基于地理定位和惯性数据将外围/边缘处的多个帧拼接在一起。所公开的技术通过减少或消除拼接的影像中的图像数据的重叠来增加传感器数据的地面覆盖范围。本公开的一个方面包括：用于基于传感器平台的非常精确的惯性空间坐标和对定义成像时传感器指向的方向的角坐标的了解来非重叠重建视频流的系统和方法。

根据本公开的另一方面，可以将上下文适当的符号体系信息覆盖到数据中的原始视频上，以为实时或接近实时地查看数据的实体提供态势感知(situationalawareness)，同时保留原始视频数据以进行高效的后处理。例如，符号体系信息可以在klv标准元数据分组上使用定制或专有编码方案被编码为元数据并被存储在对应的图像帧的元数据空间中。

所公开的将符号体系元数据并入到对应的帧的元数据空间中的方法允许原始视频的传输以及将时间和定位敏感的符号体系添加到视频以用于上下文可视化和态势感知的能力。本公开的各方面可以为uhd视频流的不同客户提供不同的上下文适当的符号体系以及相同的原始视频数据。

附图说明

通过参考附图详细描述本发明构思的示例性实施例，本发明构思的上述和其他特征将变得更加明显，在附图中：

图1是根据本公开的一方面的uhd传感器数据处理系统的图。

图2是根据本公开的一方面的示出用于处理uhd传感器数据的方法的过程流程图。

图3是uhd传感器数据处理系统的说明性实施例的图。

图4是根据本公开的一方面的将8位像素格式的uhd图像帧打包成具有16位像素格式的图像帧的图。

图5是根据本公开的一方面的被分割成1280x720像素帧的uhd图像数据的图。

图6是根据本公开的一个方面的包括帧拼接模块的uhd传感器数据处理系统的说明性实施例的图。

图7是根据本公开的一个方面的与用于对准图像帧的元数据相关联的图像的多个帧的图。

图8是描述了根据本公开的各方面的方法的视频流的图，每个视频流包括用于存储和传输元数据的元数据空间。

图9是示出了根据本公开的一个方面的通过将多个帧实时拼接在一起而生成的全景图像的图。

图10是示出了根据本公开的一个方面的用于对准视频数据中的帧的方法的过程流程图。

图11是根据本公开的一个方面的uhd传感器数据处理系统的说明性实施例的图，该uhd传感器数据处理系统包括符号体系处理模块或将符号体系信息并入到图像帧的元数据空间中。

图12是示出了根据本公开的一个方面的可以存储为元数据的符号体系信息的示例的示图。

图13是示出了根据本公开的一个方面的提供视频数据流中的符号体系的方法的过程流程图。

具体实施方式

本公开的各方面包括用于使用现有hd视频架构对来自一个或多个uhd图像传感器的uhd视频数据进行无损通信和处理的系统和方法。根据本公开的各方面，使用当前可用的视频架构处理uhd视频数据涉及到将来自一个或多个uhd传感器的uhd视频数据分解成可管理的分段。这些分段被组并入传播到hd视频的多个通道中。在说明性实施例中，uhd视频数据可以从uhd传感器30hz下的的5kx5k帧提供，其被分解成720p60分段。在说明性实施例中，分段被组合成smpte424m1080p60视频的多个通道。

一些常用的uhd图像传感器生成每帧具有5120x5120像素的图像帧。然而，根据本公开的各方面，“uhd传感器”可以指代生成不同帧大小和像素大小的多种不同类型的图像传感器。例如，一些uhd图像传感器生成具有4kx4k像素的图像帧，并且每像素可以具有12位，或每像素可以具有10位。如本文所使用的术语“uhd传感器”不限于特定类型的传感器或特定的帧大小或像素大小。

根据本公开的另一方面，基于描述了如何从uhd传感器数据生成分段的元数据将多个smpte馈送重建为单个uhd视频馈送。

所公开的uhd视频处理系统和方法的说明性实施例使用多个720p视频帧缓冲器来分离和编码来自一个或多个uhd图像传感器的大格式视频。来自uhd图像传感器的图像数据跨多通道720phd视频架构传播。鲁棒编码方案生成元数据，其描述了原始图像数据的部分如何在多个通道上分布并且使得能够无损重建原始uhd视频数据。

参考图1描述根据本公开的一方面的uhd传感器数据处理系统的说明性实施例。系统100包括经由原始uhd数据输入路径106被耦合到uhd图像传感器104的uhd分段电路102。在说明性实施例中，系统100还包括经由多个图像数据输出路径110和一个或多个元数据路径112被耦合到uhd分段电路102的视频处理电路108。数据输出路径110和元数据路径112可以共存于相同的传导通路上，或者可以替代地被配置在单独的传导通路上。

在说明性实施例中，uhd分段电路102包括被耦合到处理器电路的存储器电路。处理器电路被配置为接收来自uhd图像传感器104的原始uhd数据，将原始uhd数据划分为无损分段并且将无损分段并行地引导到图像数据输出路径110上。在说明性实施例中，处理器电路还被配置为：生成包括编码信息的元数据，该编码信息有助于从无损分段重建原始uhd数据；并将元数据引导到元数据输出路径112上。

参考图2描述根据本公开的一方面的用于处理uhd传感器数据的方法。方法200包括在框202处接收来自uhd传感器(诸如图1的uhd图像传感器104)的原始uhd数据，并在框204处将原始uhd数据划分为无损分段。在说明性实施例中，原始uhd数据被图1的uhd分段电路102划分，所述uhd分段电路102可以包括例如一系列fpga和处理系统。在说明性实施例中，图1的uhd分段电路102包括数字视频处理器(dvp)电路，其接收来自uhd图像传感器104的视频并将其划分为多个720p图像。方法200还包括在框206处将无损分段并行地引导到多个图像数据输出路径(诸如图1的图像数据输出路径110)上。这也可以由uhd分段电路102中的一系列fpga和处理系统执行。该方法还包括：在框208处生成包括编码信息的元数据，该编码信息有助于从无损分段重建原始uhd数据；并且在框210处将元数据引导到与图像数据输出路径并联的一个或多个元数据输出路径(诸如图1的元数据输出路径112)上。

在说明性实施例中，图1的uhd分段电路102包括smpte视频处理器(svp)电路，其接收来自dvp电路的720p图像，将它们划分为适当格式化的smpte1080p视频帧，并将适当格式化的smpte元数据添加到辅助视频空间。元数据包括打包细节，诸如帧开始和帧结束的像素定位、帧速率、位深度、位打包模式等。相同的元数据空间具有用于给出视线或指示uhd图像传感器104针对每个可适用的帧指向何处的指向信息的规定，使得该信息可用于向uhd图像传感器104捕获的uhd视频帧添加上下文。

参考图3描述根据本公开的一方面的图像数据处理系统的另一个说明性实施例。在说明性实施例中，系统300包括被耦合到uhd分段电路304的uhd图像传感器302。uhd图像传感器302是图1中示出的uhd图像传感器104的示例性实施方式。uhd分段电路304是图1中示出的uhd分段电路102的示例性实施方式。

uhd图像传感器302生成具有5kx5k像素格式的图像帧。在该说明性实施例中，两个兼容720p的hd相机306、308也被耦合到uhd分段电路304。兼容720p的相机中的第一个是中波红外相机306，其生成具有1280x720格式的图像帧。兼容720的相机中的第二个是短波红外相机308，其生成具有1280x720格式的图像帧。

在说明性实施例中，系统300被配置为例如按照smpte标准(诸如smpte424m标准)传递数据。

在说明性实施例中，uhd分段电路304包括视频架构转台310，其被耦合到uhd图像传感器302并且经由高速相机接口被耦合到兼容720p的hd相机306、308。uhd分段电路304还包括smpte视频处理器312，其经由并行通过接口(诸如滑环接口314)被耦合到视频架构转台310。

例如，视频架构转台310将来自uhd图像传感器302的uhd图像数据打包并且跨八个标准720p并行输出通道中的六个将其作为720p60hz视频进行传播。视频架构转台310还将来自兼容720p的相机306、308中的每个的标准720p图像数据在八个标准720p并行输出通道中的相应剩余两个上作为720p60hz视频进行传递。

smpte视频处理器312从视频架构转台310接收八个并行输入通道，并使用垂直辅助(vanc)技术利用打包和传播信息来插入klv(键-长度-值)元数据，以便于解包和重建uhd图像数据。本领域技术人员应该认识到的是，vanc是用于在视频信号中嵌入非视频信息的常规技术。例如，元数据包括打包细节，诸如例如帧开始和帧结束的像素定位(行、列)、帧速率(30、60)、位深度(8、10、12、16)和位打包模式(每像素两个字节、每像素一个字节等)。相同的元数据空间具有用于给出视线(惯性测量单元(imu)、陀螺仪、加速度计、旋转变压器、伺服状态、编码器反馈、聚焦信息、系统光学器件的温度等)和/或指示uhd图像传感器302针对uhd图像传感器302获取的每个可适用帧指向何处的指向信息的规定。元数据中的信息可用于将上下文添加到由uhd图像传感器302捕获的uhd视频帧。smpte视频处理器312还针对每个图像帧插入唯一标识符。

在说明性实施例中，后端处理器电路316被耦合到uhd分段电路304以接收来自视频架构转台310的所传播的和打包后的uhd图像数据以及来自smpte视频处理器312的klv元数据。后端处理电路316是图1中示出的视频处理电路108的示例性实施方式，并且包括多个输出。例如，后端处理电路316的输出可以被压缩/处理视频以显示在标准视频显示器上，或者可以是示出移动对象的轨迹的跟踪数据等。后端处理器电路316读取klv元数据并执行对来自uhd图像传感器302的uhd图像数据的无损重建以生成和缓冲uhd视频的完整帧。例如，后端处理器电路316还可以被配置为从缓冲的uhd视频识别目标并创建跟踪信息。

参考图4，在说明性实施例中，通过将来自uhd图像帧402中的每个中的每两个8位像素的数据映射成对应的5120×256016位像素帧404的单个16位像素，将5120×51208位像素格式的uhd图像帧402打包成5120×256016位像素帧404。这可以例如由图3的视频架构转台310通过利用现有的16位像素视频架构来执行，以减少跨图3的滑环接口314所需的带宽。这有效地将带宽需求减少了一半。可替选地，该打包可以由smpte视频处理器312执行。然而，由在滑环接口314之前的视频架构转台310封装像素有助于减轻在smpte视频处理器312之前的滑环接口314处可能发生的数据瓶颈。

参考图5，在说明性实施例中，包含在5120×5120图像帧中的每个25兆像素的原始图像数据被划分为无损分段，如图2的框204处所述。通过将每图像8位的5120×5210帧划分为每像素具有16位的1280×720帧，5120×5120帧被转换以与720视频架构兼容。这导致了具有16位像素的十六个1280×720帧502。根据本公开的一方面，帧0-7在第一个60hz时钟周期上由视频架构转台310跨滑环314并行地传输到smpte视频处理器312(每个都在图3中示出)，并且帧8-15在第二个60hz时钟周期上跨滑环接口314并行传输。1280x72060hz帧502中的每八帧存储在smpte视频处理器帧存储器中，其被包括在smpte视频处理器312中。在该说明性实施例中，smpte视频处理器帧存储器具有多余的存储器空间504，其可以当可适用时(例如，每30hz周期)被用于附加的数据传递。然后用可适用的打包和传播信息(诸如例如帧开始和帧结束的像素定位(行、列)、帧速率(30hz、60hz)、位深度(8、10、12、16)和位打包模式(每像素两个字节、每像素一个字节等))来由smpte视频处理器312更新klv元数据。唯一的帧标识(id)、精确时间戳(所有与utc时间相关的秒、小数秒)、在图像传感器上接收光子等。相同的元数据空间具有用于给出视线(imu、陀螺仪、加速度计、旋转变压器、伺服状态、编码器反馈、聚焦信息、系统光学器件的温度等)，或uhd图像传感器302针对每个可适用的帧被指向何处的指向信息的规定，使得该信息可用于向uhd图像传感器302捕获的uhd视频帧添加上下文。元数据还包括针对每个帧的唯一标识符，以在包括klv元数据的smpte242m视频中生成和输出每像素具有20位的1920x108060hz帧的四个通道。

通过考虑1280x720帧的八个并行720p通道使用约737万个像素，可以观察到存储空间504的量。因为720p帧以每秒60帧或每帧16.667毫秒运行(其速度为uhd传感器的两倍)，所以737万像素被加倍，从而导致约1475万像素。5120x5120像素uhd传感器(303，图3)以每秒30帧或每帧33.333毫秒运行。因为两个8位像素被打包成每个720p16位像素，所以每个帧减少到有效的2560x5120像素大小。这导致每uhd帧约1310万像素。对于每30hzuhd帧(33.333ms)，有16个720p帧可用于打包uhd传感器数据。因此，约1475万像素是可用的，其中每33.33ms或以30hz频率打包约1310万个uhd像素。在该说明性实施例中，每30hzuhd帧中可用的多余存储空间504是1475万和1310万之间的差，其等于约165万像素。

使用现有的压缩技术，实时地重新组装和丢失视频数据以用于可视化变得有问题的。用于传输uhd视频数据的许多现有商业可用架构采用时间压缩，其破坏元数据准确性和完整性、破坏元数据与视频帧的对准、降低分辨率和/或增加不期望的延迟。用于传输uhd视频数据的许多技术被优化以保持帧速率并维持所显示视频的视觉吸引力。这些类型的架构不适合于在诸如监视的许多应用(其中所有元数据的数据准确性和完整性比帧速率更重要)中传输uhd视频数据。在这些应用中，重建来自uhd视频图像传感器的原始视频数据是重要的。

本公开的各方面使用现有hd视频架构来使用klv元数据跨多个视频通道对可变像素计数源数据进行编码。可变像素计数源数据可以包括例如2mp源数据和25mp源数据。

用于将帧拼接在一起的先前已知技术涉及大量图像处理以识别用于配准和对准不同帧的特征。这些技术不适合于拼接基本无特征的帧，诸如例如包括大面积海洋或沙漠的视频数据中的帧。先前已知的技术通常还涉及重新采样图像数据并重叠帧的一些部分。这减少了传感器系统提供的可用信息以及由于后处理延迟造成的增加的延迟。

例如，机身和其他uhd传感器平台通常可以访问非常精确的位置信息，诸如全球定位系统(gps)信息、视线(los)信息、惯性制导信息和其他传感器指向信息。对位置信息和每个像素所覆盖的区域的了解允许计算每个uhd图像帧中的每个像素所覆盖的区域的精确地理位置。根据本公开的一个方面，在用于将帧拼接在一起的视频处理系统和方法中利用可用的定位和/或指向信息，其避免了帧的重采样和重叠并减少延迟。每个像素所覆盖的目标区域的大小在机身和其他uhd传感器平台中通常也是已知或可访问的。

在说明性实施例中，地理定位信息(诸如gps信息、los信息、惯性制导信息和/或其他传感器指向信息)被编码在与相关联的视频帧一起传输的元数据中。元数据识别对应的帧中的某些像素(诸如帧的角落和/或边缘处的像素)的精确地面位置。根据本公开的一个方面，对视频数据的基本实时处理基于提供帧中的像素的地理定位的帧中的元数据边对边地对准帧。

在不能访问每个像素的非常精确的指向信息或位置信息的系统中，所公开的系统和方法可以将其他不太精确的地理定位信息编码在像素或uhd帧的元数据中。根据本公开的另一方面，不太精确的地理定位信息和/或指向信息可用于识别图像数据的较窄区域，以进行后处理来将帧拼接在一起。与使用传统帧拼接技术对覆盖大区域的图像数据的后处理相比而言，这大大减少了后处理时间。

图6是根据本公开的一个方面的包括帧拼接模块602的传感器数据处理装置600的说明性实施例的图。在说明性实施例中，传感器数据处理装置600使用多个smpte424m馈送来执行uhd视频的动态缩放、解包和组装。

帧拼接模块602被耦合到视频处理器312和后端处理器316之间的路径，上面参考图3对视频处理器312和后端处理器316进行了描述。帧拼接模块602被配置为使用诸如los信息和/或gps信息的地理定位信息来对惯性空间帧拼接执行地理定位以实时生成成像区域的全景视觉。

根据本公开的各方面，传感器数据处理装置动态地划分从图像传感器302、306、308接收到的大图像，并跨一系列3gbpssmpte标准视频传输路径604传播划分的图像。帧拼接模块602编码klv元数据、与图像的帧和/或像素相关联的los信息和gps信息。klv元数据用于执行相邻帧的地理定位和惯性空间帧拼接以重新生成较大的图像。

根据本公开的另一方面，后端处理器316在多个视频传输路径604上接收划分的图像数据以及klv元数据。在说明性实施例中，视频传输路径604包括六个smpte424m1080p60通道。后端处理器316被配置为读取与klv元数据中的帧或像素相关联的地理定位信息，并基于klv元数据中的地理定位信息来重新生成完整的uhd图像。在说明性实施例中，后端处理器316读取klv元数据以与动态帧拼接模块602通信，并确保klv元数据与适当的图像数据时间上对准。

根据本公开的一个方面，传感器数据处理装置包括处理电路、耦合到处理电路的原始uhd视频数据输入路径、以及与处理电路并联耦合的多个图像数据输出路径。传感器数据处理装置还包括：一个或多个元数据输出路径，其与图像数据输出路径并联耦合到处理电路；和耦合到图像数据输出路径的帧拼接模块。根据本公开的一个方面，帧拼接模块被配置为：确定与由视频数据流的第一帧的边缘或角落的第一像素表示的区域对应的第一地理位置；对第一地理位置进行编码以生成与第一像素相关联的地理定位元数据；并将与第一像素相关联的地理定位元数据并入到第一帧的元数据空间中。

根据本公开的一方面，帧拼接模块还被配置为：确定与由视频数据流的第二帧的边缘或角落的第二像素表示的区域对应的第二地理位置；对第二地理位置进行编码以生成与第二像素相关联的地理定位元数据；并将与第二像素相关联的地理定位元数据并入到第二帧的元数据空间中。帧拼接模块被配置为将第一帧与第二帧对准以生成包括第一帧和第二帧的图像。

在说明性实施例中，帧拼接模块被配置为：将与第一像素相关联的地理定位元数据和与第二像素相关联的地理定位信息进行比较，以确定第一地理位置相对于第二地理位置的定位；并基于第一地理位置相对于第二地理位置的定位，将第一帧的边缘或角落与第二帧的边缘或角落对准，以生成包括第一帧和第二帧的图像。根据本公开的一个方面，帧拼接模块被配置为在不需要对第一帧或第二帧重新采样的情况下将第一帧与第二帧实时地对准。

图7示出了说明性实施例中的kvl元数据的示例使用。在说明性实施例中，具有5120像素×5120行的图像700被分解成多个1920×1080p60hz帧702。1920×1080p60hz帧702中的每个包含较大图像700的碎片(chip)。根据本公开的一个方面，klv元数据与帧702中的每个相关联。kvl元数据包含指示当碎片在较大图像中被重新组装时碎片将位于何处的数据。根据本公开的一个方面，klv元数据还包含地理定位信息，诸如视线(los)信息和全球定位系统(gps)信息，其可以用于将相邻帧的边缘拼接在一起以生成没有重叠像素的马赛克或全景图像。

参考图8，并行视频流各自包括它们自己的水平辅助(hanc)元数据空间802和vanc元数据空间804。根据本公开的一个方面，唯一的在时间上对准的打包和传播信息被包括在每个帧806的每个vanc元数据空间804中。每个vanc元数据空间804中的编码信息可以包括唯一的帧标识符，诸如例如时区相关的时间戳；开始和/或停止一个或多个图像的像素位置；被包含在帧中的一个或多个图像的数据路径的线路长度和数量；像素打包信息；以及帧速率信息。根据本公开的一个方面，vanc还可以包括视线(los)和指向信息，和/或全球定位系统信息，其例如精确地指示出机身或其他传感器平台的定位。

图9示出了根据本公开的一个方面的通过基于与元数据中的帧一起传输的地理定位信息将多个帧902实时拼接在一起而生成的全景图像900。在说明性实施例中，图6的所公开的传感器数据处理装置600使用通常在传感器平台中已经可用的精确视线信息，和/或机身或其他传感器平台的精确gps定位来生成全景图像。根据本公开的一个方面，诸如los信息和/或gps信息的地理定位信息被存储在与帧一起传输的元数据中。基于精确的地理定位信息，帧可以在不需要对图像进行重新采样的情况下在边缘处拼接在一起。因为所公开的技术不依赖于特征匹配配准技术，所以延迟大大减少，从而允许接近实时地生成全景图像。

图10是示出了根据本公开的一个方面的用于对准视频数据中的帧的方法1000的过程流程图。在框1002处，该方法包括确定与由视频数据流的第一帧的边缘或角落的第一像素表示的区域对应的第一地理位置。根据本公开的一个方面，可以基于诸如例如gps信息、los信息、惯性制导信息和/或传感器指向信息的地理定位信息来确定第一地理位置。

在框1004处，该方法包括对第一地理位置进行编码以生成与第一像素相关联的地理定位元数据。在框1006处，该方法包括将与第一像素相关联的地理定位元数据并入到第一帧的元数据空间中。在框1008处，该方法包括确定与由视频数据流的第二帧的边缘或角落的第二像素表示的区域对应的第二地理位置。在框1010处，该方法包括对第二地理位置进行编码以生成与第二像素相关联的地理定位元数据。在框1012处，该方法包括将与第二像素相关联的地理定位元数据并入到第二帧的元数据空间中。例如，可以由图6的帧拼接模块602执行确定1002、1008和编码1004、1010帧和像素的地理位置以及将经编码的地理定位信息并入1006、1012到元数据中的步骤。

根据本公开的一方面，可以例如基于以下来确定第一地理位置和第二地理位置：第一像素所覆盖的目标区域的大小、生成视频流的视频传感器的全球定位系统定位数据和/或生成视频流的视频传感器的指向信息。

根据本公开的一个方面，方法1000还包括将与第一像素相关联的地理定位元数据以及视频流中的第一帧从帧拼接模块602传输到图3的后端处理器316。在说明性实施例中，方法1000可以包括将与第一像素相关联的地理定位元数据并入到第一帧的hanc元数据空间或vanc元数据空间中。

在框1014处，该方法包括将第一帧与第二帧对准以生成包括第一帧和第二帧的图像。根据本公开的一个方面，在不需要对第一帧或第二帧重新采样的情况下将第一帧与第二帧实时地对准。第一帧和第二帧的对准可以在不需要基于表示在第一帧和/或第二帧中的成像特征执行特征配准和不需要使第一帧中的像素与第二帧中的像素重叠的情况下执行。

在说明性实施例中，例如，可以由后端处理器316执行将第一帧与第二帧对准的步骤。对准可以通过以下来执行：将与第一像素相关联的地理定位元数据和与第二像素相关联的地理定位信息进行比较，以确定第一地理位置相对于第二地理位置的定位，并且基于第一地理位置相对于第二地理位置的定位，将第一帧的边缘或角落与第二帧的边缘或角落对准，以生成包括第一帧和第二帧的图像。

根据本公开的另一方面，用于对准视频数据中的帧的方法可以包括：确定与由视频数据流的帧表示的区域对应的第一地理位置；对第一地理位置进行编码以生成与第一帧相关联的地理定位元数据；以及将与第一相关联的地理定位元数据并入到第一帧的元数据空间中。在该实施例中，该方法还可以包括：确定与由视频数据流的第二帧表示的区域对应的第二地理位置；对第二地理位置进行编码以生成与第二帧相关联的地理定位元数据；以及将与第二像素相关联的地理定位元数据并入到第二帧的元数据空间中。然后可以基于地理定位元数据将第一帧与第二帧对准，以生成包括第一帧和第二帧的图像。

将与第一帧相关联的地理定位元数据和与第二帧相关联的地理定位信息进行比较，以确定第一地理位置相对于第二地理位置的定位。然后，基于第一地理位置相对于第二地理位置的定位，将第一帧与第二帧对准，以生成包括第一帧和第二帧的图像。在说明性实施例中，根据本公开的该方面，例如，可以通过基于表示在第一帧和第二帧中的成像特征执行特征配准来对准第一帧和第二帧。

参考图11描述了根据本公开的另一方面的传感器数据处理装置1100，其与符号体系信息分开地执行动态缩放、解包和组装包括原始传感器数据的uhd视频。

在说明性实施例中，传感器数据处理装置包括被耦合到视频处理器312和后端处理器316之间的路径的符号体系处理模块1102，上面参考图3对视频处理器312和后端处理器316进行描述。根据本公开的各方面，动态视频传播分解了大图像并使它们跨一系列3gbpssmpte标准视频传输路径604传播。在说明性实施例中，视频传输路径604包括六个smpte424m1080p60通道。根据本公开的另一方面，后端处理器316读取klv元数据并使用klv元数据信息来解包、缓冲来自多个hd视频输入的全帧uhd视频。后端处理器316使用klv元数据和用户定义的字段来与动态视频传播功能通信，并确保元数据与适用的视频时间上对准。

在说明性实施例中，符号体系处理模块1102被配置为将符号体系嵌入到与对应的原始视频数据帧相关联的元数据中。符号体系处理模块1102被配置为从图像传感器302、306、308中的一个或多个获取包括视频帧的视频流，并识别与视频帧相关联的符号体系信息。符号体系处理模块1102被配置为对与视频帧相关联的符号体系元数据中的符号体系信息进行编码，并将符号体系元数据并入到视频帧的元数据空间中。

从各种uhd传感器获取和输出的图像数据和视频数据可以被提供给各种实体，所述各种实体使用各种不同的技术来分析和处理数据以用于不同目的。

例如，包括各种分析的这些实体中的一些依赖于以原始形式接收图像数据和/或视频数据，其中未通过压缩技术、添加符号体系或其他后处理来破坏或改变图像数据和/或视频数据。例如，接收包括飞行员和武器操作者的图像和视频数据的其他实体依赖于与图像数据一起显示的各种符号体系。与来自uhd传感器平台的视频数据流一起显示的符号体系可包括十字线、定位信息、目标标识符、瞄准和指向信息、平台姿态信息、平台速度等。传统的符号体系覆盖在视频流的帧中。

例如，将符号体系添加到图像数据和视频数据的传统视频处理系统通常会重写原始数据或重写已经压缩和/或解压缩的数据。压缩技术和添加符号体系各自改变原始数据并破坏原本可以通过处理原始数据访问的信息。

根据本公开的一个方面，符号体系信息与每个视频帧的标准元数据一起被包括，而不是被覆盖在帧中的图像数据上。在说明性实施例中，对于要被显示在图像或视频流中的每个符号，符号体系信息定义了要显示的符号和图像的中定位，该定位定义了符号将被显示在何处。根据本公开的一个方面，可以以未压缩和未损坏的形式提供图像数据和/或原始视频数据，同时可以根据需要通过后处理从元数据访问每个帧的符号体系信息，以将所需的符号体系覆盖到对应的帧。原始数据保留来自一个或多个uhd传感器的所有感测信息以用于进一步分析，而符号体系元数据提供实时信息以在适当的上下文中增强态势感知。

根据本公开的另一方面，被编码在每个帧的元数据中的符号体系信息可以包括两个或更多个不同类别的元数据。在说明性实施例中，在后处理期间仅提取适当类别的符号体系信息并将其覆盖在图像数据上。例如，可以基于正在接收和/或查看视频数据的实体的类型来确定适当的类别，或者适当的类别可以通过查看实体来选择。根据本公开的另一方面，例如，可以基于被编码在符号体系元数据中的信息来搜索存档的视频数据，以定位视频流中的特定属性以供稍后查看或分析。

根据本公开的一个方面，传感器数据处理装置包括处理电路、耦合到处理电路的原始uhd视频数据输入路径、以及与处理电路并联耦合的多个图像数据输出路径。传感器数据处理装置还包括：一个或多个元数据输出路径，其与图像数据输出路径并联耦合到处理电路；和耦合到图像数据输出路径的帧拼接模块。根据本公开的一个方面，帧拼接模块被配置为：确定与由视频数据流的第一帧的边缘或角落的第一像素表示的区域对应的第一地理位置；对第一地理位置进行编码以生成与第一像素相关联的地理定位元数据；并将与第一像素相关联的地理定位元数据并入到第一帧的元数据空间中。

根据本公开的一方面，帧拼接模块还被配置为：确定与由视频数据流的第二帧的边缘或角落的第二像素表示的区域对应的第二地理位置；对第二地理位置进行编码以生成与第二像素相关联的地理定位元数据；并将与第二像素相关联的地理定位元数据并入到第二帧的元数据空间中。帧拼接模块被配置为将第一帧与第二帧对准以生成包括第一帧和第二帧的图像。

在说明性实施例中，帧拼接模块被配置为：将与第一像素相关联的地理定位元数据和与第二像素相关联的地理定位信息进行比较，以确定第一地理位置相对于第二地理位置的定位；并基于第一地理位置相对于第二地理位置的定位，将第一帧的边缘或角落与第二帧的边缘或角落对准，以生成包括第一帧和第二帧的图像。根据本公开的一个方面，帧拼接模块被配置为在不需要对第一帧或第二帧重新采样的情况下将第一帧与第二帧实时地对准。

尽管描述了其中某些元数据被包括在视频流的每个帧中的本公开的各方面，但是应当理解的是，所公开的系统和技术可以在替代实施例中实现，其中一些帧可以不包括特定元数据，或者，交替帧可以例如包括特定元数据。

图12是示出了根据本公开的一个方面的可以被存储为uhd传感器数据处理的元数据的符号体系信息的示例的示图。例如，如上面参照图8所述，符号体系信息可以包括在vanc元数据空间804中。vanc元数据空间804中的符号体系信息与图像帧1202相关联，图像帧1202还包括未处理的原始图像数据1204。可以位于vanc元数据空间804中的符号体系信息的示例可以包括移动目标轨道门、航向、高度、los、用于对比度增强的图像统计和视频处理、和/或激光测距和/或瞄准武器和火灾信息。

根据本公开的一个方面，原始图像数据可以被输出到存储设备1206，或者可以与不同的符号体系信息实时或接近实时地组合以供不同的实体查看。在说明性实施例中，第一实体显示器1208可以将原始图像数据与第一类别的符号体系组合，第二实体显示器1210可以将原始图像数据与第二类别的符号体系组合，并且第三实体显示器1212可以将原始图像数据与第三类别的符号体系组合。在该实施例中，三种类别的符号体系全都被编码在每个对应图像帧1202的vanc元数据空间804中。

图13是示出了根据本公开的一个方面的用于在视频数据流中提供符号体系的方法1300的过程流程图。在框1302处，该方法包括从一个或多个传感器(诸如图像传感器302、306、308)获取包括视频帧的视频流。在框1304处，该方法包括识别与视频帧相关联的符号体系信息。在框1306处，该方法包括对符号体系信息进行编码以生成与视频帧相关联的符号体系元数据。在框1308处，该方法包括将与第一像素相关联的符号体系元数据并入到视频帧的元数据空间中。例如，符号体系元数据可以被并入在视频帧的hanc元数据空间或vanc元数据空间中。例如，识别符号体系信息1304、编码符号体系信息1306以及将符号体系元数据并入到元数据空间1308中的步骤可以由图11的符号体系模块1102来执行。

根据本公开的一个方面，视频帧包括从一个或多个传感器302、306、308接收到的原始数据。根据本公开的另一方面，符号体系信息包括定义了与原始数据相关联的一个或多个符号的信息，和定义了在视频流中显示对应符号的位置的信息。

在框1310处，该方法包括将符号体系元数据与视频流中的对应的视频帧的原始数据一起传输到输出路径。例如，将符号体系元数据与对应视频帧1310的原始数据一起传输的步骤可以由图11的符号体系处理模块1102来执行。在框1312处，该方法包括访问对应于视频帧的符号体系元数据。在框1314处，该方法包括解码符号体系元数据以识别与原始数据相关联的一个或多个符号，以及定义在视频流中显示对应符号的位置的信息。在框1316处，该方法包括将一个或多个符号覆盖在视频流中的对应位置处的原始数据上。例如，访问符号体系元数据1314、解码符号体系元数据1314以及将符号覆盖到原始数据1316上的步骤可以由图3的后端处理器316或接收来自后端处理器316的输出的显示装置来执行。

在说明性实施例中，符号体系信息可以包括两个或更多个不同符号体系类别中的符号。根据本公开的一个方面，方法1300还可以包括仅覆盖所选择的一个或多个符号体系类别中的符号。例如，所选择的符号体系类别可以基于视频数据的客户的类型来确定，或者可以通过查看实体来选择。

虽然已经参考本公开的示例性实施例具体示出和描述了本公开的各方面，但是本领域普通技术人员将理解的是，在不脱离由以下权利要求限定的本公开的范围的情况下，在此可以对形式和细节进行各种改变。