被处理器识别的图像格式。为了防止初始采集数据的速度过快，加入了采集数据缓冲模块。经过以上处理此时视频数据已经可以被处理器识别，FPGA内置硬核处理器对收到的数据进行折反射面展开，将环形的、不直观图像数据展开为长条状、直观的图像数据。最后，这些数据由硬核处理器送至第二存储器中。
[0022]在视频处理器中，第三存储器由系统控制模块、数据编码模块及数据输出模块共享，主要分为未处理数据段及已处理数据段。系统控制模块负责读取第一存储器中的视频数据并将其放入未处理数据段中；数据编码模块读取这些数据进行视频数据的编码并将其放入已处理数据段中；数据输出模块负责将已处理数据段中的数据通过以太网发送至播放器。
[0023]如图2所示，本发明基于异构平台的全景视频处理方法包括以下步骤:
[0024]步骤一，首先嵌入式视频处理芯片作为系统主控芯片，负责完成自身系统控制模块、数据编码模块、第三存储器、数据输出模块的初始化；
[0025]步骤二，嵌入式视频处理芯片复位FPGA芯片，FPGA芯片初始化内部时钟，而后初始化色彩空间转换模块、采集数据缓冲模块、处理器及第一存储器，处理器加载折反射面展开程序；
[0026]步骤三，FPGA芯片以一定的帧率采集全方位视觉传感器的数据，采集到的数据在色彩空间转换模块中转换为处理器可识别的图像格式，经由采集数据缓冲模块送入第二存储器中，第二存储器以乒乓缓冲的形式分别存储奇数帧及偶数帧图像数据，FPGA硬核处理器按照奇偶的顺序读取图像数据，进行折反射面展开处理；
[0027]步骤四，嵌入式视频处理芯片通过EMIF接口读取经FPGA芯片处理好的图像数据，由系统控制模块调用数据编码模块进行H.264编码，而后系统控制模块108通过共享的第三存储器读取这些数据，对图像数据进行流媒体处理，通过数据输出模块对外输出。
[0028]本发明采用折反射面的全方位视觉传感器实现视频采集，由德州仪器公司的达芬奇型嵌入式视频处理芯片配合FPGA芯片实现折反射面视频展开、H264编码及流媒体封装，由远端流媒体播放器实现视频显示。本发明适用于功耗低、体积小的场合。
[0029]以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
【主权项】
1.一种基于异构平台的全景视频处理系统，其特征在于，包括相互连接的全方位视觉传感器和视频处理板，视频处理板包括FPGA芯片、嵌入式视频处理芯片、第三存储器、第二存储器，第三存储器、FPGA芯片都与嵌入式视频处理芯片连接，第二存储器与FPGA芯片连接，FPGA芯片包括依次连接的色彩空间转换模块、采集数据缓冲模块、处理器、第一存储器，嵌入式视频处理芯片包括依次连接的数据输出模块、系统控制模块、数据编码模块。
2.根据权利要求1所述的基于异构平台的全景视频处理系统，其特征在于，所述全方位视觉传感器由折反射成像装置及CMOS传感器组成。
3.根据权利要求1所述的基于异构平台的全景视频处理系统，其特征在于，所述FPGA芯片作为从处理芯片，负责完成图像采集、色彩空间转换、传输控制等简单的信号预处理操作，FPGA内置的处理器执行折反射面展开算法并将处理好的数据存放于第二存储器中。
4.根据权利要求1所述的基于异构平台的全景视频处理系统，其特征在于，所述第三存储器由系统控制模块、数据编码模块及数据输出模块共享。
5.根据权利要求4所述的基于异构平台的全景视频处理系统，其特征在于，所述系统控制模块负责读取第一存储器中的视频数据并将其放入未处理数据段中；数据编码模块读取这些数据进行视频数据的编码并将其放入已处理数据段中；数据输出模块负责将已处理数据段中的数据通过以太网发送至播放器。
6.一种基于异构平台的全景视频处理方法，其特征在于，其包括以下步骤: 步骤一，首先嵌入式视频处理芯片作为系统主控芯片，负责完成自身系统控制模块、数据编码模块、第三存储器、数据输出模块的初始化； 步骤二，嵌入式视频处理芯片复位FPGA芯片，FPGA芯片初始化内部时钟，而后初始化色彩空间转换模块、采集数据缓冲模块、处理器及第一存储器，处理器加载折反射面展开程序; 步骤三，FPGA芯片以一定的帧率采集全方位视觉传感器的数据，采集到的数据在色彩空间转换模块中转换为处理器可识别的图像格式，经由采集数据缓冲模块送入第二存储器中，第二存储器以乒乓缓冲的形式分别存储奇数帧及偶数帧图像数据，FPGA硬核处理器按照奇偶的顺序读取图像数据，进行折反射面展开处理； 步骤四，嵌入式视频处理芯片通过EMIF接口读取经FPGA芯片处理好的图像数据，由系统控制模块调用数据编码模块进行H.264编码，而后系统控制模块108通过共享的第三存储器读取这些数据，对图像数据进行流媒体处理，通过数据输出模块对外输出。
【专利摘要】本发明提供了一种基于异构平台的全景视频处理系统及方法，该处理系统包括相互连接的全方位视觉传感器和视频处理板，视频处理板包括FPGA芯片、嵌入式视频处理芯片、第三存储器、第二存储器，第三存储器、FPGA芯片都与嵌入式视频处理芯片连接，第二存储器与FPGA芯片连接，FPGA芯片包括依次连接的色彩空间转换模块、采集数据缓冲模块、处理器、第一存储器，嵌入式视频处理芯片包括依次连接的数据输出模块、系统控制模块、数据编码模块。本发明适用于功耗低、体积小的场合。
【IPC分类】H04N21-2343, H04N7-18
【公开号】CN104581075
【申请号】CN201510016986
【发明人】陈洁, 孙莹, 闫健
【申请人】中国电子科技集团公司第三十二研究所
【公开日】2015年4月29日
【申请日】2015年1月13日