一种基于FPGA的多路HDMI接口转PCIe的视频处理与采集系统的制作方法

一种基于fpga的多路hdmi接口转pcie的视频处理与采集系统
技术领域
1.本发明涉及一种基于fpga的多路hdmi接口转pcie的视频处理与采集系统，属于视频处理与采集系统技术领域。


背景技术：

2.现有的技术多采用现有的hdmi接收器作为信号的处理接收单元，当需要采集的hdmi通道数增高时，成本显著增高，且占用大量主板面积，且无法在采集图像时实时设置对图像的操作方式（去交错、颜色空间转换等）。是否有一种节省硬件成本与主板面积且可将对视频的多种操作算子移植到fpga上，实时的对当前传输视频流进行实时处理并采集的方式来解决现有技术所面临的窘境。


技术实现要素：

3.本发明要解决的技术问题是：提供一种能够节省硬件成本与主板面积且可将对视频的多种操作算子移植到fpga上的方式。
4.为了解决上述技术问题，本发明提出的技术方案是：一种基于fpga的多路hdmi接口转pcie的视频处理与采集系统，用于连接采集设备，包括micblaze/zynq处理器、pcie解析模块、hdmi数据传入接口、视频phy控制器、hdmi接收模块、音频处理模块、图像流处理模块、视频混合器、混音器和流调度器；所述采集设备通过pcie解析模块与所述fpga相连，所述micblaze/zynq处理器通过命令接口与所述pcie解析模块相连，所述hdmi数据传入接口、所述视频phy控制器相连与所述hdmi接收模块依次相连，所述hdmi接收模块分别与所述音频处理模块和所述图像流处理模块相连，所述图像流处理模块与所述视频混合器相连，所述音频处理模块和所述混音器相连，所述视频混合器和所述混音器均与所述流调度器相连，所述流调度器与所述pcie解析模块相连。
5.上述方案的进一步改进是：所述micblaze/zynq处理器从所述pcie解析模块接收指令，所述指令包括板级支持包、驱动程序、终端控制器、事件触发。
6.上述方案的进一步改进是：所述hdmi数据传入接口至少3个，且所述hdmi数据传入接口的数量与视频phy控制器、hdmi接收模块的数量相同。
7.上述方案的进一步改进是：所述图像流处理模块包括若干图像流处理子系统，所述图像流处理子系统的数量与所述hdmi数据传入接口的数量一致；所述音频处理模块包括若干音频处理子系统，所述音频处理子系统的数量与所述hdmi数据传入接口的数量一致。
8.本发明的有益效果是：利用fpga来实现多路hdmi视频流的处理与采集，节省硬件成本与主板面积的同时，可将对视频的多种操作算子移植到fpga上，实时的对当前传输视频流进行实时处理并采集，提高操作的实时性；同时利用pcie通道实现对视频流的控制与传输，满足数据传输的敏捷性与高速性。实现了pcie接口对多通道hdmi接口视频流的数据处理与采集，且在传输过程中可实时处理视频数据，通过fpga的流水线设计可实时处理数据。
附图说明
9.图1是本发明是实施例的一种基于fpga的多路hdmi接口转pcie的视频处理与采集系统的结构示意图。
具体实施方式
10.实施例一本实施例的一种基于fpga的多路hdmi接口转pcie的视频处理与采集系统，用于连接采集设备，如图1所示，包括micblaze/zynq处理器、pcie解析模块、hdmi数据传入接口、视频phy控制器、hdmi接收模块、音频处理模块、图像流处理模块、视频混合器、混音器和流调度器；所述采集设备通过pcie解析模块与所述fpga相连，所述micblaze/zynq处理器通过命令接口与所述pcie解析模块相连，所述hdmi数据传入接口、所述视频phy控制器相连与所述hdmi接收模块依次相连，所述hdmi接收模块分别与所述音频处理模块和所述图像流处理模块相连，所述图像流处理模块与所述视频混合器相连，所述音频处理模块和所述混音器相连，所述视频混合器和所述混音器均与所述流调度器相连，所述流调度器与所述pcie解析模块相连。
11.所述micblaze/zynq处理器从所述pcie解析模块接收指令，所述指令包括板级支持包、驱动程序、终端控制器、事件触发。
12.所述hdmi数据传入接口至少3个，且所述hdmi数据传入接口的数量与视频phy控制器、hdmi接收模块的数量相同。如图1所示，本实施例中的数量为3。
13.所述图像流处理模块包括若干图像流处理子系统，所述图像流处理子系统的数量与所述hdmi数据传入接口的数量一致；所述音频处理模块包括若干音频处理子系统，所述音频处理子系统的数量与所述hdmi数据传入接口的数量一致。
14.各模块均受micblaze/zynq处理器的总调度，各模块作用如下：采集设备通过pci接口与fpga相连，经fpga的xdma解析为命令接口和数据流接口（fpga为主发送设备）。
15.micblaze/zynq处理器通过命令接口接收采集设备下传的指令，包含板级支持包（bsp），驱动程序、中断控制器、事件触发等。在视频流数据传输前对各模块进行初始化操作，并根据次指令通过控制接口1、控制接口2、控制接口3、控制接口4、控制接口5、控制接口6来控制各个子模块，可配置采样视频流的像素、单位时钟传输像素数、视频流/音频流操作方式等信息，可配置对多路图像进行视频处理，例如达到多路hdmi合成一路显示等操作。
16.hdmi in1~n:多路hdmi数据传入接口。
17.视频phy控制器:fpga的外围io相关控制块，用于接收hdmi数据。
18.hdmi接收模块:将传入hdmi信号进行解析，实现分离图像流与音频流等功能。
19.图像流处理子系统：则按照控制接口4传入指令对传入此模块图像进行缩放，去隔行、色彩空间转换和校正、色度重采样和帧速率等操作。
20.音频处理子系统：按照控制接口1传入指令对传入此模块音频进行转码。
21.vedio mixer（视频混合器）：负责对多路传入图像流按照配置进行视频流的总汇总，且可实现插入图像掩层等操作，可指定某路hdmi图像流进行输出，亦可按照调度顺序依次输出图像，由于pcie传输速率远远高于图像传输速度，故可实现多路hdmi转pcie的同时
输出。
22.audio mixer（混音器）：负责对多路传入音频流按照配置进行视频流的汇总。
23.流调度器：负责把图像流和音频流按照规则统一通过数据流接口传入pcie解析模块。
24.本发明不局限于上述实施例所述的具体技术方案，除上述实施例外，本发明还可以有其他实施方式。对于本领域的技术人员来说，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等形成的技术方案，均应包含在本发明的保护范围之内。


技术特征：
1.一种基于fpga的多路hdmi接口转pcie的视频处理与采集系统，用于连接采集设备，其特征在于：包括micblaze/zynq处理器、pcie解析模块、hdmi数据传入接口、视频phy控制器、hdmi接收模块、音频处理模块、图像流处理模块、视频混合器、混音器和流调度器；所述采集设备通过pcie解析模块与所述fpga相连，所述micblaze/zynq处理器通过命令接口与所述pcie解析模块相连，所述hdmi数据传入接口、所述视频phy控制器相连与所述hdmi接收模块依次相连，所述hdmi接收模块分别与所述音频处理模块和所述图像流处理模块相连，所述图像流处理模块与所述视频混合器相连，所述音频处理模块和所述混音器相连，所述视频混合器和所述混音器均与所述流调度器相连，所述流调度器与所述pcie解析模块相连。2.根据权利要求1所述的一种基于fpga的多路hdmi接口转pcie的视频处理与采集系统，其特征在于：所述micblaze/zynq处理器从所述pcie解析模块接收指令，所述指令包括板级支持包、驱动程序、终端控制器、事件触发。3.根据权利要求1所述的一种基于fpga的多路hdmi接口转pcie的视频处理与采集系统，其特征在于：所述hdmi数据传入接口至少3个，且所述hdmi数据传入接口的数量与视频phy控制器、hdmi接收模块的数量相同。4.根据权利要求3所述的一种基于fpga的多路hdmi接口转pcie的视频处理与采集系统，其特征在于：所述图像流处理模块包括若干图像流处理子系统，所述图像流处理子系统的数量与所述hdmi数据传入接口的数量一致；所述音频处理模块包括若干音频处理子系统，所述音频处理子系统的数量与所述hdmi数据传入接口的数量一致。

技术总结
本发明涉及一种基于FPGA的多路HDMI接口转PCIe的视频处理与采集系统，属于视频处理与采集系统技术领域。该系统包括Micblaze/zynq处理器、PCIe解析模块、HDMI数据传入接口、视频PHY控制器、HDMI接收模块、音频处理模块、图像流处理模块、视频混合器、混音器和流调度器。本发明实现了PCIe接口对多通道HDMI接口视频流的数据处理与采集，且在传输过程中可实时处理视频数据，通过FPGA的流水线设计可实时处理数据。据。据。


技术研发人员：牛晓威
受保护的技术使用者：山东芯慧微电子科技有限公司
技术研发日：2021.11.01
技术公布日：2021/12/16