基于FPGA的多协议多种分辨率的多源视频信号实时拼接方法

本发明属于图像处理，具体涉及一种基于fpga的多协议多种分辨率的多源视频信号实时拼接方法及系统。

背景技术：

1、一张图像都是由一个一个的像素点组成，以图1中的小方格表示，由r(红色)、g(绿色)和b(蓝色)这三种颜色组合而成。1920*1080指的是一帧图像的像素数量是1920*1080个，也就是这个屏幕一列1080个像素点，一共1920列，每个像素点的读写顺序如蓝色箭头所指向的“从左往右，自上而下”，如图1所示。960*540，1920*1080，1280*720等数值指的是图像分辨率。

2、多画面的实时监控在大多情况下使用的是同一种协议(如四路hdmi信号)作为拼接的视频源，而随着应用环境愈加复杂，多画面的实时监控需要兼容更多的接口协议来提供足够的视频信号源。实现不同协议的视频拼接，除了需要满足不同协议下的数据编、解码要求，更重要的是如何处理不同协议视频源数据的写入与读取。

3、有鉴于此，提出一种基于fpga的多协议多种分辨率的多源视频信号实时拼接方法及系统是非常具有意义的。

技术实现思路

1、为了解决上述存在的技术缺陷问题，实现不同协议下视频图像的拼接显示，满足更加复杂应用需求，本发明提供一种基于fpga的多协议多种分辨率的多源视频信号实时拼接方法及系统，可以实现将hdmi、光纤、以太网、摄像头作为视频输入源，最后将在同一个画面上呈现四路视频。

2、第一方面，本发明提出了一种基于fpga的多协议多种分辨率的多源视频信号实时拼接方法，该方法包括如下步骤：

3、响应于将多路不同分辨率的图像缩小到相同大小的分辨率；

4、将图像缩小后的视频信号进行拼接，拼接包括写入存储和读取拼接两部分；

5、所述写入存储将多路不同分辨率的视频分时存入ddr内存中，所述读取拼接在读出时进行图片的拼接操作。

6、优选的，所述写入存储具体包括：

7、通过判断输入的视频图像的缓存情况作为ddr内存写入的选通条件，即每当某个dram内缓存的数据接近一行的数据量后，通过状态机开始将该行数据从dram中读出并存入指定的ddr内存的页空间中；

8、将不同输入源的图像存入不同的所述页空间中，为每个视频源分别分配四个所述页空间用于缓存各自的几帧图像，当一帧图像数据存入后，满足预设条件后进行页地址自增。

9、进一步优选的，多路不同分辨率包括四路输入视频源，分别为双目摄像头、hdmi、以太网和光纤输入的视频，当多个dram同时满足读出条件时，优先级顺序由大到小依次为：双目摄像头、光纤、以太网、hdmi。

10、优选的，还包括控制读和写的时序，即在写操作还未向ddr内存入完整的一帧图像时，读操作读取缓存好的页空间，而不读取正在写的页空间。

11、优选的，所述读取拼接包括：

12、选择读出的所述页空间为每个输入源对应的缓存完的页空间，保证读出图像的稳定性；

13、每行数据进行两次读地址操作，根据输出图像延迟后的场同步信号、数据有效信号上升沿作为输出数据第一次读地址操作的标志，第一次读数据操作结束之后进行第二次读地址操作。

14、进一步优选的，所述读取拼接还包括写端口的页地址切换，即写完一帧图像且写页地址加一不与读页地址冲突时，写页地址加一，具体包括：

15、假设读页地址为1表明正在从ddr的页1中读取图像各点的像素值，写页地址为3表示正在向ddr内对应的地址写数据；

16、若页3已完成一帧图像的写入，而此刻页1还在进行读出操作，那么下一次进行写操作的空间页0与正在读取的页1不在同一页，那么此时写页地址加一，即接着向页0内写数据，覆盖原来缓存的一帧；

17、相反的，若页0也写完了，而页1仍在进行读操作，说明此时写时钟比读时钟快很多，此时写的页地址不加一，而是继续向页1内写数据，覆盖写好的一帧图像。

18、进一步优选的，所述读取拼接还包括读端口的页地址切换，具体包括：

19、若一帧图像读取完成且加一后的页地址不是正在写的“页”地址，则写页地址加一；

20、若加一后与写页地址冲突，则重复读取当前页。

21、第二方面，本发明实施例还提供一种基于fpga的多协议多种分辨率的多源视频信号实时拼接系统，该系统包括：

22、图像缩小模块，配置用于将多路不同分辨率的图像缩小到相同大小的分辨率；

23、写入存储模块，配置用于将多路不同分辨率的视频分时存入ddr内存中；

24、读取拼接模块，配置用于在读出时进行图片的拼接操作。

25、第三方面，本发明实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。

26、第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

27、与现有技术相比，本发明的有益成果在于：

28、(1)本发明提出一种基于fpga的多协议多种分辨率的多源视频信号实时拼接方法，实现不同协议下视频图像的拼接显示，满足更加复杂应用需求，可以实现将hdmi、光纤、以太网、摄像头作为视频输入源，最后将在同一个画面上呈现四路视频。

29、(2)在ddr写入端进行多帧图像缓存，可以输入任意分辨率图像，不局限于同一种协议下的视频信号存储；读出部分实现ddr读出端进行图像拼接，可以使得拼接过程更加灵活，代码移植性好。

技术特征：

1.一种基于fpga的多协议多种分辨率的多源视频信号实时拼接方法，其特征在于，该方法包括如下步骤：

2.根据权利要求1所述的基于fpga的多协议多种分辨率的多源视频信号实时拼接方法，其特征在于，所述写入存储具体包括：

3.根据权利要求2所述的基于fpga的多协议多种分辨率的多源视频信号实时拼接方法，其特征在于，多路不同分辨率包括四路输入视频源，分别为双目摄像头、hdmi、以太网和光纤输入的视频，当多个dram同时满足读出条件时，优先级顺序由大到小依次为：双目摄像头、光纤、以太网、hdmi。

4.根据权利要求1所述的基于fpga的多协议多种分辨率的多源视频信号实时拼接方法，其特征在于，还包括控制读和写的时序，即在写操作还未向ddr内存入完整的一帧图像时，读操作读取缓存好的页空间，而不读取正在写的页空间。

5.根据权利要求1所述的基于fpga的多协议多种分辨率的多源视频信号实时拼接方法，其特征在于，所述读取拼接包括：

6.根据权利要求5所述的基于fpga的多协议多种分辨率的多源视频信号实时拼接方法，其特征在于，所述读取拼接还包括写端口的页地址切换，即写完一帧图像且写页地址加一不与读页地址冲突时，写页地址加一，具体包括：

7.根据权利要求6所述的基于fpga的多协议多种分辨率的多源视频信号实时拼接方法，其特征在于，所述读取拼接还包括读端口的页地址切换，具体包括：

8.一种基于fpga的多协议多种分辨率的多源视频信号实时拼接系统，其特征在于，该系统包括：

9.一种电子设备，包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一所述的方法。

技术总结
本发明提出了一种基于FPGA的多协议多种分辨率的多源视频信号实时拼接方法及系统，包括：响应于将多路不同分辨率的图像缩小到相同大小的分辨率；将图像缩小后的视频信号进行拼接，拼接包括写入存储和读取拼接两部分；所述写入存储将多路不同分辨率的视频分时存入DDR内存中，所述读取拼接在读出时进行图片的拼接操作。实现不同协议下视频图像的拼接显示，满足更加复杂应用需求，可以实现将HDMI、光纤、以太网、摄像头作为视频输入源，最后将在同一个画面上呈现四路视频；在DDR写入端进行多帧图像缓存，可以输入任意分辨率图像，不局限于同一种协议下的视频信号存储；读出部分实现DDR读出端进行图像拼接，可以使得拼接过程更加灵活，代码移植性好。

技术研发人员：郭伟杰,林仁辉,邹明杰,谭兴柏,吕毅军,陈忠
受保护的技术使用者：厦门大学
技术研发日：
技术公布日：2024/1/15