一种多机共享的多屏显示控制系统及方法与流程

1.本发明涉及图像多屏显示技术领域，尤其涉及一种多机共享的多屏显示控制系统及方法。


背景技术：

2.在多媒体应用场景中(如多媒体教学，视频会议等)，图像(包括单帧画面和视频)显示控制存在以下需求：
3.1.视频信号切换：将多个输入信号源按需切换到各个不同的显示设备上。
4.2.图像合成：将多个画面合成为一个显示画面，并输出到显示设备。
5.3.图像预览：在控制面版上，以窗口的方式显示一路或多路的信号源。
6.目前主要采用的视频切换矩阵大都采用asic视频矩阵芯片完成，当信号输入和输出端口增加时，将导致asic视频矩阵芯片的数量以及连接关系急剧增加，这将极大地增加了矩阵电路的复杂性，提高系统的成本。
7.对于图像合成过程，主要由软件或者专用ic，或者fpga完成。由于功能模块相对独立，在与视频切换矩阵对接时连接将及其复杂，并增加了对矩阵端口的数量的要求，将增加系统的复杂性和成本。
8.对于图像预览过程，现有的图像预览过程主要是通过主cpu通过图像采集端口进行图像采集，然后由软件处理后再渲染到控制界面的窗口中。如果要同时预览多路，必须同时采集多路视频信号，或者增加图像合成模块，即将多路信号先合成一路然后再进行采集。因其本身的复杂性和过高的成本都限制了实际工程中的应用推广。
9.对于具有多主机的显示设备，在带有触摸功能的显示屏上预览其他主机画面时，触摸信号是由显示屏所述的主机驱动的，所以在预览界面上并无法直接操作其他主机，导致在多机和多屏交互的场景中的实际应用存在较大的局限性。


技术实现要素：

10.本发明的目的在于提供一种多机共享的多屏显示控制系统及方法，从而解决现有技术中存在的前述问题。
11.为了实现上述目的，本发明采用的技术方案如下：
12.一种多机共享的多屏显示控制系统，包括控制面板、至少两个主机、两个显示设备、前端处理模块和应用处理器，其中，所述控制面板、所述主机、所述显示设备和所述应用处理器均与所述前端处理模块相连；
13.所述控制面板用于实现人机交互；
14.所述主机用于输入视频或图像信号到所述前端处理模块，也能够接收所述前端处理模块所发出的触屏指令；
15.所述显示设备用于显示所述前端处理模块输出的视频或图像，也能够触发触控指令并发送给所述前端处理模块；
16.所述前端处理模块上设置有接收各个端口输入的各路信号，并对获取到的各路信号进行处理；
17.所述应用处理器通过控制端口与所述前端处理模块通信连接，能够获取前端处理设备传输的多路图像，制定前端处理模块所需要的图像、视频显示控制指令并发送给所述前端处理模块。
18.优选的，所述前端处理模块上设置有面板接口、主机接口、显示接口和控制端口，所述面板接口用于连接控制面板，所述主机接口用于连接主机，包括显示输入端口和触控输出端口；所述显示接口用于连接显示设备，包括显示输出端口和触屏输入端口；所述控制端口用于与所述应用处理器相连。
19.优选的，所述前端处理模块上还设置有图像采集端口和应用界面端口，所述图像采集端口用于通过所述应用处理器的图像输入端向所述应用处理器传输处理后的多路图像、视频信号，所述应用界面端口用于接收由所述应用处理器图像输出端输出的应用界面。
20.优选的，所述前端处理模块包括主控模块、输入适配模块、输出驱动模块、ddr、video dma和mixer，所述主控模块通过与所述控制端口接收到所述应用处理器发出的控制指令后，设置所述输入适配模块、所述输出驱动模块、所述ddr、所述video dma和所述mixer的工作参数和工作方式，也能够驱动所有触屏输入端口上的控制面板和显示设备，接收并处理所有触屏输入端口上的触控输入事件；所述输入适配模块用于接收各端口的图像、视频输入信号，并将不同格式的图像、视频输入信号统一转换格式后传送给所述video dma；所述video dma对接收到的图像、视频输入信号存储到ddr中；所述mixer通过video dma读取相应的视频图像信号，根据设定的输出格式对图像、视频信号进行处理后，通过所述输出驱动模块输出。
21.优选的，所述驱动所有触屏输入端口上的控制面板和显示设备，接收并处理所有触屏输入端口上的触控输入事件具体为：读取触控事件在全触屏的坐标信息，再根据当前对应的显示屏上画面的内容，判断该坐标属于哪台主机的内容；将触控事件的全屏的绝对坐标转换根据所属画面的窗口位置和大小，转换为窗口内的相对坐标，然后封装成新的触控事件，通过触屏输出端口发送给相应的主机。
22.优选的，所述输入适配模块接收各端口的图像、视频输入信号，并将不同格式的图像、视频输入信号统一转换为axi4
‑
stream格式格式；所述mixer通过video dma读取相应的视频信号，根据设定的输出参数，对图像、视频信号进行处理的方式包括对图像进行缩放、合成、拼接和叠加中的至少一种。
23.优选的，根据设定的输出参数，对图像、视频图像信号进行处理具体为：根据输入的参数，设定mixer的各路视频图像来源在ddr中frame buffer的地址，以及在合成后的各路画面的显示位置，由mixer形成一路合成后的axi4
‑
stream的视频流，再送入到相应接口的输出驱动中，按照实际接口的标准输出最终合成后的画面内容。
24.优选的，所述应用处理器制定前端处理模块所需要的图像、视频显示控制指令包括单画面输出和多画面输出，其中，
25.所述单画面输出指令具体为直接选取前端处理模块中一路显示输入直通至所述显示输出设备；
26.所述多画面输出指令具体为将根据显示要求，将多路显示输入画面经过所述前端
处理模块进行处理后同时显示。
27.本发明的另一个目的在于提供一种多机共享的多屏显示方法，采用所述的多机共享的多屏显示系统实现，包括以下步骤：
28.a1，应用处理器根据应用场景通过主控端口制定设置视频图像显示控制指令，确定前端处理模块上每个外接显示屏需要显示的内容，同时确定是单画面输出还是多画面输出，包括显示设备的显示器和控制面板上的液晶屏；
29.a2，若是单画面输出，则前端处理模块直接为每个显示屏上选取相应一路图像、视频图像信号进行显示；若是多画面输出，则前端处理模块需要对多路主机接入的视频图像信号进行缩放、叠加、拼接和合成处理后，再按照规定的显示格式输出到显示屏上进行显示；
30.a3，前端处理模块记录每个显示屏上的信号源，以及每个信号源所显示的位置信息。
31.本发明的最后一个目的在于提供一种多机共享的多屏控制方法，采用上述多机共享的多屏显示系统，包括以下步骤：
32.a1,用户根据应用场景通过显示设备中的触摸屏或控制面板的触摸屏发生触控事件，若是通过显示设备中的触摸屏发生触控事件，则进入步骤b2；若是控制面板的触摸屏发生触控事件，则进入步骤b4；
33.b2,外接触控信号通过前端处理模块中的触控输入端口以hid协议传入前端处理模块；
34.b3，所述前端处理设备读取触控事件在全触屏的坐标信息，该模块根据当前的显示区域的信号源，判断出所属区域的主机，并进行相应的坐标转换后，再将触控事件重新封装成hid协议，发送给对应的主机；
35.b4，当控制面板上未进行窗口预览时，触控事件将直接传给应用处理器进行处理；当控制面板上有预览窗口时，前端处理模块将预览窗口外的触控事件透传给应用处理器，而预览窗口内的事件则封装为hid协议传送给相应的外接主机处理。
36.本发明的有益效果是：
37.本发明公开了一种多机共享的多屏显示控制系统及方法，该系统包括控制面板、至少两个主机、显示设备、前端处理模块和应用处理器，其中，前端处理模块基于fpga构建，采用融合视频切换矩阵，根据应用处理器的指令对多路输入图像进行图像缩放、拼接和多图层叠加的图像显示，将图像处理和矩阵切换功能融为一体，可以较低的成本实现视频矩阵，图像处理和预览的功能，极大简化在构建图像显示控制相关产品的设计，并降低整体的成本和功耗；同时前端能够准确定位触屏事件的坐标，并进行路由处理，可以实现在显示屏上同时对多机进行交互处理，极大增强了相关应用的体验感。
附图说明
38.图1是实施例1中提供的多机共享的多屏显示控制系统结构图；
39.图2是实施例1中提供的前端处理模块功能结构图；
40.图3是实施例2中提供的多机共享的多屏触屏控制流程图；
具体实施方式
41.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
42.实施例1
43.本实施例提供了一种多机贡献的多屏显示控制系统，如图1所示，包括控制面板、至少两个主机、两个显示设备、前端处理模块和应用处理器，其中，所述控制面板、所述主机、所述显示设备和所述应用处理器均通过接口与所述前端处理模块相连；
44.所述控制面板用于实现人机交互，控制面板的应用界面由应用处理器绘制，并通过应用处理器的图像输出接口输入到前端处理模块；
45.所述主机用于输入视频或图像信号到所述前端处理模块，也能够接收所述前端处理模块所发出的触屏指令；
46.所述显示设备用于显示所述前端处理模块输出的视频或图像，也能够触发触控指令并发送给所述前端处理模块；
47.所述前端处理模块上设置有接收各个端口输入的各路信号，并对获取到的各路信号进行处理；
48.所述应用处理器通过控制端口与所述前端处理模块通信连接，能够获取前端处理设备传输的多路图像，制定前端处理模块所需要的图像显示控制指令并发送给所述前端处理模块。
49.如图1可知，所述前端处理模块上设置有面板接口、主机接口、显示接口、图像采集端口、应用界面端口和控制端口，所述面板接口用于连接控制面板，可以全屏或者窗口预览的方式实现其他视频源信号的预览：其中，窗口预览：应用处理器绘制控制面板的主界面时预留预览窗口，通过控制端口将预览窗口的位置和大小告知前端处理模块，由模块直接在前端处理模块通过mixer将其他视频源的图像叠加到窗口上进行显示。全屏预览的实现方式则与其他显示设备的显示输出端口实现方式一致。
50.所述主机接口用于连接主机，包括显示输入端口和触控输出端口，其中显示输入端口用于接入主机的显示输出，形成一路视频信号源；触控输出端口用于将控制面板或者显示设备的触控事件输出给主机进行处理；
51.所述显示接口用于连接显示设备，包括显示输出端口和触屏输入端口，显示输出端口用于输出驱动显示屏显示的视频信号；触屏输入端口用于接入触摸屏的输入事件，并根据相应的显示屏的内容路由到对应的主机或者嵌入式系统进行处理。
52.所述图像采集端口用于通过所述应用处理器的图像输入端向所述应用处理器传输处理后的多路图像信号，用于实现图像录制或者远程互动等应用。所述应用界面端口用于接收由所述应用处理器图像输出端输出的应用界面；所述控制端口用于与所述应用处理器相连。
53.本实施例中的所述前端处理模块包括主控模块、输入适配模块、输出驱动模块、ddr、video dma和mixer，所述主控模块通过与所述控制端口接收到所述应用处理器发出的控制指令后，设置所述输入适配模块、所述输出驱动模块、所述ddr、所述video dma和所述mixer的工作参数和工作方式，也能够驱动所有触屏输入端口上的控制面板和显示设备，接
收并处理所有触屏输入端口上的触控输入事件；读取触控事件在全触屏的坐标信息，再根据当前对应的显示屏上画面的内容，判断该坐标属于哪台主机的内容；将触控事件的全屏的绝对坐标转换根据所属画面的窗口位置和大小，转换为窗口内的相对坐标，然后封装成新的触控事件，通过触屏输出端口发送给相应的主机。
54.所述输入适配模块用于接收各端口的图像输入信号，并将不同格式的图像输入信号统一转换格式后传送给所述video dma；所述video dma对接收到的图像输入信号存储到ddr中；所述mixer通过video dma读取相应的视频信号，根据设定的输出格式对图像信号进行处理后，通过所述输出驱动模块输出。
55.本实施例中，所述输入适配模块接收各端口的图像输入信号，并将不同格式的图像输入信号统一转换为axi4
‑
stream格式格式；所述mixer通过video dma读取相应的视频信号，根据应用处理器通过控制端口设置在所述前端处理模块中的显示屏输出参数，对图像信号进行处理的方式包括对图像进行缩放、合成、拼接和叠加中的至少一种。
56.根据应用处理器所输入的参数，设定mixer的各路视频源在ddr中frame buffer的地址，以及在合成后的各路画面的显示位置，由mixer形成一路合成后的axi4
‑
stream的视频流，再送入到相应接口的输出驱动中，按照实际接口的标准输出最终合成后的画面内容。
57.本实施例中，对于所述应用处理器制定前端处理模块所需要的图像显示控制指令包括单画面输出和多画面输出，其中，
58.所述单画面输出指令具体为直接选取前端处理模块中一路显示输入直通至所述显示输出设备；
59.所述多画面输出指令具体为将根据显示要求，将多路显示输入画面经过所述前端处理模块进行处理后同时显示。
60.实施例2
61.本实施例提供了一种多机共享的多屏显示方法，采用实施例1中记载的多机共享的多屏显示控制系统实现，具体包括以下步骤：
62.a1，应用处理器根据实际的应用场景，确定前端处理模块上每个外接显示屏和控制面板需要显示的内容，同时确定是单画面输出还是多画面输出，以及每个画面的信号源，缩放比例等内容。然后通过主控端口将图像显示控制指令下发到前端处理模块；通过控制指令，应用处理器可以设置单个屏幕或者控制面板的显示内容，也可以同时设置多个屏幕的显示内容；
63.a2.前端处理模块记录每个显示屏上的信号源，以及每个信号源所显示的位置信息；
64.a3.前端处理模块汇总所有屏幕输出信号所需要的信号源，配置输入适配层，选通对应的端口，将输入的图像统一转换为axi4
‑
stream格式的数据流输出，其中，对于单画面输出的信号源，将axi4
‑
stream格式的数据流直接送入到输出驱动子模块进行输出；
65.对于多画面输出的信号源，则在ddr中为其分配frame buffer，和vdma输出通道，由vdma将axi4
‑
stream格式的数据流写入到frame buffer中。
66.a4.前端处理模块配置输出驱动子模块，如果为单画面输出，则选取输入的axi4
‑
stream格式的数据流，由输出电路转换为该接口对应的格式输出。如果是多画面输出，则为该接口分配vdma输入通道，和mixer模块，由vdma从ddr中读取所需的图像数据，然后由
mixer将多路axi4
‑
stream的图像数据流进行图像缩放，然后合成为一路，最后送入输出电路转换该接口对应的格式输出。
67.在显示屏或控制面板上有画面显示的情况下，可以通过触屏进行操作，包括以下步骤：；
68.b1,用户通过显示设备中的触摸屏或控制面板的触摸屏发生触控事件，若是通过显示设备中的触摸屏发生触控事件，则进入步骤b2；若是控制面板的触摸屏发生触控事件，则进入步骤b4；
69.b2,外接触控信号通过前端处理模块中的触控输入端口以hid协议传入前端处理模块；
70.b3，所述前端处理设备读取触控事件在全触屏的坐标信息，该模块根据当前的显示区域的信号源，判断出所属区域的主机，并进行相应的坐标转换后，再将触控事件重新封装成hid协议，发送给对应的主机；
71.b4，当控制面板上未进行窗口预览时，触控事件将直接传给应用处理器进行处理；当控制面板上有预览窗口时，前端处理模块将预览窗口外的触控事件透传给应用处理器，而预览窗口内的事件则封装为hid协议传送给相应的外接主机处理。
72.需要注意的是，本发明中的创新点主要在于以下几点内容：
73.1.对于多端口的视频切换矩阵和画面叠加过程，本发明在fpga中实现矩阵切换和图像合成上进行集成，简化了设计。
74.2.在控制面板上，目前所有的做法都是由cpu将所有需要的视频源采集进来，再由显卡进行渲染。这样在处理输出的画面和输入的触控事件上均有cpu统一处理，但是系统的开销比较大。
75.而本方案，是将画面合成和触控事件的分发交由前端进行处理，无需cpu对预览画面进行图像采集，再由显卡集中渲染，直接在前端由硬件(fpga)通过图层叠加的方式，进行画面融合。
76.同时，触控事件现有的方案也是由cpu统一处理，然后根据控制画面的窗口实现事件的分发。这个方案是由前端根据各个图层的坐标和来源(主机)，实现事件的分发，简化了在cpu这端的处理。
77.3.控制面板的显示输入和触控输出处理的方案，扩展到其他的外接显示屏上，同时实现了多个屏同时进行多个主机交互的处理过程。
78.通过采用本发明公开的上述技术方案，得到了如下有益的效果：
79.本发明公开了一种多机共享的多屏显示控制系统及方法，该系统包括控制面板、至少两个主机、显示设备、前端处理模块和应用处理器，其中，前端处理模块基于fpga构建，采用融合视频切换矩阵，根据应用处理器的指令对多路输入图像进行图像缩放、拼接和多图层叠加的图像显示，将图像处理和矩阵切换功能融为一体，可以较低的成本实现视频矩阵，图像处理和预览的功能，极大简化在构建图像显示控制相关产品的设计，并降低整体的成本和功耗；同时前端能够准确定位触屏事件的坐标，并进行路由处理，可以实现在显示屏上同时对多机进行交互处理，极大增强了相关应用的体验感。
80.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应
视本发明的保护范围。