基于组态的多屏显示方法、装置、终端设备及存储介质与流程

本发明涉及组态、hmi技术领域，尤其涉及一种基于组态的多屏显示方法、装置、终端设备及存储介质。

背景技术：

组态和hmi是工业控制的重要人机界面。

截止目前，组态软件和hmi建立的画面，其分辨率以及画面大小与本机屏幕的分辨率以及画面大小相适配；并且当外部设备(如手机、ipad、pc等)远程访问本机时，外部设备显示的画面内容与pc本机或hmi本机显示的画面内容相同；无法发挥出外部设备访问本机时外部设备屏幕大小的优势，也无法使得外部设备所显示的画面与本机设备所显示的画面不同。

技术实现要素：

针对上述的技术问题，克服现有技术存在的不足，本发明提供基于组态或hmi的多屏显示控制方法、装置、终端设备及存储介质，实现不同类别的访问设备，在访问本机设备时所显示的画面不同，并且显示的画面可以适应访问设备屏幕的大小。

具体的，本发明一种基于组态的多屏显示方法，包括，

hmi主设备获取接入所述hmi主设备的外接显示设备的设备信息，其中，所述设备信息包括所述外接显示设备的画面分辨率和屏幕类型；所述hmi主设备中的组态工程包括本机画面和远程画面；每个所述外接显示设备对应一组所述远程画面；

所述hmi主设备判断所述组态工程内是否有与所述设备信息相匹配的所述远程画面；

若是，则输出所述远程画面至对应的所述外接显示设备；

若否，则输出所述本机画面至对应的所述外接显示设备。

作为进一步改进，每组所述远程画面均包括控制显示变量，所述控制方法还包括：当所述hmi主设备检测到所述远程画面的控制显示变量更新时，根据所述控制显示变量的数值，选取与所述控制显示变量的数值对应的所述远程画面进行输出。

作为进一步改进，所述外接显示设备为第一外接显示设备和第二外接显示设备，所述第一外接显示设备为可操作的显示设备，所述第一外接显示设备可以更改所述第二外接显示设备的控制变量；当所述hmi主设备检测到所述第二外接显示设备的控制显示变量的数值更新时，根据所述第二外接显示设备的控制显示变量的数值，选取与其对应的所述第二外接显示设备的显示图像输出给所述第二外接显示设备；其中，所述第一外接显示设备当前显示的图像设置有提供给用户更新所述第二控制显示变量的标识。

作为进一步改进，所述远程画面包括启动画面，当所述hmi主设备确定所述外接显示设备有与所述远程画面对应的设备信息时，优先输出所述启动画面。

作为进一步改进，所述外接显示设备接入所述hmi主设备的方式包括物理连线接入方式和网络接入方式；其中，所述物理连线接入方式包括hdmi和vga；所述网络接入方式包括互联网和局域网。

本发明提供一种基于组态的多屏显示装置，包括：

hmi主设备、若干外接显示设备；

所述hmi主设备包括组态软件、获取单元、处理单元；

所述组态软件，用于预置本机画面和远程画面，所述远程画面与外接显示设备的设备信息相匹配，所述设备信息包括画面分辨率和屏幕类型；

所述获取单元，用于获取所述外接显示设备的设备信息；

所述处理单元，用于判断组态工程中是否有与所述设备信息相匹配的所述远程画面；

若是，则输出所述远程画面至所述外接显示设备；

若否，则输出所述本机画面至所述外接显示设备。

作为进一步改进，所述hmi主设备进一步包括，

控制显示变量检测单元，用于检测所述远程画面的控制显示变量是否发生变化；

当所述控制显示变量的数值更新时，根据所述控制显示变量的数值，选取与所述控制显示变量的数值对应的远程画面，将其输出至对应的所述外接显示设备。

作为进一步改进，所述外接显示设备为第一外接显示设备和第二外接显示设备；所述第一外接显示设备为可操作的显示设备；所述第一外接显示设备包括控制显示变量更改单元，所述控制显示变量更改单元用于更改所述第二外接显示设备的控制显示变量；当所述第二外接显示设备的控制显示变量更新时，根据所述第二外接显示设备的控制显示变量的数值对应的远程画面，将其输出至所述第二外接显示设备。

一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。

一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述的方法。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例整体流程示意图；

图2为b类屏幕与第一远程画面相匹配的画面展示示意图。

图3为f类屏幕未与任一远程画面相匹配的画面展示示意图。

图4例举了一种各类屏幕与hmi主设备的连接示意图。

图5例举了一种启动画面选取示意图。

图6例举了一种d类屏幕更改b类屏幕第一控制显示变量的示意图。

图7为本发明第二实施例整体流程示意图；

图8为本发明第四、第五、第六实施例的装置示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

首先对本发明实施例中出现的名词做出解释，

“设备信息”，可以包括第一数据以及第二数据，其中所述第一数据为外接显示装置的装置类型，例如，是电视、显示器、手机、平板电脑等；所述第二数据为外接显示装置的屏幕大小，例如，某些电视的屏幕大小32寸，某些手机的屏幕大小为7寸。

hmi主设备，从硬件上来说，是指可以运行组态工程的设备，即包括了普通计算机、工业计算机，还包括了嵌入式设备和智能设备。

所述外接显示设备，是指具有显示功能的各种设备，即包括了具有单一显示功能的显示屏幕，如显示器、普通电视等，也包括了包含显示功能的各种智能设备和计算机设备，如pc机、平板电脑、手机等。

本发明提供多种实施例，具体的,请参阅图1，图1为本发明的第一种实施例，提供了一种基于组态的多屏显示方法，包括以下步骤：

s10，hmi主设备获取接入所述hmi主设备的外接显示设备的设备信息，其中，所述设备信息包括所述外接显示设备的画面分辨率、画面大小以及屏幕类型；所述hmi主设备中的组态工程包括本机画面和远程画面；每个所述外接显示设备对应一组所述远程画面；

屏幕类型，例如，是电视、显示器、手机、平板电脑等；画面大小，例如，32寸、7寸；画面分辨率例如1920*1024.本机画面以及远程画面是通过组态软件预先编辑入组态工程的画面；所述外接显示设备接入所述hmi主设备的方式包括物理连线接入方式和网络接入方式；其中，所述物理连线接入方式包括hdmi和vga；所述网络接入方式包括互联网和局域网。

s20，所述hmi主设备判断所述组态工程内是否有与所述设备信息相匹配的所述远程画面；

若是，则输出所述远程画面至所述外接显示设备；

若否，则输出所述hmi主设备的本机画面至所述外接显示设备。

在组态工程中预设有远程画面大小，这是因为不同种类的外接显示装置的大小、分辨率不同。例如，电视的显示屏大小和分辨率分别为32寸、1920*1080。在组态工程中，将类型为电视的显示装置对应的远程画面大小和分辨率统一设定为32寸和1920*1080，若外接的电视屏幕大小不等于32寸或分辨率不为1920*1080时，对于普通的外接显示设备(如电视)，通过hmi主设备调整远程画面分辨率的方式调整远程画面的大小，对于智能设备(如手机、平板)，可以将画面进行自适应缩放，以实现远程画面平铺于整个外接屏幕的效果。所述远程画面格式可以包括网页(hmtl)、矢量图片(svg)、普通的图片(jpeg、png)、动态图片(gif)或者视频(mp4、avi)等，值得注意的是，上述所提及的远程画面格式类型并不限定本实施例的远程画面格式类型。

优选的，在本实施例中，所述远程画面包括启动画面，当确定有所述远程画面对应的设备信息时，优先输出所述启动画面。

相应的，在步骤s20后增设步骤s21，

s21，判断所述预存远程画面是否包括启动画面；

若是，则输出所述启动画面至对应的外接设备中，

若否，则按一定的规则(如按画面添加顺序)输出所述远程画面组中的画面至对应的外接设备中。

优选的，在本实施例中hmi主设备可以设置画面类型，所述画面类型包括多张宫格类以及单张显示类；其中，多张所述宫格类，在外接显示设备中一次平铺显示某一组远程画面的多张画面；所述单张显示类，在外接显示设备中一次只展示一张远程画面；

相应的，在步骤s20后增设步骤s21’，

s21’，判断所述装置类型对应的所述画面类型；

若所述画面类型为多张宫格类，则在对应的外接显示设备上一次平铺显示多张画面；

若所述画面类型为单张显示类，则在对应的外接显示设备一次只显示一张画面。

为方便理解实施例，在这里对实施例进行举例说明。本领域技术人员应当理解的是，实施例的举例说明仅是为了方便理解实施例，但并不用于限制实施例的方案。请参阅图2、图3、图4，在hmi主设备的组态工程中包括hmi主设备本机画面以及远程画面；不同种类的外接显示设备对应有不同的远程画面；hmi主设备与外接显示设备相互连接，hmi主设备获取与其相连接的外接显示设备的设备信息，通过设备信息中的“屏幕类型”判断组态工程中是否有与其相对应的远程画面；若有，则显示远程画面；若无，则显示本机画面。

假设，hmi主设备的显示屏幕为a类屏幕，电视屏幕为b类屏幕，pc显示器屏幕为c类屏幕，手机屏幕为d类屏幕，平板电脑为e类屏幕；组态工程中包括与b类屏幕相匹配的第一远程画面组；与c类屏幕相匹配的第二远程画面组；与d类屏幕相匹配的第三远程画面组；与e类屏幕相匹配的第四远程画面组。当c类屏幕与hmi主设备相连通时，c类屏幕显示第二远程画面组中的画面；b类屏幕、d类屏幕以及e类屏幕接入hmi主设备时所展示的画面根据上述对应关系以此类推。当hmi主设备与f类屏幕相连通时，因组态工程中并未包括与f类屏幕相匹配的远程画面组，f类屏幕显示a类屏幕画面。请参阅图3，所述远程画面包括启动画面以及其它显示图像，

第一远程画面组包括(画面001、画面002、画面003)；

第二远程画面组包括(画面004、画面005、画面006、画面007)；

第三远程画面组包括(画面008、画面009、画面010)；

其中，画面001为第一远程画面组的启动画面；画面004为第二远程画面组的启动画面；画面008为第三远程画面组的启动画面。当b类屏幕接入hmi主设备时，组态工程优先调取画面001输出至b类屏幕。这样的方式方便了b类屏幕接入hmi主设备时，b类屏幕所显示的第一张画面的合理性。

例如，画面001内容为xx企业；画面002内容为xx企业的主要销售产品；画面003内容为xx企业的联系方式、主要负责人。可以发现画面001、画面002、画面003存在一定的逻辑顺序，只有按照正规的逻辑顺序001-002-003展现最为合适，故设定001为启动画面。

s30，每组所述远程画面均包括控制显示变量，当检测到所述远程画面的控制显示变量更新时，根据所述控制显示变量的数值，选取与所述控制显示变量的数值对应的所述远程画面进行输出。

屏幕中画面的展示分为很多种情况，例如多画面同时平铺于同一屏幕内可参考九宫格显示、四宫格显示等。其中，九宫格显示九张画面、四宫格显示四张画面；又例如屏幕一次只显示一张画面需要切换画面(可参考幻灯片的切换)。

结合上述后者的画面展示方式以及本实施例中的举例，假设，

第一控制显示变量对应b类屏幕；第一控制显示变量为b包括b1、b2；画面001对应变量b1，画面002对应变量b2；第二控制显示变量为c，第三控制显示变量为d；

在第本实施例中，使用者既可以在组态工程中通过脚本命令调用方式，来设置b类屏幕的显示画面。也可以在组态工程通过设定第一控制显示变量控制画面001、画面002、画面003的切换顺序，实现b类屏幕展示画面的自动切换。在通过第一控制显示变量控制画面切换的方式中，画面的切换不一定是画面001-画面002(b1-b2)，也可以是画面001-画面002(b2-b1)等任意一种形式。

结合上述前者的画面展示方式以及本实施例中的举例，假设，

b类屏幕是以三宫格方式显示多张远程画面时，可通过第一控制变量控制九宫格画面中某一远程画面的变量，使得三宫格中某一宫格的显示画面切换，也可在进一步设定宫格控制变量调整b类屏幕所述显示的宫格数量，类似于三宫格变九宫格。

请参阅图7，本发明第二实施例，在上述第一个实施例的基础上，将所述s30替换为s30’其余部分均不改变；

s30’，所述外接显示设备为第一外接显示设备和第二外接显示设备，所述第一外接显示设备为可操作的显示设备，第一外接显示设备可以更改所述第二外接显示设备的控制变量；当检测到所述第二外接显示设备的控制显示变量的数值更新时，根据所述第二外接显示设备的控制显示变量的数值，选取与其对应的所述第二外接显示设备的显示图像输出给所述第二外接显示设备；其中，所述第一外接显示设备当前显示的图像设置有提供给用户更新所述第二控制显示变量的标识。

请参阅图6，为方便理解实施例，在这里对实施例进行举例说明。本领域技术人员应当理解的是，实施例的举例说明仅是为了方便理解实施例，但并不用于限制实施例的方案。假设，b类屏幕、d类屏幕分别与hmi主设备相连接；第一外接显示设备的屏幕为b类屏幕，第三外接显示设备的屏幕为d类屏幕；其中d类屏幕可设置b类屏幕的控制显示变量(b1、b2)实现b类屏幕所展示画面的切换。这里值得注意的是，本实施例所提到的d类屏幕不仅为手机，也可以为任何可操作的显示设备。同样，为便于理解，本发明中仅以两个外接显示设备为例，但应当理解的是，本发明同样适用于三个乃至于更多个外接显示设备的情景。在该种情景下，通过本发明所述的控制方法，可以通过一个外接显示设备来控制两个乃至更多个其他外接显示设备。

本发明第三实施例，本发明的第三实施例包括本发明第一实施例、第二实施例的全部步骤，s10、s20、s21、s21’、s30、s30’，值得注意的是，s30与s30’并不冲突，是可以同时存在的。

请参阅图8，本发明第四实施例提供了一种基于组态的多屏显示装置，包括：hmi主设备、若干外接显示设备；所述hmi主设备包括组态软件、获取单元、处理单元以及主显示屏；所述组态软件用于预置本机画面和远程画面，所述远程画面与外接显示设备的设备信息相匹配，所述设备信息包括画面分辨率和屏幕类型；所述获取单元用于获取所述外接显示设备的所述设备信息；所述主显示屏用于显示所述hmi主设备的所述本机画面。所述处理单元用于判断组态工程中是否有与所述设备信息相匹配的所述远程画面；

若是，则输出所述远程画面至所述外接显示设备；

若否，则输出所述本机画面至所述外接显示设备。

优选的，所述hmi主设备进一步包括，控制显示变量检测单元，用于检测所述远程画面的所述控制显示变量是否发生变化；当所述控制显示变量的数值更新时，根据所述控制显示变量的数值，选取与所述控制显示变量的数值对应的远程画面，将其输出至对应的外接显示设备。

请参阅8，本发明第五实施例提供了一种基于组态的多屏显示装置，包括：hmi主设备、若干外接显示设备；所述hmi主设备包括组态软件、获取单元、处理单元以及主显示屏；所述组态软件用于预置本机画面和远程画面，所述远程画面与外接显示设备的设备信息相匹配，所述设备信息包括画面分辨率和屏幕类型；所述获取单元用于获取所述外接显示设备的所述设备信息；所述主显示屏用于显示所述hmi主设备的所述本机画面。所述处理单元用于判断组态工程中是否有与所述设备信息相匹配的所述远程画面；

若是，则输出所述远程画面至所述外接显示设备；

若否，则输出所述本机画面至所述外接显示设备。

优选的，所述外接显示屏为第一外接显示设备和第二外接显示设备，所述第一外接显示设备为可操作的显示设备；所述第一外接显示设备包括控制显示变量更改单元，所述控制显示变量更改单元用于更改所述第二外接显示设备的控制显示变量，当所述第二外接显示设备的控制显示变量更新时，根据所述第二外接显示设备的控制显示变量的数值对应的远程画面，将其输出至所述第二外接显示设备。

请参阅图8，本发明第六实施例提供了一种基于组态的多屏显示装置，包括本发明第四实施例以及第五实施例所提及的设备以及单元。

本发明第七实施例还提供了一种终端设备，该实施例的基于hmi多屏显示的终端设备包括，处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序，例如实现多屏显示系统的程序；

示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本实施例。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在多屏显示系统的控制方法终端设备中的执行过程。

所述基于hmi的多屏显示终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。

所述基于hmi的多屏显示终端设备可包括，但不仅限于，处理器、存储器、显示器。本领域技术人员可以理解，所述示意图仅仅是基于hmi的多屏显示终端设备的示例，并不构成对基于hmi的多屏显示终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如基于hmi的多屏显示终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是基于hmi的多屏显示终端设备的控制中心，利用各种接口和线路连接整个基于hmi的多屏显示终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现基于hmi的多屏显示终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、文字转换功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、文字消息数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，基于hmi的多屏显示终端设备集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。