一种智能数字电视交互方法及系统与流程

本发明涉及到电视领域，具体涉及到一种智能数字电视交互方法及系统。

背景技术：

激光电视是采用激光光源作为显示光源并配合前投影显示技术成像，配备专用投影幕，可接收广播电视节目或互联网电视节目的投影显示设备。与传统的投影机相比，具有寿命长、安全性高、观看舒适性良好、抗环境光能力强等特点，适合用于多种场合。

在一些大规模会议、演讲、演唱会等环境下，由于激光电视的投影大小限制，一些距离激光电视较远的与会者或观众无法很好的看到激光电视的投影影像，激光电视的播放音频虽然可以通过音响系统进行广播，但是由于距离问题，会产生音视频不同步的现象。此外，由于激光电视是单方面的播放视频和音频，与会者和观众很难参与其中，主讲人也较难与与会者产生互动。

技术实现要素：

为了克服现有激光电视的不足，本发明提供了一种智能数字激光电视交互方法及系统，具有同步播放性能好、互动性能好、扩展性能强等特点。

相应的，本发明提供了一种智能数字激光电视交互方法，包括以下步骤：

所述智能数字激光电视基于路由模块连接一个以上的客户端设备；

所述智能数字激光电视投影识别图像辅助所述一个以上的客户端设备实现像素匹配；

所述智能数字激光电视基于通讯模块接收主屏数字信号和副屏数字信号；

所述智能数字激光电视播放所述主屏数字信号并基于所述路由模块发送所述副屏数字信号至所述一个以上的所述客户端设备；

所述智能数字激光电视基于所述路由模块接收所述一个以上的所述客户端设备的反馈信号；

所述智能数字激光电视基于通讯模块将所述反馈信号传输至云服务器。

所述智能数字激光电视基于路由模块连接一个以上的客户端设备包括以下步骤：

所述智能数字激光电视基于路由模块进行无线局域网广播；

所述一个以上的客户端设备接入所述无线局域网并分配有唯一的局域网地址。

所述智能数字激光电视投影识别图像辅助所述一个以上的客户端设备实现像素匹配包括以下步骤：

智能数字激光电视投影识别图像至投影幕上；

所述一个以上的客户端设备分别拍摄包含所述识别图像在内的识别照片；

所述一个以上的客户端设备分别从所述识别照片中识别出识别图像的投影影像轮廓，并在所述客户端设备的触控显示屏上缩放至预设大小；

所述一个以上的客户端设备将所述缩放后的投影影像轮廓上传至所述智能数字激光电视；

所述智能数字电视基于所述缩放后的投影影像轮廓调整传输至各个客户端设备的副屏影像大小。

所述主屏数字信号包括主屏视频信号、主屏音频信号，所述副屏数字信号包括副屏视频信号、副屏音频信号和副屏控制信号；

所述副屏视频信号与所述主屏视频信号相同，或所述副屏视频信号与所述主屏视频信号不同；

所述副屏音频信号与所述副屏视频信号相对应；

所述副屏控制信号用于限制客户端设备的操作规则和反馈规则。

所述客户端设备接收所述副屏数字信号后，将所述副屏视频信号显示在所述缩放后的投影影像轮廓内，将所述副屏音频信号基于音频输出模块输出，并基于所述副屏信号在所述缩放后的投影影像轮廓外部或内部虚拟出操作按钮。

所述智能数字激光电视基于所述路由模块接收所述一个以上的所述客户端设备的反馈信号包括：

所述一个以上的客户端设备基于所述反馈规则生成反馈信号；

所述一个以上的客户端设备基于客户端通讯模块将所述反馈信号传输至路由模块。

所述客户端设备基于通讯模块将所述反馈信号传输至云服务器包括以下步骤：

所述智能数字激光电视基于通讯模块，分别将所述反馈信号以及对应的客户端设备局域网地址传输至云服务器。

相应的，本发明还提供了一种智能数字激光电视交互系统，用于实现以上其中一项的智能数字激光电视交互方法。

所述智能数字激光电视交互系统包括

云服务器：用于发送主屏数字信号和副屏数字信号，接收智能数字激光电视转发的反馈信号；

智能数字激光电视：用于生成无线广播供客户端设备连接，接收云服务器的主屏数字信号并播放，接收云服务器的副屏数字信号并转发至客户端设备，接收客户端设备的反馈信号并转发至云服务器；

客户端设备：用于接收所述云服务器转发的副屏数字信号进行播放，建立操作规则和反馈规则，并基于所述反馈规则生成反馈信号发送至智能数字激光电视。

所述智能数字激光电视包括

播放模块：用于解析并播放所述主屏数字信号

路由模块：用于生成无线广播供客户端设备连接；

通讯模块：用于接收云服务器的主屏数字信号，接收云服务器的副屏数字信号并转发至客户端设备，接收客户端设备的反馈信号并转发至云服务器；

所述客户端设备包括

拍照模块：用于拍摄包含所述识别图像在内的识别照片；

客户端通讯模块：用于接收所述云服务器转发的副屏数字信号，发送反馈信号至智能数字激光电视；

客户端处理器模块：用于识别照片的投影影像边框识别，将副屏数字信号解析为副屏视频信号、副屏音频信号和副屏控制信号，将副屏控制信号解析为操作规则和反馈规则，并基于所述操作规则生成虚拟按钮和基于所述反馈规则生成反馈信号；

触控显示屏模块：用于在投影影像边框内播放副屏视频信号和显示虚拟按钮；

音频输出模块：用于播放副屏音频信号。

本发明提供了一种智能数字电视交互方法及系统，通过简单的匹配方式，可实现在客户端设备上播放智能数字激光电视的视频信号和音频信号，每一位客户端设备用户均可清晰的获取智能数字激光电视播放内容，在一些大面积的会议等场合具有良好的实用性；通过副屏控制信号，可以有效的与每一位客户端设备的使用者产生互动，有利于增加客户端设备的使用者的参与度；进一步的，客户端设备的操作副屏音、视频内容可根据需求进行变化，可与智能数字激光电视的播放信号不一致，从而实现更多方面的功能，具有良好的扩展性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了本发明实施例的智能数字激光电视交互方法流程图；

图2示出了本发明实施例的智能数字激光电视交互方法系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

一种智能数字激光电视交互方法，包括以下步骤：

s101：所述智能数字激光电视基于路由模块连接一个以上的客户端设备；

具体的，路由模块具有无线广播功能，以提供连接入口供客户端设备连接；一个以上的客户端设备基于各自的无线通讯模块扫描后，获取智能数字激光电视的路由模块的无线广播ssid，通过认证后实现关联；路由模块在认证过程中会通过预设的地址池向每一个客户端设备分配一个局域网地址，该局域网地址是智能数字激光电视标识客户端设备的唯一信息。基于信息安全考虑，在智能数字激光电视的路由模块的角度，通过局域网地址可以清楚识别出连接的设备数量，并可通过局域网地址与客户端设备发生交互，但却无法直接获取客户端设备的信息。

s102：所述智能数字激光电视投影识别图像辅助所述一个以上的客户端设备实现像素匹配；

智能数字激光电视的显像是通过投影实现的，一般需配备专用的投影幕才能够保证投影影像的清晰，因此，激光电视的投影影像是落在投影幕上的。一般的，激光电视的投影像素大小较客户端设备的显示屏像素要大。如果将激光电视的投影影像直接通过无线传输的方式传送给客户端设备，会造成带宽的大量浪费以及增加了客户端设备的影像处理压力；为了减少带宽的占用和减少客户端的处理器压力，需要对客户端设备的显像大小进行像素匹配。

具体的像素匹配方法包括以下步骤：

s201：智能数字激光电视投影识别图像至投影幕上；

具体的，由于数字激光电视的投影范围稳定，无论投影影像的内容是怎样的，通过动态对比处理可较为容易的识别出投影影像的轮廓，但是，考虑到目前的客户端设备主要为手机、平板电脑等移动设备，处理能力与计算机处理能力相比较差，且手持录像的稳定性太差，画面抖动较为明显，处理起来较为麻烦；因此，常采用静态拍照的方式进行激光电视投影影像轮廓的获取。

为了进一步的减少激光电视投影影像轮廓的获取难度，本发明实施例的数字激光电视的识别图像采用纯色背景，且在投影影像的轮廓(边缘)设置至少为100像素宽度的与所述纯色背景颜色差异较大的边框，便于客户端设备识别。

具体的，由于背景幕一般为白色的，因此，边框可采用黑色，纯色背景可采用白色、浅黄色、浅灰色等与黑色对比度较大的颜色。

s202：所述一个以上的客户端设备分别拍摄包含所述识别图像在内的识别照片；

s203：所述一个以上的客户端设备分别从所述识别照片中识别出识别图像的投影影像轮廓，并在所述客户端设备的触控显示屏上缩放至预设大小；

具体的，需要客户端设备拍摄的识别照片中识别出投影影像轮廓，从而在客户端设备的触摸显示屏上划分出显示区和控制区。具体的，从识别照片中识别出投影影像轮廓的具体步骤包括：

识别照片预处理：由于彩色图像中包含的信息量较大，会增加识别算法的工作量，导致客户端设备的计算过程过长和处理器发热，因此，需要对彩色图像进行灰度化处理。在彩色图像中，每个像素点都由红(r)绿(g)蓝(b)3个颜色分量组成，且每个分量都有255种值可取，其中0表示最暗黑色，255表示最亮白色，因此，灰度图像每个像素只需一个字节存放灰度值。本发明实施例中，采用加权平均法作为识别照片预处理方法，该预处理方法需要结合yuv的颜色空间，其中y表示图像亮度等级(又称gray灰阶值)。一般的，由于人眼对各种颜色的敏感度不一致，为了使灰度值尽可能的与人眼观察效果相同，经过长期试验可得，y与r、g、b建立对应关系为gray＝0.11b+0.59g+0.3r；图像预处理后，彩色的识别照片转化为灰度的识别照片；

识别照片滤波：识别图像的处理往往会引入噪声，一方面可能是由于客户端设备的成像系统、传输过程或记录设备的不完善造成的；另一方面，输入对象未达预期效果也会引入噪声，如背景幕上有干扰点、光线分布不均。识别图像中的噪声信号以无用信息的形式，对识别图像的轮廓提取进行扰乱。同时，还要考虑在去除目标和背景中的噪声影响的同时，尽量保证投影影响的边框的形状、大小和特定的几何结构特征不发生改变。具体的，图像滤波可抑制识别照片中的图像噪声，同时又能够尽量保留识别照片中的投影影像边框的细节特征。本发明实施例识别投影影像边框的目的是为了实现投影区域的提取，为了减少使用者的等待时间，需要尽可能快速的完成该过程。虽然中值滤波虽然在图像处理方面具有较大优势，但其耗时较长；高斯滤波法是线性平滑滤波，具有可控性，且能有效保存边框的图像信息，虽然部分细节会出现模糊，但是由于本发明实施例的识别照片中，最终所需求的为投影影像的边框(色块)，因此，本发明实施例采用高斯滤波对识别照片进行滤波处理。

本发明实施例的识别照片滤波采用二维零均值离散高斯函数作平滑滤波器，二维高斯函数为

其中，a是规范化系数，ux,uy为半高斯梯度，σ表示高斯曲线的平滑程度。

识别照片黑白处理：识别照片经过滤波后，图片中剩余的为灰度显示的纯色背景、边框、背景幕；通过步骤s102可知，当边框采用黑色时，灰度值为0；根据灰度计算公式gray＝0.11b+0.59g+0.3r，当纯色背景颜色选择为纯蓝色、纯绿色或纯红色时，灰度值分别为26、150、77，因此，为了能够准确区别纯色背景与边框的灰度，采用灰度值20作为二分点，用于边框与纯色背景的划分。

具体的，灰度值低于小于或等于20的像素点灰度值取值为0，灰度值大于20的像素点灰度值取值为255，此时，灰度识别照片转化为黑白识别照片。

相应的，可使用灰度值20作为临界点，确定步骤s201中的识别图像的背景颜色，识别图像的背景颜色灰度值应大于20。

边框提取：通过识别照片的黑白处理后，识别照片中的最外圈黑色像素点即为投影影像轮廓。

然后根据客户端设备的触控显示屏大小，将投影影像轮廓缩放为合适的大小，便于客户端设备在触控显示屏上显示客户端设备的交互界面。一般的，为了能够模拟出清晰的按键，投影影像轮廓占触控显示屏显示面积百分比最大值为90％。

s204：所述一个以上的客户端设备将所述缩放后的投影影像轮廓上传至所述智能数字激光电视；

s205：所述智能数字电视基于所述缩放后的投影影像轮廓调整传输至各个客户端设备的副屏影像大小。

相应的，所述一个以上的客户端设备将所述缩放后的投影影像轮廓实际上传的是各个客户端设备上的投影影像轮廓的实际大小，即智能数字激光电视的原始的投影影像轮廓在客户端设备上的实际大小，通过计算可得出原始的投影影像轮廓在客户端设备上的换算比例，根据换算比例，可直接输出与客户端设备相匹配的影像至客户端设备上，避免了带宽的浪费和减轻了客户端设备的运算负载。

s103：所述智能数字激光电视基于通讯模块接收主屏数字信号和副屏数字信号；

s104：所述智能数字激光电视播放所述主屏数字信号并基于所述路由模块发送所述副屏数字信号至所述一个以上的所述客户端设备；

所述智能数字激光电视基于通讯模块从云端服务器接收用于自身播放的主屏数字信号和用于客户端设备播放的副屏数字信号；

主屏数字信号经解码后，得到主屏视频信号和主屏音频信号，智能数字激光电视直接播放屏视频信号和主屏音频信号；而副屏数字信号，则经过智能数字激光电视的路由模块转发至客户端设备。

具体的，副屏数字信号包括副屏视频信号、副屏音频信号和副屏控制信号。同理，客户端设备可直接播放所述副屏视频信号和副屏音频信号；进一步的，副屏视频信号显示在经过缩放后的投影影像轮廓内，副屏音频信号基于音频输出模块进行输出；而副屏控制信号则用于限制客户端设备的操作规则和反馈规则。

具体的，副屏视频信号和副屏音频信号可以与智能数字激光电视的主屏视频信号和主屏音频信号相同的，也可以根据场合的选择切换成不同的，取决于所需要实现的功能。例如，一张长表格，智能数字激光电视无法完全显示出来，而客户端设备的使用者的副屏显示信号中存在一张大于客户端设备触控更显示屏的长表格，使用者可根据目的对该长表格进行拖动而不影响智能数字激光电视的投影情况；例如，不同客户端设备使用者的浏览权限不一样，部分信息具有一定的权限限制，可根据客户端设备使用者的身份进行一定程度的筛选，在不同的客户端设备上显示不同权限的信息；例如，智能数字激光电视播放一首歌曲，为了照顾大部分人的需求，歌曲是无法重复拖动播放的；如果客户端设备使用者有需要，可以在客户端设备上重复将该歌曲随意拖动控制播放。

具体的操作规则是指在当前副屏视频信号和副屏音频信号下可允许的操作，例如，副屏控制信号中包括有具有特定功能的按钮信息，客户端设备在接收副屏控制信号后，在经过缩放后的投影影像轮廓外部或内部虚拟出相应的按钮，使用者可通过点击按钮产生操作；一些不被允许的操作规则由于虚拟按钮的缺失，无法实现；通过操作规则的控制，可以在特定的影像中提供特定的功能，从而实现智能化的交互。

相应的，反馈规则与操作规则是相对应的。例如，操作影像中显示一道选择题，操作规则则提供四个选项选择按钮，相应的，反馈规则限定了反馈的内容只能是四个选项选择按钮中的其中一个或多个。

通过操作规则和反馈规则的设置，可以有效的简化客户端设备所需要传输的信息流内容，减少带宽占用，便于智能数字激光电视接收、处理和上传。

s105：所述智能数字激光电视基于所述路由模块接收所述一个以上的所述客户端设备的反馈信号；

s106所述智能数字激光电视基于通讯模块将所述反馈信号传输至云服务器。

客户端设备的反馈信号是基于反馈规则生成的，在时间上是具有一定的差异性的，因此，为了保证传输的实时性，通常直接将反馈信号打包，并基于通讯模块上传至云服务器进行运算，而不是在智能数字激光电视上进行计算。

相应的，智能数字激光电视的信号源除了包括自身所需的主屏数字信号外，还包括有副屏数字信号；所述主屏数字信号可基于一般的电视信号获取方式进行获取，而副屏数字信号则需要通过有线网络、无线网络等第三方途径进行获取；因此，理想的，主屏数字信号和副屏数字信号都是基于智能数字激光电视的通讯模块获取的，以保证其同步性。

相应的，本发明实施例提供了一种智能数字激光电视交互系统，包括

云服务器：用于发送主屏数字信号和副屏数字信号，接收智能数字激光电视转发的反馈信号；

智能数字激光电视：用于生成无线广播供客户端设备连接，接收云服务器的主屏数字信号并播放，接收云服务器的副屏数字信号并转发至客户端设备，接收客户端设备的反馈信号并转发至云服务器；

客户端设备：用于接收所述云服务器转发的副屏数字信号进行播放，建立操作规则和反馈规则，并基于所述反馈规则生成反馈信号发送至智能数字激光电视。

具体的，智能数字激光电视包括

播放模块：用于解析并播放所述主屏数字信号

路由模块：用于生成无线广播供客户端设备连接；

通讯模块：用于接收云服务器的主屏数字信号，接收云服务器的副屏数字信号并转发至客户端设备，接收客户端设备的反馈信号并转发至云服务器；

客户端设备包括

拍照模块：用于拍摄包含所述识别图像在内的识别照片；

客户端通讯模块：用于接收所述云服务器转发的副屏数字信号，发送反馈信号至智能数字激光电视；

客户端处理器模块：用于识别照片的投影影像边框识别，将副屏数字信号解析为副屏视频信号、副屏音频信号和副屏控制信号，将副屏控制信号解析为操作规则和反馈规则，并基于所述操作规则生成虚拟按钮和基于所述反馈规则生成反馈信号；

触控显示屏模块：用于在投影影像边框内播放副屏视频信号和显示虚拟按钮；

音频输出模块：用于播放副屏音频信号。

本发明实施例提供了一种智能数字电视交互方法及系统，通过简单的匹配方式，可实现在客户端设备上播放智能数字激光电视的视频信号和音频信号，每一位客户端设备用户均可清晰的获取智能数字激光电视播放内容，在一些大面积的会议等场合具有良好的实用性；通过副屏控制信号，可以有效的与每一位客户端设备的使用者产生互动，有利于增加客户端设备的使用者的参与度；进一步的，客户端设备的操作副屏音、视频内容可根据需求进行变化，可与智能数字激光电视的播放信号不一致，从而实现更多方面的功能，具有良好的扩展性。

以上对本发明实施例所提供的一种智能数字电视交互方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。