沉浸式多媒体系统、沉浸式互动方法及可移动互动单元与流程

本发明涉及一种多媒体系统，尤其涉及一种沉浸式多媒体系统、沉浸式互动方法及可移动互动单元。

背景技术：

目前的一些协调、反应或感官训练产品可能采用的是利用手机或平板等诸如此类的电子产品来进行虚拟触碰或动作模拟的操作，以训练孩童及青年的注意力、反应力、肢体协调、感官识别与认知、知识应用、体适能等。此外，另一些反应训练产品可能采用的是利用虚拟现实(virtualreality，vr)、扩增实境(augmentedreality，ar)或搭配穿戴式电子产品来进行动作仿真。然而，这些训练产品大多需要由用户手持或穿戴相关设备及传感器才能进行其的训练操作，而限制了肢体活动的范围或训练的程度，因此在训练使用上可能造成使用者使用不便及效果不佳的情况。

技术实现要素：

有鉴于此，本发明是提供一种沉浸式多媒体系统、沉浸式互动方法以及可移动互动单元可提供具有良好用户体验的沉浸式互动情境，以通过沉浸式互动情境来有效地训练使用者的协调、反应或感官。

根据本发明的实施例，本发明的沉浸式多媒体系统适于在空间中提供沉浸式多媒体情境。空间包括墙面以及地面。沉浸式多媒体系统包括多个可移动互动单元、图像设备以及计算机装置。多个可移动互动单元设置在墙面以及地面的至少其中之一。图像设备用以在墙面以及地面的至少其中之一上显示图像画面。计算机装置连接于所述多个可移动互动单元以及图像设备，并且用以控制所述多个可移动互动单元以及该图像设备。所述多个可移动互动单元各别包括触控感测单元，并且由图像设备提供的图像画面响应于所述多个可移动互动单元的至少其中之一的触控感测单元感测到被触碰而改变。

根据本发明的实施例，本发明的沉浸式互动方法适于沉浸式多媒体系统。沉浸式多媒体系统适于在空间中提供沉浸式多媒体信息。空间包括墙面以及地面。沉浸式多媒体系统包括多个可移动互动单元、图像设备以及计算机装置。所述多个可移动互动单元设置在墙面以及地面的至少其中之一。沉浸式互动方法包括以下步骤：通过图像设备在墙面以及地面的至少其中之一上显示图像画面；以及响应于所述多个可移动互动单元的至少其中之一的触控感测单元感测到被触碰，改变图像设备提供的图像画面。

根据本发明的实施例，本发明的可移动互动单元适于设置在空间的墙面以及地面的至少其中之一，并且与计算机装置连接。墙面以及地面的至少其中之一设置有轨道机构。计算机装置控制可移动互动单元。可移动互动单元包括机壳、触控感测单元、磁铁以及发光单元。机壳包括透光板。触控感测单元设置在机壳内，并且设置在透光板下方。磁铁设置在机壳内，并且用于与设置在轨道机构的载具轨道上的载具的电磁铁结合。发光单元设置在机壳内，并且设置在透光板下方。可移动互动单元与载具连动而沿着载具轨道移动。

基于上述，本发明的沉浸式多媒体系统、沉浸式互动方法以及可移动互动单元可提供用户无须穿戴任何设备或传感器，并且可让一名或多名使用者同时参与沉浸式多媒体系统所提供的沉浸式互动体验。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是依照本发明的一实施例的沉浸式多媒体系统的电路方块图；

图2a是依照本发明的一实施例的沉浸式多媒体系统的空间示意图；

图2b是依照本发明的一实施例的可移动互动单元与轨道的设置示意图；

图3是依照本发明的一实施例的可移动互动单元与墙面的设置示意图；

图4是依照本发明的一实施例的可移动互动单元的电路方块图；

图5a是依照本发明的一实施例的可移动互动单元的正面外观示意图；

图5b是依照本发明的一实施例的可移动互动单元的侧面外观示意图；

图5c是依照本发明的一实施例的可移动互动单元的背面外观示意图；

图6是依照本发明的一实施例的沉浸式互动方法的流程图；

图7是依照本发明的第一实施例的沉浸式互动方法的流程图；

图8a是依照本发明的第一实施例的沉浸式互动情境的示意图；

图8b是依照本发明的第一实施例的另一沉浸式互动情境的示意图；

图8c是依照本发明的第一实施例的可移动互动单元的高度感测的示意图；

图8d是依照本发明的第一实施例的可移动互动单元的位置感测的示意图；

图9是依照本发明的第二实施例的沉浸式互动方法的流程图；

图10a是依照本发明的第二实施例的沉浸式互动情境的示意图；

图10b是依照本发明的第二实施例的另一沉浸式互动情境的示意图；

图10c至图10e是依照本发明的第二实施例的触控对象侦测的示意图；

图11是依照本发明的第三实施例的沉浸式互动方法的流程图；

图12a是依照本发明的第三实施例的沉浸式互动情境的示意图；

图12b是依照本发明的第三实施例的另一沉浸式互动情境的示意图；

图13a及图13b是依照本发明的第三实施例的沉浸式互动情境的图像画面的示意图。

附图标记说明

100:沉浸式多媒体系统；

110:计算机装置；

120_1～120_n、320、400、820_1～820_6:可移动互动单元；

130_1～130_n、330:载具；

140:图像设备；

121、122、123:阵列；

124:特定图案；

201、301、701、901、1101:墙面；

202、702、902、1102:地面；

203、303:轨道机构；

331:载具轮轴；

332:电磁铁；

401:透光面板；

403:开关；

404:usb充电接口；

405:磁吸式伸缩接脚；

406:橡胶脚垫；

410:控制器；

420:触控感测单元；

430:发光单元；

440:扬声器；

450:摄像单元；

460:红外线传感器；

470:磁铁；

801、802、1001、1002、1003、1201～1206:使用者；

1004:触控物件；

1011～1018:区域；

p1、p2、p3:方向；

s610～s620、s710～s770、s910～s960、s1110～s1170:步骤。

具体实施方式

现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同元件符号在附图和描述中用来表示相同或相似部分。

图1是依照本发明的一实施例的沉浸式多媒体系统的电路方块图。图2a是依照本发明的一实施例的沉浸式多媒体系统的空间示意图。图2b是依照本发明的一实施例的可移动互动单元与轨道的设置示意图。参考图1至图2b，沉浸式多媒体系统100包括计算机装置110、可移动互动单元120_1～120_n、载具130_1～130_n以及图像设备140，其中n为正整数。计算机装置110可例如是计算机主机、服务器主机或类似的主控端电子装置，并且计算机装置110连接(电性连接)于可移动互动单元120_1～120_n、载具130_1～130_n以及图像设备140，以控制可移动互动单元120_1～120_n、载具130_1～130_n以及图像设备140。计算机装置110可通过有线(例如cable)或无线(例如bluetooth)的方式来连接于可移动互动单元120_1～120_n、载具130_1～130_n以及图像设备140，而本发明并不限制其连接及通讯方式。

在本实施例中，沉浸式多媒体系统100适于在一个封闭或半封闭空间中提供沉浸式多媒体情境(如图2a)，其中所述空间可包括墙面201以及地面202。墙面201以及地面202的至少其中之一可设置有轨道机构203(如图2b)。在本实施例中，墙面201以及地面202内部可设置有机电整合动力系统，以带动可移动互动单元120_1～120_n在墙面201以及地面202上移动。举例而言，如图2b，可移动互动单元120_1～120_5可与相对应的载具结合后，而可依据计算机装置110的控制指令来任意地沿着轨道机构203而在墙面201以及地面202的至少其中之一移动。

在本实施例中，图像设备140可例如是设置在所述空间中的投影机，以投射交互式图像至墙面201以及地面202的至少其中之一。或者，在一实施例中，图像设备140可例如是设置在所述空间的墙面201以及地面202的至少其中之一的显示屏幕或显示面板，以在墙面201以及地面202的至少其中之一来显示交互式图像。值得注意的是，在本实施例中，可移动互动单元120_1～120_n可各别包括触控感测单元，并且由图像设备140提供的图像画面响应于可移动互动单元120_1～120_n的至少其中之一的触控感测单元感测到被触碰而改变。换言之，本实施例的沉浸式多媒体系统100可通过图像设备140来使所述空间呈现出沉浸式的情境，并且可通过设计好的图像内容来引导用户与可移动互动单元120_1～120_n进行互动。另外，所述空间中还可设置有喇叭，以搭配图像设备140所提供的图像画面来提供相应的声音效果。

图3是依照本发明的一实施例的可移动互动单元与墙面的设置示意图。参考图3，图1的可移动互动单元120_1～120_n以及载具130_1～130_n的任其中一组可如图3所示的可移动互动单元320以及载具330。在本实施例中，载具330各别包括载具轮轴331以及电磁铁332。载具330通过载具轮轴嵌设在载具轨道303中，并且载具330通过电磁铁332与对应的可移动互动单元320结合，以使载具330与可移动互动单元320连动而沿着载具轨道303移动。在本实施例中，可移动互动单元320的背面亦设置有磁铁，以通过磁力而与载具330的电磁铁332结合。并且，可移动互动单元320与载具330之间可间隔墙面301或地面(光滑面材墙壁或地板)或如上述的显示屏幕或显示面板。

图4是依照本发明的一实施例的可移动互动单元的电路方块图。参考图4，图1的可移动互动单元120_1～120_n的每一个的内部电路以及功能单元可如图4的可移动互动单元400。在本实施例中，可移动互动单元400可包括控制器410、触控感测单元420、发光单元430、扬声器440、摄像单元450以及红外线传感器460。控制器410连接(电性连接)触控感测单元420、发光单元430、扬声器440、摄像单元450以及红外线传感器460，以控制触控感测单元420、发光单元430、扬声器440、摄像单元450以及红外线传感器460来实现以下本发明各实施例的可移动互动单元操作与作动。

图5a是依照本发明的一实施例的可移动互动单元的正面外观示意图。图5b是依照本发明的一实施例的可移动互动单元的侧面外观示意图。图5c是依照本发明的一实施例的可移动互动单元的背面外观示意图。图5a至图5c为可移动互动单元400的一种外观设计范例。参考图4以及图5a，可移动互动单元400的正面可为平行于方向p2、p3延伸所形成的平面，并且朝向方向p1，其中方向p1、p2、p3彼此垂直。可移动互动单元400的正面可包括透光面板401，并且透光面板401下方可设置有摄像单元450以及红外线传感器460，并且还可包括触控感测单元420以及一个发光单元430或由多个发光单元430所形成的发光阵列。

参考图4以及图5b，可移动互动单元400的侧面可包括开关403以及usb充电接口404。参考图4以及图5c，可移动互动单元400的背面可包括扬声器440以及磁铁470，并且可移动互动单元400的背面还可进一步设置有磁吸式伸缩接脚405以及橡胶脚垫406。因此，可移动互动单元400可利用上述各功能单元来提供侦测用户的动作信息的功能，以及可引导用户与可移动互动单元400进行互动，以提升感官识别与认知能力。

图6是依照本发明的一实施例的沉浸式互动方法的流程图。参考图1以及图6，沉浸式多媒体系统100可执行本实施例的沉浸式互动方法。在步骤s610，沉浸式多媒体系统100可通过图像设备140在墙面以及地面的至少其中之一上显示图像画面。在步骤s620，沉浸式多媒体系统100可响应于多个可移动互动单元120_1～120_n的至少其中之一的触控感测单元感测到被触碰，来改变图像设备140提供的图像画面。因此，本实施例的沉浸式多媒体系统100可通过可移动互动单元120_1～120_n以及图像设备140来提供沉浸式的互动情境，并且以下将进一步提出三个范例实施例来说明本发明的沉浸式多媒体系统100可提供的操作情境。

图7是依照本发明的第一实施例的沉浸式互动方法的流程图。图8a是依照本发明的第一实施例的沉浸式互动情境的示意图。图8b是依照本发明的第一实施例的另一沉浸式互动情境的示意图。先参考图1、图7、图8a，在步骤s710，沉浸式多媒体系统100执行第一互动模式。在步骤s720，在第一互动模式中，图像设备140可在墙面701以及地面702的至少其中之一上显示图像画面，例如图8a在墙面701与地面702上显示森林背景图像。在步骤s730，计算机装置110可控制可移动互动单元120_1～120_n的至少其中之一发出音信以及颜色光。可移动互动单元120_1～120_n的发光单元可分别发出颜色光。可移动互动单元120_1～120_n的扬声器可分别发出音信。在步骤s740，计算机装置110可控制可移动互动单元120_1～120_n的至少一部分分别在墙面701以及地面702的至少其中之一上随机移动。

在步骤s750，计算机装置110可判断多个可移动互动单元120_1～120_n的至少其中之一的触控感测单元是否感测到被触碰。举例而言，使用者801可例如当可移动互动单元120_1通过扬声器发出虫鸣时，使用者801可依据虫鸣声音以及图像来找寻移动互动单元120_1，以触碰可移动互动单元120_1。在步骤s760，当可移动互动单元120_1的触控感测单元感测到被触碰时，计算机装置110停止移动被触碰的可移动互动单元120_1。在步骤s770，计算机装置110可通过图像设备140在墙面701以及地面702上对应于被触碰的可移动互动单元120_1～120_3的位置来显示特定图案。对此，特定图案例如虫、小鸟以及小狗或其他动物的图标。当用户801成功触碰可移动互动单元120_1～120_3时，上述的这些图标可被显示于可移动互动单元120_1～120_3。

再参考图1、图8b，第一互动模式亦可提供多人互动游戏效果。如图8b，依据上述图7的步骤s710～s770，计算机装置110可控制可移动互动单元120_2～120_n的至少其中之一发出音信以及颜色光。举例而言，使用者802、803可进行比赛来依据例如虫鸣、鸟叫或蛙叫等声音以及图像来找寻移动互动单元120_2～120_4，以触碰可移动互动单元120_2～120_4。并且，当可移动互动单元120_2～120_4，的触控感测单元感测到被触碰时，计算机装置110停止移动被触碰的可移动互动单元120_2～120_4。计算机装置110可通过图像设备140在墙面701以及地面702上对应于被触碰的可移动互动单元120_1～120_3的位置来显示特定图案。对此，特定图案例如虫、小鸟以及青蛙或其他动物的图标。因此，本实施例的第一互动模式可提供单人或多人进行交互式的训练或游戏，而提供具有良好使用者体验的沉浸式互动效果。

图8c是依照本发明的第一实施例的可移动互动单元的高度感测的示意图。图8d是依照本发明的第一实施例的可移动互动单元的位置感测的示意图。参考图8c，可移动互动单元820_1～820_3可例如通过红外线传感器来进行感测，而提供感测信息给计算机装置，以使计算机装置可依据计算的用户801的身高来调整可移动互动单元820_1～820_3的高度分布，例如调整可移动互动单元820_1～820_3的垂直移动范围的最高高度可被使用者801触碰。参考图8b，可移动互动单元820_41～820_5可例如通过的红外线传感器来进行感测，而提供感测信息给计算机装置110，以使计算机装置110可依据计算的使用者801的活动范围来调整可移动互动单元820_1～820_3的水平分布，例如调整可移动互动单元820_1～820_3的水平移动范围的而靠近使用者801，以便使用者801可接近而触碰之。因此，上述图8a及图8b的情境中的各个可移动互动单元可进行如图8c以及图8d的感测操作，而提供更佳的互动效果。

图9是依照本发明的第二实施例的沉浸式互动方法的流程图。图10a是依照本发明的第二实施例的沉浸式互动情境的示意图。图10b是依照本发明的第二实施例的另一沉浸式互动情境的示意图。先参考图1、图9、图10a，在步骤s910，沉浸式多媒体系统100执行第二互动模式。在第二互动模式中，图像设备140可在墙面901以及地面902的至少其中之一上显示图像画面，例如图10a在墙面901与地面902上显示大峡谷背景图像。在步骤s920，当墙面901以及地面902的多个可移动互动单元120_1～120_n的至少其中之一(例如可移动互动单元120_3)的触控感测单元感测到被触控对象(例如用户1001的手)触控时，计算机装置110可控制被触碰的可移动互动单元120_3移动而追随触控对象。在步骤s930，计算机装置110可通过被触碰的可移动互动单元120_3与多个可移动互动单元的一部分中的至少一未被触碰者的发光单元发出不同颜色光。在步骤s940，计算机装置110可控制多个可移动互动单元的一部分中的至少一未被触碰者朝被触碰的可移动互动单元120_3来移动。在步骤s950，计算机装置110可判断多个可移动互动单元的所述部分中的至少一未被触碰者是否接触到被触碰的可移动互动单元120_3。若无，则计算机装置110继续执行步骤s940。若有，在步骤s960，计算机装置110可停止移动被触碰的可移动互动单元120_3。

举例而言，显示设备140可例如将特定图案，例如小鸟的图标显示于可移动互动单元120_4。并且，当用户1001触碰可移动互动单元120_3时，可移动互动单元120_4将朝可移动互动单元120_3移动，并且小鸟的图标将追随可移动互动单元120_4而移动。对此，用户可尝试使可移动互动单元120_3不被可移动互动单元120_4触碰，因此使用者1001的手可维持在可移动互动单元120_3的前方，而使可移动互动单元120_3的红外线传感器可感测使用者1001的手的位移，而使计算机装置110控制可移动互动单元120_3进行相应的位移。

再参考图1、图10b，第二互动模式亦可提供多人互动游戏效果。如图10b，依据上述图9的步骤s910～s960，计算机装置110可控制可移动互动单元120_2～120_4的至少其中之一发出音信以及颜色光。可移动互动单元的组件符号的编排仅为举例说明。使用者1002、1003可进行比赛，例如使用者1002、1003分别触碰可移动互动单元120_1、120_3之后，图像设备140所显示于墙上901的老鹰图案或其他可移动互动单元可朝可移动互动单元120_1、120_3移动，而使用者1002、1003可比赛不被老鹰图案或其他可移动互动单元触碰。因此，本实施例的第二互动模式可提供单人或多人进行交互式的训练或游戏，而提供具有良好使用者体验的沉浸式互动效果。

图10c至图10e是依照本发明的第二实施例的触控对象侦测的示意图。参考图10a、图10c至图10e，在本实施例中，可移动互动单元120_3的摄像单元(例如图4的摄像单元450)可设置在可移动互动单元120_3的机壳上。并且，在第二互动模式中，被触碰的可移动互动单元120_3的摄像单元用以拍摄触控对象1004(例如用户的手)，并且被触碰的可移动互动单元120_3依据摄像单元所得的摄像图像中的多个区域1010～1018的多个亮度数值变化来判断触控对象1004的移动方向，并且被触碰的可移动互动单元120_3依据移动方向来相应地移动。

如图10c，可移动互动单元120_3的摄像单元可拍摄触控对象1004的多个区域1010～1018的图像，其中图像中的区域1010～1018具有相同或相近的亮度数值。在下一时间点，当触控对象1004移动，而如图10d时，可移动互动单元120_3的摄像单元可拍摄触控对象1004的多个区域1010～1018的图像，其中图像中的区域1010、1013、1016将改变为具有与区域1011、1012、1014、1015、1017、1018不同或差异较大的亮度数值。对此，计算机装置110可判断触控对象1004例如朝左移动，因此触控对象1004控制可移动互动单元120_3同样朝左移动。因此，在又下一时间点，当可移动互动单元120_3对应触控对象1004移动，而如图10e时，可移动互动单元120_3的摄像单元可拍摄触控对象1004的多个区域1010～1018的图像，其中图像中的区域1010～1018将回复为具有相同或相近的亮度数值。

图11是依照本发明的第三实施例的沉浸式互动方法的流程图。图12a是依照本发明的第三实施例的沉浸式互动情境的示意图。图12b是依照本发明的第三实施例的另一沉浸式互动情境的示意图。先参考图1、图11、图12a，在步骤s1110，沉浸式多媒体系统100执行第三互动模式。在第三互动模式中，图像设备140可在墙面1101以及地面1102的至少其中之一上显示图像画面，例如图12a的墙面1101与地面1102上显示特定游戏背景图像。在步骤s1120，计算机装置110可控制可移动互动单元120_1～120_n移动，而设置可移动互动单元120_1～120_n的第一部分在墙面1101，并且设置可移动互动单元120_1～120_n的第二部分在地面1102。

在步骤s1130，计算机装置110可控制可移动互动单元120_1～120_n移动，而设置可移动互动单元120_1～120_n的第一部分在墙面1101，并且设置多个可移动互动单元120_1～120_n的第二部分在地面1102。在步骤s1140，计算机装置110可控制可移动互动单元120_1～120_n的第二部分分别发出不同颜色的单色光，并且控制可移动互动单元120_1～120_n的第二部分分别在地面1102上随机移动。在步骤s1150，当可移动互动单元120_1～120_n的第二部分中的至少一可移动互动单元的触控感测单元感测到被触碰时，计算机装置110依据可移动互动单元120_1～120_n的第二部分中的被触碰的触控感测单元所发出的颜色光来混合决定混合颜色光，并且停止移动被触碰的可移动互动单元。

举例而言，可移动互动单元120_1～120_n的第一部分可排列组成一个特定阵列121并维持不动，并且图像设备140在特定阵列121周围可显示目标颜色。当使用者1201、1202、1203共同进行游戏，而触碰了可移动互动单元120_1～120_n的第二部分中的可移动互动单元120_1～120_3时，计算机装置110依据可移动互动单元120_1～120_3所分别发出的第一颜色光、第二颜色光以及第三颜色光来进行混色，而使特定阵列121中的可移动互动单元120_1～120_n的第一部分发出混合颜色光。换言之，使用者1201、1202、1203可判断特定阵列121中的可移动互动单元所显示的混色结果是否与特定阵列121周围所显示的目标色相同，来决定是否触碰其他可移动互动单元来使特定阵列121中的可移动互动单元所显示的混色结果与特定阵列121周围所显示的目标色相同。因此，在步骤s1160，计算机装置110可判断混合颜色光与目标颜色光是否相同。若否，则计算机装置110重新执行步骤s1150。若是，则计算机装置110执行步骤s1170。在步骤s1170，计算机装置110可通过图像设备140在图像画面中显示特定图案或特定文字。

再参考图1、图12b，第三互动模式亦可提供多人竞赛的游戏效果。如图12b，依据上述图11的步骤s1110～s1170，计算机装置110可控制可移动互动单元120_1～120_n移动，而设置可移动互动单元120_1～120_n的第一部分在墙面1101，并且设置多个可移动互动单元120_1～120_n的第二部分在地面1102。举例而言，举例而言，计算机装置110可将在地面1102的可移动互动单元120_1～120_n的第二部分进一步地分群为三群而供使用者1204～1206可进行比赛。对此，在墙面1101的可移动互动单元120_1～120_n亦可分群而应于使用者1204～1206各别的触碰的结果。因此，本实施例的第三互动模式可提供单人或多人进行交互式或竞赛式的训练或游戏，而提供具有良好使用者体验的沉浸式互动效果。

图13a及图13b是依照本发明的第三实施例的沉浸式互动情境的图像画面的示意图。参考图1以及图13a，本发明的第三实施例的沉浸式互动情境的另一种模式可如图13a所示。在图13a中，设置在墙面1101的可移动互动单元120_1～120_n的第一部分可进一步分群为第一阵列122以及第二阵列123，其中第一阵列122用于发出目标颜色光，并且第二阵列123用于发出混合颜色光。并且，当第一阵列122发出的目标颜色光与第二阵列123发出的混合颜色光相同时，如图13b，图像设备140在于墙面1101的图像画面中可显示特定图案124或特定文字，以提示其混色操作成功或其他训练信息。

综上所述，本发明的沉浸式多媒体系统、沉浸式互动方法以及可移动互动单元可提供用户无须穿戴任何设备或传感器而在封闭或半封闭空间中进行游戏、训练或竞赛等沉浸式互动体验。并且，本发明的沉浸式多媒体系统、沉浸式互动方法以及可移动互动单元还可让一名或多名使用者同时参与沉浸式互动体验，而提供多元的互动体验。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。