一种视频控制智能设备互动系统及方法与流程

本发明涉及机器人控制技术领域，尤其是一种视频控制智能设备互动系统及方法。

背景技术：

人机交互技术随着智能设备的广泛应用越来越受到研究人员和用户的重视，其交互技术的普适性将会影响机器人在生产，参与人的生活的效能。通常现有智能设备内置有实现相应动作的程序，人与智能设备交互可以通过控制器可实现对机器人的控制，也可通过图形化编程界面等编程方式，对智能设备进行快速编程。

如申请号为201510563584.8的中国发明专利，公开一种人机交互方法，该人机交互方法包括：获取含有深度信息的使用者手部的待测图像序列；在待测图像序列的每帧图像中检测出使用者的手部轮廓；利用预设的手部结构模板，在待测图像序列的每帧图像中确定每只手的待测特征点序列；在多个预设特征点序列中确定每只手的待测特征点序列的匹配序列，以确定每只手的动作名称和位置；在预设手势表中选择与使用者双手的动作名称和位置相匹配的手势；根据预设操作指令表，确定与已识别手势对应的操作指令；对与确定的操作指令相关的设备进行与该操作指令对应的操作。上述技术能够在人机交互过程中准确识别使用者的手势，识别精度较高，而且识别速度较快。

再如申请号为201510740815.8的中国发明专利，公开一种带有情绪及表情模块的3d视频互动机器人，包括：输入模块，用于接收用户行为以及用户资料；情绪模块，根据用户资料以及当前的用户行为，得出机器人相应的情绪种类以及情绪等级，并反馈相应的情绪数据给处理模块；表情模块，根据情绪种类以及情绪等级，查找符合相应情绪数据的3d人物动作动画以及语音；输出模块，显示相应的3d人物动作动画，同时播报3d人物的语音；处理模块，对各模块进行协调控制。本发明功能丰富，还能支持日常的各种机器人提醒、新闻推送、协助记录，录音，代替进行互联网数据搜索，检索，协助拨通电话，附近好友、附近美食等功能。

不管是通过内置的程序控制，还是通过采用上述专利公开的控制方式，人都可以与智能设备实现自然交互，但是浸入感不强，不能获得较好的临场感。尤其在采用智能机器人仿真教学或娱乐的过程中，机器人动作需要和视频中的主教动作保持一致，才能给人带来更高的娱乐性。比如机器人教学或互动玩具等，在为人类服务过程中，保持跟教学视频或影片中主角动作一致，将为人带来更好的真实感，以及额外的愉悦感。

技术实现要素：

本发明的目的在于提供一种视频控制智能设备互动系统，使用该互动系统的互动方法能够使智能设备在对应时间点上同步动作。

为解决上述技术问题，本发明采用的技术方案是：一种视频控制智能设备互动系统，其特征在于：包括有：

编辑器，用于播放视频并编辑控制代码，生成带有动作代码的控制文件；

播放器，与智能设备连接，用于播放视频与传输视频时间轴信息；

数据读取模块，用于读取控制控制文件中对应时间点的动作代码；

动作解码器，用于识别动作代码并转换为对应的智能设备控制指令，发送给智能设备控制器。

进一步地，加载所述编辑器的终端为手机或电脑，加载所述播放器的终端为手机、电脑、平板电脑、vr眼镜、全息视频投影仪、投影仪、电视、mp4播放器中的一种或多种。

本发明还提供一种采用上述视频控制智能设备互动系统的互动方法，其特征在于：包括如下步骤：

s1：将制作好的代码库和指令库分别导入编辑器和动作解码器中；

s2：通过编辑器终端根据视频文件内容进行编辑，在视频播放至每一个需要智能设备同步动作的时间点时，点击动作编辑按钮，选择代码库中的动作代码并插入，形成一个与当前播放时间点匹配的动作代码信息，所有需同步动作的时间点编辑完成后，生成控制文件；

s3：播放器终端与智能设备连接，并将控制文件导入到播放器终端或智能设备中，通过播放器终端播放视频时，由设置在播放器终端或智能设备中的数据读取模块读取到控制文件，当视频播放时间点上同步的控制文件时间点上存在动作代码时，将动作代码发送给动作解码器；

s4：动作解码器识别动作代码并转换为对应的智能设备控制指令，发送给智能设备控制器，控制智能设备完成预定动作。

进一步地，所述代码库和指令库由智能设备编程工程师根据动作要求制作。

进一步地，所述播放器终端通过蓝牙、wifi、手机无线通讯网、zigbee、usb、串口、以太网中的任一种与所述智能设备进行连接。

本发明的有益效果是：本发明先由智能设备编程人员事先编辑好代码库和对应的指令库，编辑用户只需根据需要在编辑器中添加代码即可，就能获得同步动作的控制文件，让没有机器人编程基础的编辑人员也可以完成编辑工作；通过控制文件则可以在用户播放视频时同步控制智能设备动作，可应用在机器人仿真教学、智能设备互动娱乐等领域。

附图说明

下面结合附图对本发明作进一步的详细说明。

图1为本发明之互动系统的原理框图。

图2为本发明应用实例1的模拟示意图。

具体实施方式

如图1所示，本发明一种视频控制智能设备互动系统，包括有：

编辑器，用于播放视频并编辑控制代码，生成带有动作代码的控制文件。

播放器，与智能设备连接，用于播放视频，同时给智能设备传输视频时间轴信息。

数据读取模块，用于读取控制控制文件中对应时间点的动作代码。

动作解码器，用于识别动作代码并转换为对应的智能设备控制指令，发送给智能设备控制器。

进一步地，加载所述编辑器的终端为手机或电脑，加载所述播放器的终端为手机、电脑、平板电脑、vr眼镜、全息视频投影仪、投影仪、电视、mp4播放器中的一种或多种。

其中，数据读取模块、动作解码器可以设置在播放器终端内，与播放器终端集成在一起。也可以设置在智能设备内，与智能设备集成在一起。

本发明还提供一种采用上述视频控制智能设备互动系统的互动方法，包括如下步骤：

s1：将制作好的代码库和指令库分别导入编辑器和动作解码器中。

s2：通过编辑器终端根据视频文件内容进行编辑，在视频播放至每一个需要智能设备同步动作的时间点时，点击动作编辑按钮，选择代码库中的动作代码并插入，形成一个与当前播放时间点匹配的动作代码信息，所有需同步动作的时间点编辑完成后，生成控制文件。

s3：播放器终端与智能设备连接，并将控制文件导入到播放器终端中，通过播放器终端播放视频时，由设置在播放器终端中的数据读取模块读取到控制文件，当视频播放时间点上同步的控制文件时间点上存在动作代码时，将动作代码发送给动作解码器。当然，也可以将控制文件导入到智能设备中，对应的则在智能设备设置有数据读取模块。

s4：动作解码器识别动作代码并转换为对应的智能设备控制指令，发送给智能设备控制器，控制智能设备完成预定动作。

进一步地，所述代码库和指令库由智能设备编程工程师根据动作要求制作。

进一步地，所述播放器终端通过蓝牙、wifi、手机无线通讯网、zigbee、usb、串口、以太网中的任一种与所述智能设备进行连接。

下面通过具体的应用实例对本发明作进一步的说明。

应用实例1

如图2所示，是本发明的一个实施例，主要是实现机械人玩具与视频实现简单的同步跳跃模拟。采用的是手机同时作为编辑器和播放器的终端，其软件客户端能够实现视频播放、智能设备动作数据文件的编辑、以及、智能设备控制。用户可以通过视频播放窗口读取并播放本地/在线视频1文件，并通过播放按钮、时间进度条调整视频播放进度。

本应用实例中智能设备只有一个动作，如跳跃，用动作编辑按钮进行动作编辑，每点按动作编辑按钮，就会在控制文件中插入一个与当前视频播放时间点匹配的动作代码。用户可以通过拖动视频时间进度条调整需要编辑的视频片段。用户完成全部的动作编辑后，通过编辑器的“完成”按钮结束编辑，或者视频播放到结尾自动结束编辑过程。

在视频控制过程中，在智能设备控制界面，用户可以选择视频1进行播放，系统在数据读取模块读取到当前视频播放时间点上存在动作代码时，由动作解码器解码并发向机械人玩具发出控制指令，控制智能设备完成预设跳跃动作，实现智能设备与视频同步的动作控制。

以上内容仅用以说明本发明的技术方案，本领域的普通技术人员对本发明的技术方案进行的简单修改或者等同替换，均不脱离本发明技术方案的实质和范围。