] 图3是本发明实施例提供的语音对讲交互流程示意图。
[0046] 图4是本发明实施例提供的通信中收件人工作流程示意图。
[0047]图5是本发明实施例提供的通过应用端3D模型对偶人做动作控制流程图。
[0048] 图6是本发明实施例提供的网络资源访问流程示意图。
[0049] 图7是本发明实施例提供的智能提线木偶偶人控制方法实现流程图。
[0050] 图8是本发明实施例提供的资源访问的实现流程图。
【具体实施方式】
[0051] 为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明 进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于 限定本发明。
[0052] 下面结合附图对本发明的应用原理作详细的描述。
[0053] 本发明的智能提线木偶偶人控制方法实现的功能如下:
[0054] 能歌能舞:本发明可以通过海量精选内容给小孩讲故事、说国学和读英语等实现 婴幼儿童的早教,在播放相关音频的同时偶人还会伴随嘴巴、眼睛和肢体的动作,在强化早 教效果的同时利用产品的趣味性陪伴度过童年的快乐时光,间接减少了看电视、打游戏和 玩手机的时间,保护孩童的视力。
[0055] 音频播放:主要是通过MediaPlayer解码并使用SurfaceView显示音频文件。使用 MediaPlayer解码并播放音频时,从音频播放的进度中可获取此刻相应的动作指令,拖动进 度到某个位置,便可发送相应的动作指令给偶人,偶人根据动作指令,做出相应的动作,视 频的实现过程类似。
[0056] 语音控制:为了增强本发明的人机交互性及娱乐性和趣味性,特增加了语音控制 功能。用户只需要通过语音向本发明发送命令,即可实现对偶人的基本动作控制,产品联网 后可以实现偶人唱歌、讲故事的指令控制。采用语音控制的方式更接近真实人类交互,有助 于培养儿童开朗乐观的性格。语音控制功能的实现主要分为语音识别和语音合成两部分来 实现。语音识别和语音合成技术是现在技术研究的一大热点,与机器人、偶人交流,相比于 文字交流,人们往往更喜欢进行语言交流,这就使得该技术的发展如火如荼。本发明主要使 用语音识别接口,问答接口和语音合成接口处理结果,生成语音。首先使用语音识别接口识 别语音输入,将识别结果使用提供的问答接口获取智能回答,再调用语音生成接口处理返 回结果生成语音,得到语音回答,从而人说一言、偶对一语的人偶交流。
[0057] 该模块不仅仅可以用于语音发送指令指导偶人做相应的任务,也可以用于英语学 习,面对面的口语交流对于孩子英语口语的学习有极大的帮助,从而提高孩子的英语学习 兴趣。
[0058] 智能问答:功能实现了百科全书、"十万个为什么"和聊天功能。用户向偶人提问, 偶人联网搜索出答案后将结果反馈给用户,对于家长经常在外忙碌、缺少木府陪伴的儿童, 本发明可以实现对儿童的简单教育作用,同时用户也可以和偶人进行对话聊天,避免了儿 童用户和老人用户的孤独,防止抑郁。
[0059] 安全守护:通过摄像头实时进行远程监控,在隐蔽处进行监视保护。一方面家人、 客人不会有被监视的感觉,而小偷则完全不知道自己被监视了,更好地保护家庭;另一方 面,当父母和小孩不在一起的时候,不论是晚上睡觉、上班还是出差,都可以实时看到孩子 的动态,让父母安心。实时远程监控功能的实现,本发明将该功能模块分为监控端、被监控 端和中间服务器三部分来实现。当被监控端应用启动时,从心跳模块获取指令,如果是开启 指令,则后台启动相机,并向中间服务器发送视频流;如果是关闭指令,则停止向中间服务 器发送视频流。每一个被监控端对应一个唯一的UUID,用以识别该设备,且其发送的视频流 以该UUID识别,因此,每一个被监控端对应的视频流都是独有的。当监控端要进行监控时, 登录中间服务器并选择监控端,然后点击监控,开始接收视频流以实现实时监控,并修改监 控端的监控状态为监控中。这里使用Nginx和RTMP完成视频流的传送。被监控端工作流 程如图1所示,具体包括:
[0060] S101 :启动应用;
[0061] S102 :从heartbeat模块获取指令;
[0062] S103 :如果是开启指令,则后台启动相机执行S104,如果是关闭指令,则执行 S105 ;
[0063] S104 :发送视频流到中间服务器;
[0064] S105 :停止视频流的发送。
[0065] 监控端工作流程图如图2所示,具体包括:
[0066] S201 :登录并选择监控流;
[0067] S202 :对监控流是否存在,做出判断,存在,执行步骤S203 ;不存在,返回步骤 S201;
[0068] S203:点击监控,发送指令;
[0069] S204:修改被监控端的控制状态;
[0070] S205 :接收监控视频流。
[0071] 如图7所示,本发明实施例的智能提线木偶偶人控制方法实现流程,包括以下步 骤:
[0072]S701:等待接收功能指令;
[0073]S702:对是否执行指令做出判断,执行指令,则执行步骤S703;不执行指令,则执 行步骤S701;
[0074]S703:对是否为关机指令做出判断,是关机指令,则结束;不是关机指令,则执行 步骤S704;
[0075]S704:执行功能指令;
[0076]S705:对是否执行完毕,做出判断;执行完毕,则返回步骤S701;未完毕,则返回步 骤S704。
[0077] 实时远程监控模块的实现,还依赖于一个心跳模块的实现。本发明中Heartbeat 模块的实现,主要是通过在服务器的数据库中维护着一个数据表,该数据表里存放各个设 备的状态,数据项包括设备UUID、在线(0/1)、监控(0/1)、信息(0/1),0代表离线、未监控 和无信息;1代表在线、监控中和有信息。心跳模块来读取该设备状态表,并将数据封装为 JS0N包进行发送。
[0078]
[0079] 通过设置这个表格,并通过心跳的方式检查该表的信息,便于实时监控设备的状 ??τ〇
[0080]语音对讲:如图3所示,父母可以利用手机、平板电脑或者计算机的客户端通过本 发明给儿童留言实现对孩子的关爱或者提醒孩子写作业等,小孩也可以通过本发明直接给 父母留言,父母打开客户端后即可接收。同样在播放语音留言的时候偶人会做出相应的动 作,无论走到哪里,家人沟通零距离。
[0081] 如图3所示,语音对讲具体包括:
[0082] S301 :录制语音;
[0083] S302 :上传到服务器;
[0084] S303 :读取消息请求;
[0085] S304 :消息到达提醒和下载消息到本地数据库;
[0086] S305 :消息到达提醒和下载消息到本地数据库;
[0087] S306 :读取消息请求;
[0088] S307 :解析消息;
[0089] S308 :回复否则结束;回复是则返回步骤S301 ;
[0090] S309 :解析步骤S304下载的信息;
[0091] S310 :回复否则结束;回复是则返回步骤S311 ;
[0092] S311:录制语音;
[0093]S312:上传到服务器。
[0094] 本发明中,父母或孩子使用audiorecord录制语音,后台使用HTTP协议上传到服 务器,服务器经过转发,传送到目的端;目的端接收到信息后,下载语音到本地数据库,用户 查看,播放语音。
[0095] 本发明的通信/留言部分依赖于信息交互模块的实现,留言内容可以是文字,也 可以是语音等。通信可以理解为一种即时的留言,而通信又可以分为两部分,发件和收件, 两个过程只是方向上的不同,本质是没有区别的,所以下面仅以通信的发信息的过程进行 说明。发件人将信息发送到服务器,服务器保存发件人信息、信息内容以及收件人地址,这 里的收件人地址默认已转换为设备的UUID,唯一地标识到一个收件人,修改收件人状态表 的信息状态位为1。收件人也不断使用心跳模块检测状态表的状态,当检测到有信息时,提 醒收件人收件。收件人接收到信息提醒后,向服务器提出信息接收请求,服务器查询相关的 信息内容,并封装为JS0N包发送给收件人,应用端解析JS0N包,将数据存入本地数据库。发 件人向服务器发送信息并修改状态表信息,收件人工作流程如图4所示,具体包括:
[0096] S401:心跳模块检测到信息;
[0097] S402:点击接收信息;
[0098] S403 :接收服务器返回的JS0N包并解析;
[0099] S404 :将信息内容保存到本地数据库;
[0100] S405 :