一种自动生成儿童成长视频的机器人系统的制作方法

本实用新型创造属于家庭机器人领域，具体涉及了一种自动生成儿童成长视频的机器人系统。

背景技术：

随着数码摄影摄像技术的发展，生活影像记录变得越来越廉价和容易。每个家庭，都拥有着很多家庭方面或者个人的照片，视频，录音等数据资料。但是，未经处理的巨量影像数据也成为用户的很大负担，难以检索，梳理真正重要的，精彩的，有意义的成长瞬间。视频剪辑，照片整理通常需要一定专业领域知识，而且要耗费大量的时间，也不是一般用户能够接受的。而且用户个人拍照也比较费力，想要拍出好看的照片，需要有较为专业的知识和设备，而且比较费时费力。

比如，要制作一个记录孩子成长的小电影，通常用户是需要自己费时费力地查找素材，学习图片和视频处理编辑技能，但是难以达到满意效果。也有一部分用户是依赖于专业机构，去影楼拍摄写真，但是毕竟成本昂贵，也无法做到随时记录日常生活。

技术实现要素：

为了解决上诉存在的拍照难、视频音频信息管理难和视频制作难的问题，本实用新型提出了一种自动生成儿童成长视频的机器人系统及其工作方法，可以自动拍照、管理照片和视频制作。

为了实现上述目的，本实用新型所采用的技术方案是，一种自动生成儿童成长视频的机器人系统，包括电源模块，还包括：控制模块，与电源模块电连接；传感器模块，与控制模块电连接；底盘，坐落在地面上，与控制模块电连接；身部，安装在底盘上，与底盘拧接，与控制模块电连接；摄像头模块，一端与身部拧接，另一端与头部拧接，与控制模块电连接；头部，安装在身部上，与身部拧接，另一端与摄像头组块拧接，与控制模块电连接；通信模块，与控制模块电连接；摄像头模块包括：连接槽，一端与身部拧接，另一端与头部拧接；摄像头，与控制模块电连接，与滑轨卡槽焊接；滑轨卡槽，与连接槽卡接，与摄像头焊接；微型电机，与控制模块电连接，与连接槽啮合，安装在摄像头上。作为优选，所述的连接槽包括：齿条，位于连接槽底面，与连接槽焊接；

滑轨，位于连接槽俩侧，与连接槽焊接。

作为优选，所述头部包括：投影仪，与控制模块电连接，位于头部正面顶端；麦克风，与控制模块电连接，位于头部俩侧；触摸屏，与控制模块电连接，位于头部正面。

作为优选，所述的身部包括：扬声器，与控制模块电连接，安装在身部正面；显示器，与控制模块电连接，安装在身部的正面；按键，与控制模块电连接，安装在身部正面；充电插头，用于与插线板和机器人连接；充电插接口，位于身部后背处，与充电插头连接；充电插头包括：插座插接头，用于与插线板连接；设备插接头，用于与机器人连接充电。

作为优选，所述的底盘包括：承重板，与身部焊接，与控制模块电连接；驱动电机，安装在承重板中，与控制模块电连接；万向轮，与承重板焊接，与驱动电机啮合。

作为优选，所述的传感器模块包括：人体红外传感器，与控制模块电连接，用于检测人员位置和分布；光强传感器，与控制模块电连接，用于检测室内光线强度；温度传感器，与控制模块电连接，用于检测室内温度和人体温度；湿度传感器，与控制模块电连接，用于检测室内湿度。

作为优选，所述的承重板包括：载板，与万向轮焊接；托板，位于承重板前端，用于站人；重力传感器，安装在托板上，用于检测人体重量，与控制模块电连接。作为优选，一种自动生成儿童成长视频的机器人系统的工作方法，适用于如上所述的一种自动生成儿童成长视频的机器人系统，其特征在于，包括以下步骤：S1：初始化；S2：检测当前环境的温度与湿度并显示；S3：检测周边是否有符合唤醒条件的信息，如果有，跳转；如果没有，跳转；S4：如果有，则机器人被唤醒，并按照指令执行工作；S5：如果没有，则继续处于待机状态，并跳转S2。

作为优选，所述的S2包括以下步骤：A1：当周边有唤醒声音指令或者有人靠近，机器人唤醒；A2：机器人唤醒后，接受新的指令，如果是测量体重的指令，则跳转A3；如果是拍照的指令，则跳转A4；如果是制作的指令，则跳转A7；如果没有接到新的指令，跳转；A3：如果接受到是测量体重的指令，则当人体红外传感器检测到人已经处于托板上时，启动重力传感器，测量体重，并将结果显示在显示器上，跳转A2；A4：如果接受到是拍照指令，识别指令内容，如果是定拍指令，跳转A5；如果是抓拍指令，跳转A6；A5：如果接受到的是定拍指令，摄像头启动，并在控制模块的控制下移动位置，寻找最佳的光线位置，找到光线位置后，通过控制模块控制调整摄像头高度，选择拍摄角度，确定好方位后，通过扬声器发出声音，通知拍照者，已经准备妥当，可以开始拍照，当摄像头确认拍照者已经准备就位后，拍下照片，并调节摄像头角度，从不同的角度拍下照片，并跳转A2；A6：如果接受到的是抓拍指令，机器人开始自由运动，摄像头跟随目标转动，同时将拍摄的影像与预存好的优美图片作对比，当出现符合的情况的时候，拍下照片，并摄像头继续跟随运动，直到接受到停止抓拍指令或者目标从房间内离开，跳转A2；A7：如果接受到的是制作指令，根据用户的要求，先进行图片质量筛选，将画质模糊不清的、图片尺寸太小的和身体比例不协调的图片剔除；A8：检索用户的制作历史，确定用户喜欢的风格和主题，然后将图片制作成为视频，并将视频上传到云盘，并跳转A2；A9：机器人自检测电量是否需要充电，如果需要，跳转A10，如果不需要，机器人进入待机状态；A10：如果机器人检测到自身电量低于30％的总电量，则机器人自动移动到充电处，开始充电，并进入待机状态。

作为优选，所述A5中寻找最佳光线位置包括以下子步骤：B1：检测设备内是否有生成光线分布图，如果没有，跳转B2，如果有，跳转B4；B2：分别移动到房间的4个角落，并从当前角落观察房间光源点与光线分布；B3：将光源点分为自然光源点和非自然光源点，然后分别构成在只有自然光源下的室内光线分布图和只有非自然光源点的光线分布图；B4：获取当前光源位置信息和光源组成，并检测光源强度；B5：根据光源组成情况，以及各种光源的强度和光源位置信息，修改光线分布图中的光源光强，并将非自然光线分布图与自然光线分布图融合，形成新的当前光线分布图；B6：在新的光线分布图中，根据当前用户所在的位置，寻找到最佳拍照位置，并通知用户。

作为优选，所述的A6包括以下子步骤：C1：开启摄像头的录像功能，对被抓拍的人进行录像；C2：同时对录像内容进行检测，其检测方法首先进行人脸的定位和检测；C3：对包含清晰的五官的图片部位，检出关键点，取眉毛轮廓点、眼角和嘴角这些关键位置；C4：对这些关键点的图像进行局部降维处理，输出到一个提前建立好的数据模型，映射出最终的结果，并输出相应的置信度分值。C5：在检测录像内容的时候，同时通过音频进行情感计算，分析音频中人声音信号的基频和频谱信息，提取相应的特征，建立模型，映射到高兴、激动、失落和愤怒等情感中；C6：音频数据进行背景音乐抑制之后，可以将说话声音提取并转化为文本，进行进一步的语义分析，包括正面/负面/中性的情感分类。具体原理，也是将文本信息进行语义表征，输入预先建立的模型进行计算和预测；C7：最后，将图像数据中的人脸情感，音频情感和文本情感分值进行一个综合加权，得到一个视频片段的总体情感分类；C8：将这些数据进行保存，作为制作视频的素材。

本实用新型的有益效果：(1)带有体重检测功能，可以使得用户更加方便了解自己身体情况；(2)摄像头模块使得拍照更加容易，而且效果更好(3)摄像头模块使得拍照更加容易，而且效果更好(4)机器人可以自动识别照片质量问题，删除质量差的照片；(5)机器人可以根据用户的喜好进行视频的制作好视频的拍摄；(6)投影仪可以将制作的视频投射播放出来，不仅仅限于在显示器上播放，同时可以下载播放影片，作为家庭影院；(7)可以自动识别人物面部，可以检测情绪，生成短视频，可以更好的进行记录。

附图说明

图1：一种自动生成儿童成长视频的机器人系统结构示意图

图2：连接槽结构示意图

图中：1、投影仪，2、触摸屏，3、麦克风，4、头部，5、显示器，6、身部，7、扬声器，8、托板，9、万向轮，10、承重板，11、连接槽，12、滑轨，13、齿条。

具体实施方式

一种自动生成儿童成长视频的机器人系统，包括电源模块，还包括：控制模块，与电源模块电连接；传感器模块，与控制模块电连接；底盘，坐落在地面上，与控制模块电连接；身部6，安装在底盘上，与底盘拧接，与控制模块电连接；摄像头模块，一端与身部6拧接，另一端与头部4拧接，与控制模块电连接；头部4，安装在身部6上，与身部6拧接，另一端与摄像头组块拧接，与控制模块电连接；通信模块，与控制模块电连接；摄像头模块包括：连接槽11，一端与身部6拧接，另一端与头部4拧接；摄像头，与控制模块电连接，与滑轨12卡槽焊接；滑轨12卡槽，与连接槽11卡接，与摄像头焊接；微型电机，与控制模块电连接，与连接槽11啮合，安装在摄像头上。

所述的连接槽11包括：齿条13，位于连接槽11底面，与连接槽11焊接；滑轨12，位于连接槽11俩侧，与连接槽11焊接。

所述头部4包括：投影仪1，与控制模块电连接，位于头部4正面顶端；麦克风3，与控制模块电连接，位于头部4俩侧；触摸屏2，与控制模块电连接，位于头部4正面。

所述的身部6包括：扬声器7，与控制模块电连接，安装在身部6正面；显示器5，与控制模块电连接，安装在身部6的正面；按键，与控制模块电连接，安装在身部6正面；充电插头，用于与插线板和机器人连接；充电插接口，位于身部6后背处，与充电插头连接；充电插头包括：插座插接头，用于与插线板连接；设备插接头，用于与机器人连接充电。

所述的底盘包括：承重板10，与身部6焊接，与控制模块电连接；驱动电机，安装在承重板10中，与控制模块电连接；万向轮9，与承重板10焊接，与驱动电机啮合。

所述的传感器模块包括：人体红外传感器，与控制模块电连接，用于检测人员位置和分布；光强传感器，与控制模块电连接，用于检测室内光线强度；温度传感器，与控制模块电连接，用于检测室内温度和人体温度；湿度传感器，与控制模块电连接，用于检测室内湿度。

所述的承重板10包括：载板，与万向轮9焊接；托板8，位于承重板10前端，用于站人；重力传感器，安装在托板8上，用于检测人体重量，与控制模块电连接。

一种自动生成儿童成长视频的机器人系统的工作方法，适用于如上所述的一种自动生成儿童成长视频的机器人系统，其特征在于，包括以下步骤：S1：初始化；S2：检测当前环境的温度与湿度并显示；S3：检测周边是否有符合唤醒条件的信息，如果有，跳转；如果没有，跳转；S4：如果有，则机器人被唤醒，并按照指令执行工作；S5：如果没有，则继续处于待机状态，并跳转S2。

所述的S2包括以下步骤：A1：当周边有唤醒声音指令或者有人靠近，机器人唤醒；A2：机器人唤醒后，接受新的指令，如果是测量体重的指令，则跳转A3；如果是拍照的指令，则跳转A4；如果是制作的指令，则跳转A7；如果没有接到新的指令，跳转；A3：如果接受到是测量体重的指令，则当人体红外传感器检测到人已经处于托板8上时，启动重力传感器，测量体重，并将结果显示在显示器5上，跳转A2；A4：如果接受到是拍照指令，识别指令内容，如果是定拍指令，跳转A5；如果是抓拍指令，跳转A6；A5：如果接受到的是定拍指令，摄像头启动，并在控制模块的控制下移动位置，寻找最佳的光线位置，找到光线位置后，通过控制模块控制调整摄像头高度，选择拍摄角度，确定好方位后，通过扬声器7发出声音，通知拍照者，已经准备妥当，可以开始拍照，当摄像头确认拍照者已经准备就位后，拍下照片，并调节摄像头角度，从不同的角度拍下照片，并跳转A2；A6：如果接受到的是抓拍指令，机器人开始自由运动，摄像头跟随目标转动，同时将拍摄的影像与预存好的优美图片作对比，当出现符合的情况的时候，拍下照片，并摄像头继续跟随运动，直到接受到停止抓拍指令或者目标从房间内离开，跳转A2；A7：如果接受到的是制作指令，根据用户的要求，先进行图片质量筛选，将画质模糊不清的、图片尺寸太小的和身体比例不协调的图片剔除；A8：检索用户的制作历史，确定用户喜欢的风格和主题，然后将图片制作成为视频，并将视频上传到云盘，并跳转A2；A9：机器人自检测电量是否需要充电，如果需要，跳转A10，如果不需要，机器人进入待机状态；A10：如果机器人检测到自身电量低于30％的总电量，则机器人自动移动到充电处，开始充电，并进入待机状态。

所述A5中寻找最佳光线位置包括以下子步骤：B1：检测设备内是否有生成光线分布图，如果没有，跳转B2，如果有，跳转B4；B2：分别移动到房间的4个角落，并从当前角落观察房间光源点与光线分布；B3：将光源点分为自然光源点和非自然光源点，然后分别构成在只有自然光源下的室内光线分布图和只有非自然光源点的光线分布图；B4：获取当前光源位置信息和光源组成，并检测光源强度；B5：根据光源组成情况，以及各种光源的强度和光源位置信息，修改光线分布图中的光源光强，并将非自然光线分布图与自然光线分布图融合，形成新的当前光线分布图；B6：在新的光线分布图中，根据当前用户所在的位置，寻找到最佳拍照位置，并通知用户。

所述的A6包括以下子步骤：C1：开启摄像头的录像功能，对被抓拍的人进行录像；C2：同时对录像内容进行检测，其检测方法首先进行人脸的定位和检测；C3：对包含清晰的五官的图片部位，检出关键点，取眉毛轮廓点、眼角和嘴角这些关键位置；C4：对这些关键点的图像进行局部降维处理，输出到一个提前建立好的数据模型，映射出最终的结果，并输出相应的置信度分值。C5：在检测录像内容的时候，同时通过音频进行情感计算，分析音频中人声音信号的基频和频谱信息，提取相应的特征，建立模型，映射到高兴、激动、失落和愤怒等情感中；C6：音频数据进行背景音乐抑制之后，可以将说话声音提取并转化为文本，进行进一步的语义分析，包括正面/负面/中性的情感分类。具体原理，也是将文本信息进行语义表征，输入预先建立的模型进行计算和预测；C7：最后，将图像数据中的人脸情感，音频情感和文本情感分值进行一个综合加权，得到一个视频片段的总体情感分类；C8：将这些数据进行保存，作为制作视频的素材。

带机器人可以自动识别照片质量问题，删除质量差的照片；机器人可以根据用户的喜好进行视频的制作好视频的拍摄；投影仪1可以将制作的视频投射播放出来，不仅仅限于在显示器5上播放，同时可以下载播放影片，作为家庭影院。可以自动识别人物面部，可以检测情绪，生成短视频，可以更好的进行记录。

充电装置包括充电插头和充电插接口，充电插头是属于独立部分，一端插在插线板上，另外一端用于与机器人连接，当机器人检测到电量不足30％的时候，自动移动到充电插头所处位置，将充电插接口与充电插头对准，然后插入充电，在充电插头上装有定位传感器，用于检测与机器人之间的位置关系，引导机器人完成充电插接动作，在充电插头上有通信装置，用于与机器人进行通信；充电插头与机器人连接的一端的金属接头采用弹压式的触发方式，当机器人充电口与设备插接头接触后，在机器人后退力的作用下，使得设备插接头外部的防触电保护装置后退，将金属接头漏出，并与机器人连接；当机器人与设备插接头形成稳定电流后，在充电插头中的电磁继电器启动，将防触电保护装置吸附，使得其后方弹簧不再对机器人形成推力，当充电完成后，机器人离开充电插接头，电磁继电器断电，在弹簧的作用下，防触电保护装置弹起，将金属接头包裹，方式他人误触电，防止短路。

在生成光线图的时候，采用的是模拟光线分布图，先采集光源位置，然后根据当前光源情况结合室内环境进行光线模拟，然后与现实光线进行对比，然后校正光线图，将校正后的光线图进行保存，多次采集数据，并进行分析，得出单个光源的效果函数，然后在拍照时候，根据光源情况，以及采集到的光强数据，将光线分布图中的每个光源的基本光强和位置做改变，形成新的光线模拟分析图，然后将自然光源光线分布图和非自然光源光线分布图进行融合，新城当前室内的光线分布图。

家用机器人不同于手机、平板电脑、照相机摄像机等设备，它可以主动地和人交互，记录和展示图像音视频信息。

机器人装备有高清摄像头，麦克风阵列(环列)，红外人体感应器。在待机状态，能以较低的功耗探测是否有人靠近，是否有唤醒机器人的语音指令。当检测到用户靠近并且有和机器人交流的意图的时候，机器人通过声源定位发现人的大致位置，然后开启摄像头，检测人体和人脸，确定处在一个好的取景范围。

机器人软件上，设定了一个日常记录影像的计划。大致上，分为①定时记录，②里程碑事件记录，③精彩瞬间记录。

①定时记录：每天早晨起床时段，机器人会比较人性化的叫早，播放音乐，播报天气等，并且针对小用户年龄段，提示独立穿衣等好习惯培养相关的交互。例如：

“新的一天又开始了，能量满满，自己穿衣服吧”……

“穿衣服，别拖拉，下床先把洗漱做”……

“刷好牙，洗好脸，神清气爽，快过来亮个相吧”——此时判断用户的响应，如果回答“好的”，或者摄像头捕捉到合适的人像取景，则拍摄一张照片或者一段小视频。同时，在任务系统中为刚才的成功拍摄进行奖励，以提高用户的记录积极性。

②里程碑事件记录：当小用户刚刚完成一个有意义的任务的时候，例如，第一次成功背诵一首古诗；学会第100个单词；累计完成10次科学训练…机器人也会弹出记录界面：“哇！小主人，太棒了，祝贺你完成这个挑战，快来留下你的靓照吧”。同样，摄像头捕捉取景，经过人脸检测识别算法判断，有足够显著清晰的人脸时，拍照一张照片或一段小视频。

③精彩瞬间记录：机器人里有一些趣味的交互，比如机器人主动提一个问题，出一个谜语或者脑筋急转弯，请用户作答。或者家长通过手机和机器人端的孩子进行语音或者视频通话。这些场景，可能孩子会展现出有趣的表情，比如困惑、沮丧、大笑，恍然大悟等。在这些潜在场景，机器人会自动开启静默录像，但是又不会影响当前机器人的交互界面。记录一段足够长的时间，或者直到当前场景结束。这种自动记录下来的视频片段，成为精彩瞬间。里面还可以抽取出特定的帧保持为照片。

为了调动用户(主要是儿童)日常记录影像的积极性。系统设计了一套奖励机制，并且和机器人里面的娱乐，学习，游戏等功能和内容的融合在一起。对于定时记录，在机器人相册界面，有个子页面“每日一拍”，以照片墙的方式，显示一个月的任务完成情况。每完成一日，奖励一定积分/金币。连续完成的积分加倍，如果中间有空缺，则加倍没有。类似手机APP里的“签到”积分模式。在机器人的内容生态系统里，完成学习任务也可以获取奖励积分，玩游戏等行为则要消耗积分。这里的积分和“每日一拍”里的积分是互通的。

在浏览“每日一拍”照片墙里的照片，系统还提供一系列的卡通模板，可以将照片中的小主人，换装成各种有趣的卡通形象。卡通模板分为几个等级，低等级系统自动随机分配，高等级的作为奖励，当用户连续完成任务可出现，或者拿奖励的积分来换取。

当采集到足够的影像资料后，在合适的时机，比如有纪念意义的日子，生日等，或者用户主动请求，便可以自动生成孩子的成长记录视频。首先，要确定几个关键信息：孩子年龄、机器人使用时长，成长记录涵盖时段范围，输出视频长度、视频风格等。

流程如下：首先，根据需要生成视频的长度，计算出需要素材的数量，包括照片的数量和视频的总时长。

人像照片筛选：在前述三种影像记录场景中，取景的时候已经应用人脸检测，不包含人脸或者人脸太小的照片会被拒绝，提示用户重试。再次应用人脸检测，可以挑取出特定的人像组合，比如家庭全体合影，和宝宝和妈妈的合影，兄弟姐妹合影等等。

基于图像大数据的图像增强：针对曝光，色彩，对焦，构图等方面，去除曝光不佳(过黑或者过白)，色彩白平衡失常，焦点不实、景深过窄的照片和视频片段，可以适度进行增强和修正。从相似照片，时间临近的图像数据，综合大量数据进行统计学习，可以提取出用于弥补目标照片缺失或较弱的信息，提升图片和视频的质量。对于人体不全、部分被遮挡或位置太偏的情况，也可以应用此增加技术。

场景检测筛选：应用场景检测技术，可以将照片分类为室内、户外、白天、夜景等各类备选。根据数字文件格式里的附加信息，还可以根据拍摄地点进行分类。

时间线/故事线编排：在成长记录的时间跨度上，分配时间刻度，对于定时记录类素材，根据时刻选取最近并且质量相对好的片段。对于里程碑类和精彩瞬间类素材，可扩大时刻宽容范围。里程碑类素材可以单独编排一个时间线。

视频风格选择：根据当前场景，从预设风格中推荐选取最佳的，并根据视频风格，选定相应的视频配乐，视频转场模式，照片流模式等。

小电影视频生成：根据上述信息和素材，生成最终视频文件，在机器人上展示，并且可以向家长用户的手机端App进行推送，一键转发到社交网络平台等。

以上详细描述了本实用新型的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本实用新型的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本实用新型的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。