一种基于远程出席设备的虚拟出席系统的制作方法
【专利摘要】本发明公开了一种远程出席设备及相应的远程出席系统。该远程出席设备中，运动部分接收来自控制部分的控制命令；视频部分采集现场画面，通过网络部分送到云服务器；音频部分采集现场声音，通过网络部分送到云服务器；音频、视频部分接收来自云服务器的音频、视频信号实现声音、画面还原。音频部分采用多麦克风阵列采集现场声音，对每个麦克风采集的声音进行初级滤波，并对音频进行波束处理形成单一信号，对单一信号进行次级滤波处理，得到主音源的方位。本发明可以允许用户在可接入互联网的任意地点启动远程出席设备，出现在期望的地方进行现场沟通；避免用户频繁参加各种现场会议，减少路途时间的消耗。
【专利说明】一种基于远程出席设备的虚拟出席系统
【技术领域】
[0001] 本发明涉及一种虚拟出席系统，尤其涉及一种基于远程出席设备的虚拟出席系 统，属于远程会议【技术领域】。
【背景技术】
[0002] 目前，计算机远程会议系统已经在社会生活中的各个领域得到广泛应用。同时，随 着电子信息技术的不断发展，机器人技术也开始进入远程会议【技术领域】。
[0003] 据有关媒体报道，美国Anybots公司开发出一种称为QB的远程监控机器人。该QB 机器人的高度可变，最高大约有1. 75米，相当于一个成年人的正常高度。QB机器人依靠两 个轮子四处移动，移动的速度能够达到人类行走的速度，并能在移动过程中保持自我平衡。 QB机器人通过一只眼睛中具有500万像素的摄像机，以及在它头部朝下安装的一个分辨率 低一些的摄像机，可以"看见"周围的物体；同时可以通过互联网将摄像机拍摄的视频内容 传送给远程控制者。QB机器人的另外一只眼睛则起着激光笔的作用，内置的激光制导系统 确保它不会撞上家具或者门框。QB机器人通过三个麦克风可以"听见"周围的声音，并将声 音传送给远程控制者。它还具有一个高质量的扬声器，用以播放远程控制者的声音。QB机 器人通过液晶显示屏幕，可以将远程控制者的图像传送到现场的人们那里。这样，QB机器 人具有能使远程控制者在会议室外进行交流的优点，可以代替主人亲临现场出席会议。
[0004] 但是，该QB机器人的移动范围有限，不能自动定位主声源，导致远程控制者有时 看不到现场画面。由于价格相对昂贵，目前只有有限的用户在使用，因此该QB机器人的使 用率还比较低。
【发明内容】
[0005] 针对现有技术的不足，本发明所要解决的首要技术问题在于提供一种远程出席设 备（也称为Rro机器人）。
[0006] 本发明所要解决的另一个技术问题在于提供一种基于上述远程出席设备的虚拟 出席系统。
[0007] 为实现上述发明目的，本发明采用下述的技术方案：
[0008] -种远程出席设备，包括运动部分、控制部分、视频部分、音频部分和网络部分；其 中，
[0009] 所述运动部分接收来自所述控制部分的控制命令，用来控制所述远程出席设备按 照指定路线行驶；
[0010] 所述视频部分采集现场画面，进行处理后送到所述控制部分，由所述控制部分通 过所述网络部分送到云服务器；所述控制部分通过所述网络部分接收来自云服务器的视频 信号，并传送到所述视频部分，由所述视频部分实现画面还原；
[0011] 所述控制部分通过所述网络部分接收来自云服务器的音频信号，并传送到所述音 频部分，由所述音频部分实现声音还原；
[0012] 所述音频部分采用多麦克风阵列采集现场声音，对所述多麦克风阵列中每个麦克 风采集的音频进行初级滤波，并对所有通道的音频进行波束处理形成单一信号，对所述单 一信号进行次级滤波处理，从而得到主音源的方位。
[0013] 其中较优地，所述控制部分得到主音源的方位后发出控制指令，并转换成电机的 速度信号，通过PWM信号的形式发送到电机驱动器，所述电机驱动器对所述PWM信号进行功 率放大，从而驱动电机完成相应的转向动作，使视野摄像头朝向主音源的方位。
[0014] 其中较优地，所述运动部分包括两个驱动轮，分别设置于左右两侧，当两个驱动轮 同步等速前转即是前进，左驱动轮后传且右驱动轮前转即是左转，左驱动轮前传且右驱动 轮前转即是右转。
[0015] 其中较优地，所述视频部分包括视野摄像头与循迹摄像头，循迹摄像头对主音源 进行跟踪，并进行面部识别，确定准确位置后，调节视野摄像头的位置使其对准主音源的面 部。
[0016] 一种虚拟出席系统，基于上述的远程出席设备实现，包括：
[0017] 远程终端，用于操控远程出席设备；
[0018] 远程出席设备，用于采集现场的音频与视频，播放远程终端的音频和视频；
[0019] 云服务器，用于采集、存储和转发网络数据流；
[0020] 所述远程出席设备通过互联网与所述云服务器相连，所述云服务器通过互联网与 所述远程终端相连，通过所述远程终端控制远程出席设备。
[0021] 其中较优地，所述远程出席设备使用所述云服务器提供的密钥，连接所述远程终 端，并对所述密钥进行比对。
[0022] 其中较优地，所述密钥比对成功，所述远程出席设备与所述远程终端进行时间同 步，建立通信连接。
[0023] 其中较优地，所述时间同步的信号包括视频信号、音频信号和控制信号，将所述视 频信号、所述音频信息进行压缩，同时添加统一基准的时间标记，变为数据帧；所述控制终 端根据所述统一基准发出正确的操控指令。
[0024] 其中较优地，所述远程出席设备不工作时处于低功耗状态，当所述远程出席设备 接收到所述云服务器的启动命令请求后开始唤醒进行工作。
[0025] 其中较优地，当所述远程出席设备采用电池供电时，利用无线充电方式进行充电。
[0026] 与现有技术相比较，本发明具有以下有益效果：
[0027] 用户可以在可接入互联网的任意地点启动远程出席设备，在所期望的地点进行现 场沟通。该远程出席设备可以自动定位主声源，让远程控制者实时跟踪说话者的画面，产生 身临会议现场的感觉。另外，用户通过远程终端可以控制远程出席设备在无线信号覆盖范 围内自主移动，在任意地点实现视频沟通，操作灵活方便。
【专利附图】
【附图说明】
[0028] 图1是本发明所提供的远程出席设备的数据流向图；
[0029] 图2是远程出席设备中，运动部分的结构示意图；
[0030] 图3是远程出席设备中，跟踪面部位置实现升降的示意图；
[0031] 图4是远程出席设备中，实现头部升降的原理示意图；
[0032] 图5是远程出席设备中，核心处理器的结构示意图；
[0033] 图6是远程出席设备中，媒体采集过程的原理示意图；
[0034] 图7是远程出席设备中，解码显示过程的原理示意图；
[0035] 图8是远程出席设备中，无线充电过程的原理示意图；
[0036] 图9是本发明所提供的虚拟出席系统的整体结构示意图；
[0037] 图10是虚拟出席系统中，网络数据流同步过程的原理示意图；
[0038] 图11是虚拟出席系统中，远程唤醒过程的原理示意图。
【具体实施方式】
[0039] 下面结合附图和具体实施例对本发明作进一步的详细说明。
[0040] 图1所示是本发明提供的一种远程出席设备（Remote Presence Device, RPD)，也 称为RH)机器人。它由运动部分、控制部分、视频部分、音频部分和网络部分组成。其中， 运动部分接收来自控制部分的控制命令，用来控制远程出席设备按照指定路线行驶；视频 部分采集现场画面，进行相应的处理后送到控制部分由控制部分通过网络部分送到云服务 器；音频部分采集现场声音，进行相应的处理后送到控制部分由控制部分通过网络部分送 到云服务器；控制部分通过网络接收来自云服务器的视频信号，并传送到视频部分，由视频 部分实现画面还原；控制部分通过网络接收来自云服务器的音频信号，并传送到音频部分， 由音频部分实现画面还原；通过控制部分接收和发送数据，从而实现远程出席设备所在现 场与用户的互动。
[0041] 图2所示是Rro机器人的运动部分，包括单片机、电机驱动器、电机、减速器和驱动 轮。其中，驱动轮由两个驱动轮构成，分别设置于Rro机器人左侧与右侧，能够前进、左转、 右转，不能后退。双轮同步等速前转即是前进，左轮后传、右轮前转即是左转，反之是右转， 如图2中双箭头所示。因为两轮旋转中心与机器人中心重合，可以认为其转弯半径为0。为 保证Rro机器人能够平稳移动，还设置了多个从动轮，其中前端设置2个从动轮，后端设置1 个从动轮（图中未示）。在本Rro机器人中，单片机可以采用但不限于51单片机、ARM板、 FPGA等，用于从通信串口接收控制指令，并将该控制指令转换成电机的速度信号，通过PWM 信号的形式发送到电机驱动器，该电机驱动器对PWM信号进行功率放大，从而驱动电机。电 机通过减速器与驱动轮相连接，使得Rro机器人完成相应的动作。例如控制部分得到主音 源的方位后发出控制指令，并转换成电机的速度信号，通过PWM信号的形式发送到电机驱 动器，电机驱动器对PWM信号进行功率放大，从而驱动电机完成相应的转向动作，使视野摄 像头朝向主音源的方位。
[0042] 针对不同身高的用户或用户的不同站、坐等姿势，Rro机器人的运动部分还设置有 头部调节单元。如图3和图4所示，由远程用户手动调节升降或者根据面部识别和跟踪的 结果实现自动升降。手动模式与自动模式可以通过操控远程终端进行设置，也可以在现场 进行设置。具体说明如下：（1)手动升降：在沟通过程中，如果机器人面对的沟通对象身高 与机器人不匹配，视野摄像头中显示的图像会让操控者觉得不舒服。此时，现场用户可以通 过升降按钮对机器人显示器（包括视野摄像头）调节，使其位于适当的位置。（2)自动升 降：如果高度不适宜，人的脸部在视野摄像头的位置会偏离中心。通过跟踪摄像头进行人脸 位置识别，并根据此位置自动调整显示器高度，使其位于适当的位置。
[0043] 图5所示是核心处理器的内部结构，包括驱动模块、编码算法模块、解码算法模 块、RTP (实时传输协议）模块。其中，RTP模块通过WiFi、LAN、3G无线网络、4G无线网络等 与网络部分相连。RTP模块接收通过网络部分传输来的控制命令，由解码算法模块转换成相 应的驱动信号。驱动模块对上述驱动信号进行放大，从而可以驱动摄像头、麦克风、显示器 和音箱等设备。同时，摄像头、麦克风、显示器和音箱等设备的信号由驱动模块放大后，由编 码算法模块对其进行编码，然后由RTP模块通过网络部分传输到远程终端。
[0044] 在本发明中，视频部分包括视野摄像头与循迹摄像头。循迹摄像头对主音源进行 跟踪，并进行面部识别，确定准确位置后，调节视野摄像头的位置使其对准主音源的面部。
[0045] 图6是媒体采集过程的原理示意图。视频部分采集Rro机器人及远程终端中各个 摄像头的图像信息，编码为所需格式，经RTP模块传输出去；同时从网络部分获取图像信息 帧，解码并通过QT(挪威TrollTech公司出品的C++图形用户界面库）环境自带的图像库 播放。
[0046] 由于从各个摄像头采集的图像格式各不相同，为了编码方便，需将其预先转化为 YUV420格式，编码方式采用H264或H265。具体地说，一方面，将图像格式转换成为YUV420P 格式，经由视频编码模块进行H264/H265编码，传递给RTP模块组织成为网络协议数据传输 至网络部分；另一方面，视频编码模块收到来自网络部分的RTP数据，根据SDP(会话描述协 议）进行判读以获取H264/H265编码参数信息，并据此对图像数据进行解码，解码的结果为 YUV420P RAW图像格式，此图像格式需经转换模块将其再转换成RGB24格式的视频流，由QT 显示模块驱动显示器进行显示。
[0047] 如图7所示，音频部分采集RH)机器人及远程终端麦克风的音频信息，经滤波等 处理后采用AAC编码方式进行编码，并经RTP模块将编码后的音频信息传输出去；同时从 网络部分获取音频数据帧，解码为PCM格式并进行播放。RH)机器人及远程终端之间采用 RTSP (实时流传输）协议进行通信，彼此之间既是对方的RTSP服务器，也是对方的RTSP客 户端。Rro机器人启动后，自动加载RTSP服务器程序。远程终端向RH)机器人提交申请后， 作为RTSP服务器的Rro机器人开始提供视频及音频网络数据流服务，同时也向远程终端提 出申请。作为RTSP服务器的远程终端接到申请后也提供相应的视频、音频和控制流数据服 务。
[0048] 一般来说，RH)机器人工作在写字楼走廊、办公室、会议室甚至工厂车间的场合比 较多，环境噪音比较多。特别是会议室，就某个议题热烈争论的情况也不少见。为了解决这 个问题，本发明采用多麦克风阵列，通过麦克风的不同指向和布局，采用包括但不限于AEC 或NLMS等回声消除算法，消除回声和背景噪音，实现声音保真。具体说明如下：首先，针对 多麦克风阵列中每个麦克风采集的音频进行初级滤波，然后对所有通道的音频进行波束处 理，形成单一信号后，再次对该单一信号进行次级滤波处理，次级滤波的滤波阶数比初级滤 波要高。在此基础上，对多麦克风阵列的信号进行处理，获知主音源的方位。多麦克风阵列 在处理时，可以采用现有的音频3D空间映射算法，分析得出主音源方位。在获得主音源的 方位后，依据方位数据调整摄像头指向完成对说话者的实时跟踪。
[0049] 另外，Rro机器人可以采用电池、直流或交流方式进行供电。当Rro机器人采用直 流或交流方式供电时，需要运行到指定的有电源的地点，由人工将插头插入插座充电。如果 采用电池供电时，可以选择无线充电方式，将机器人放置到充电平台上自动开始充电过程。 如图8所示，Rro机器人可以根据电量情况，在到达设定值时自动移动到充电平台进行充 电，并将电量的情况实时传送到远程终端，方便用户使用。
[0050] 图9所示是本发明所提供的一种面向远程会议的虚拟出席系统，基于上述远程出 席设备实现，包括：远程出席设备、远程终端和网络服务器。其中，用户在云服务器中进行网 络注册，并把Rro机器人的产品序列号添加在云服务器中接受云的管理，并建立和分配账 号以限制用户访问Rro机器人的范围。用户注册账号后，可在任意地点登录云服务器。登 录后用户即可浏览自己可访问的Rro列表，并获知其状态，如电池电量、是否被占用、是否 正在充电等等，找到自己想访问的Rro机器人并且其可以访问后，可向云服务器请求建立 与机器人的连接。用户通过远程终端开始操控Rro机器人。
[0051] 在本发明中，远程终端可以运行在台式计算机、笔记本电脑、平板电脑、智能手机 等设备上，其操作系统也可是Windows、Linux、MacOS、iOS、Android等。远程终端接入互联 网的方式可以是LAN+Router、WiFi+AP或者3G/4G网络。另外，RH)机器人接入互联网的方 式可以为WiFi+AP或者3G/4G网络。
[0052] 在操控过程中，RH)机器人采集的图像和声音通过各种形式，接入网络服务器并 传输到云服务器，再传送到给远程终端。远程终端采集的图像、声音及用户控制指令通过 网络传递给Rro机器人。RH)机器人及远程终端彼此既是对方的RTSP服务器，也是对方的 RTSP客户端。Rro机器人启动后，自动加载RTSP服务器程序。远程终端向Rro机器人提交 申请后，作为RTSP服务器的RH)机器人开始提供视频及音频网络数据流服务，同时也向远 程终端提出申请。作为RTSP服务器的远程终端接到申请后也提供相应的视频、音频和控制 流数据服务。
[0053] 在实际应用中，用户看到的RH)机器人传来的图像和声音是若干时间之前的，播 放前需要进行同步处理。考虑到网络延迟，本发明将操控指令也看作特殊的网络数据流进 行时间标记以实现同步处理。图10所示是网络数据流同步原理图，云服务器回话接到客户 端定时发出的请求后，将视野摄像头与循迹摄像头图像经过H264/H265压缩，麦克风音频 经过AAC压缩后，变为数据帧；并添加统一基准的时间标记，由各自网络数据流的子会话分 别进行RTP预处理后，交由RTP机制通过网络发往客户端。客户端定时通过RTP发出请求， 并以异步方式监控网络数据流，获取数据帧，根据数据帧所携带的时间标记作同步处理，并 进行播放，同时将控制指令发送给电机控制器，将操控指令视为特殊的网络数据流加以处 理。
[0054] 为提升RH)机器人的待机时间，本RH)机器人在停止工作后自动进入睡眠状态，以 节省用电，延长机器人待机时间。云服务器接收用户请求后，会通过互联网发来唤醒指令， 启动通信程序和网络数据流服务器，并获取远程终端的IP地址，建立起Rro机器人与远程 终端的网络连接以进行远程视频通话。如图11所示，远程唤醒工作的基本流程如下：
[0055] 1.用户通过远程终端登录云，提供自己的用户名和密码，如果通过系统认证，则自 动生成随机密钥。
[0056] 2.用户在云中浏览自己具备权限的、可访问的RPD机器人后，提供RPD机器人的 ID给云服务器，请求连接。
[0057] 3.云服务器接收请求后，会发送唤醒命令，唤醒相应的RH)机器人进入工作状态。
[0058] 4.云服务器启动RH)机器人通信程序，并提供密钥。
[0059] 5. RH)机器人使用密钥连接远程终端，经过密钥比对后，同步两机时间，建立通信 连接。
[0060] 当用户使用完毕之后，远程终端通过云服务器发出停止命令。Rro机器人接收到停 止命令后，向云服务器给出反馈，继续开始休眠。
[0061] 利用本发明，可以允许用户在可接入互联网的任意地点启动远程出席设备，出现 在期望的地方进行现场沟通；避免用户频繁参加各种现场会议，减少路途时间的消耗。 [0062] 上面对本发明所提供的基于远程出席设备的虚拟出席系统进行了详细的说明。对 本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见 的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。
【权利要求】
1. 一种远程出席设备，其特征在于包括运动部分、控制部分、视频部分、音频部分和网 络部分；其中， 所述运动部分接收来自所述控制部分的控制命令，用来控制所述远程出席设备按照指 定路线行驶； 所述视频部分采集现场画面，进行处理后送到所述控制部分，由所述控制部分通过所 述网络部分送到云服务器；所述控制部分通过所述网络部分接收来自云服务器的视频信 号，并传送到所述视频部分，由所述视频部分实现画面还原； 所述控制部分通过所述网络部分接收来自云服务器的音频信号，并传送到所述音频部 分，由所述音频部分实现声音还原； 所述音频部分采用多麦克风阵列采集现场声音，对所述多麦克风阵列中每个麦克风采 集的音频进行初级滤波，并对所有通道的音频进行波束处理形成单一信号，对所述单一信 号进行次级滤波处理，从而得到主音源的方位。
2. 如权利要求1所述的远程出席设备，其特征在于， 所述控制部分得到主音源的方位后发出控制指令，并转换成电机的速度信号，通过PWM 信号的形式发送到电机驱动器，所述电机驱动器对所述PWM信号进行功率放大，从而驱动 电机完成相应的转向动作，使视野摄像头朝向主音源的方位。
3. 如权利要求1所述的远程出席设备，其特征在于， 所述运动部分包括两个驱动轮，分别设置于左右两侧；当两个驱动轮同步等速前转即 是前进，左驱动轮后传且右驱动轮前转即是左转，左驱动轮前传且右驱动轮前转即是右转。
4. 如权利要求1所述的远程出席设备，其特征在于， 所述视频部分包括视野摄像头与循迹摄像头，循迹摄像头对主音源进行跟踪，并进行 面部识别，确定准确位置后，调节视野摄像头的位置使其对准主音源的面部。
5. -种虚拟出席系统，基于权利要求1?4中任意一项所述的远程出席设备实现，其特 征在于包括： 远程终端，用于操控远程出席设备； 远程出席设备，用于采集现场的音频与视频，播放远程终端的音频和视频； 云服务器，用于采集、存储和转发网络数据流； 所述远程出席设备通过互联网与所述云服务器相连，所述云服务器通过互联网与所述 远程终端相连，通过所述远程终端控制远程出席设备。
6. 如权利要求5所述的虚拟出席系统，其特征在于， 所述远程出席设备使用所述云服务器提供的密钥，连接所述远程终端，并对所述密钥 进行比对。
7. 如权利要求6所述的虚拟出席系统，其特征在于， 所述密钥比对成功，所述远程出席设备与所述远程终端进行时间同步，建立通信连接。
8. 如权利要求7所述的虚拟出席系统，其特征在于， 所述时间同步的信号包括视频信号、音频信号和控制信号，将所述视频信号、所述音频 信息进行压缩，同时添加统一基准的时间标记，变为数据帧；所述控制终端根据所述统一基 准发出正确的操控指令。
9. 如权利要求5所述的远程出席系统，其特征在于， 所述远程出席设备不工作时处于低功耗状态，当所述远程出席设备接收到所述云服务 器的启动命令请求后开始唤醒进行工作。
10.如权利要求5所述的远程出席系统，其特征在于， 当所述远程出席设备采用电池供电时，利用无线充电方式进行充电。
【文档编号】H04N21/6437GK104159061SQ201410307237
【公开日】2014年11月19日 申请日期:2014年6月30日 优先权日:2014年6月30日
【发明者】汤道宇 申请人:北京品创联拓科技有限公司