终端远程交互方法和系统的制作方法
【专利摘要】本发明公开了一种终端远程交互方法，在侦测到第一终端发送的音视频连接请求时，服务器建立第一终端与第二终端之间的音视频通路，并基于视频通路将第一终端发送的音频和视频数据转发至第二终端，以供第二终端显示第一终端发送的视频数据的同时，播放第一终端发送的音频数据；在侦测到第二终端基于视频数据显示界面触发的批注操作时，服务器获取批注操作对应的位置信息；服务器将所述位置信息发送给第一终端，以供第一终端基于所述位置信息在其显示屏显示对应的批注信息。本发明还提出一种终端远程交互系统。本发明使得第一终端可及时知晓第二终端基于当前显示的视频数据的批注内容，以便用户及时显示单据等资料中的问题，提高业务处理效率。
【专利说明】 终端远程交互方法和系统
【技术领域】
[0001]本发明涉及远程数据交互领域，尤其涉及终端远程交互方法和系统。
【背景技术】
[0002]银行为提高其服务的全面性提高用户体验，必须在每个网点配备至少5-7名具备完全银行业务知识的柜面人员，即使在复杂业务非常少的网点，上述高素质人员配置也不能削减，该基础人员配置要求造成了银行成本的高企和浪费。
[0003]为解决上述问题，柜面人员在处理复杂业务时可依托于电话以及视频等进行业务的及时沟通，但由于在进行沟通的过程中无法快捷地对用的单据等资料中的问题进行指正，导致业务处理效率较低。
[0004]银行网点柜面仍然必须保有相当数量具备相对高级专业技能的员工，对银行网点的快速扩张，提升客户体验，降低银行经营成本极为不利
【发明内容】
[0005]本发明的主要目的在于解决业务处理效率较低的技术问题。
[0006]为实现上述目的，本发明提供的一种终端远程交互方法，所述终端远程交互方法包括以下步骤:
[0007]在侦测到第一终端发送的音视频连接请求时，服务器建立第一终端与第二终端之间的首视频通路；
[0008]所述服务器基于所述视频通路将所述第一终端发送的音频和视频数据转发至第二终端，以供第二终端显示第一终端发送的视频数据的同时，播放第一终端发送的音频数据；
[0009]所述服务器基于所述视频通路将第二终端发送的音频和视频数据转发至第一终端，以供第一终端显示第二终端发送的视频数据的同时，播放第二终端发送的音频数据；
[0010]在侦测到第二终端基于视频数据显示界面触发的批注操作时，所述服务器获取所述批注操作对应的位置信息；
[0011]所述服务器将所述位置信息发送给第一终端，以供第一终端基于所述位置信息在其显示屏显示对应的批注信息。
[0012]优选地，所述服务器基于所述视频通路将所述第一终端发送的音频和视频数据转发至第二终端，以供第二终端显示第一终端发送的视频数据的同时，播放第一终端发送的音频数据的步骤包括:
[0013]在接收到第一终端发送的音频数据和视频数据时，所述服务器确定所述视频数据中的背景区域；
[0014]所述服务器对确定的背景区域进行预处理，并基于所述视频通路将所述音频数据以及预处理之后的视频数据发送至所述第二终端，以供第二终端显示预处理后的视频数据的同时，播放所述音频数据。
[0015]优选地，所述在侦测到第一终端发送的音视频连接请求时，服务器建立第一终端与第二终端之间的音视频通路的步骤之后，所述终端远程交互方法还包括:
[0016]在侦测到第二终端基于视频数据显示界面触发的放大或者缩小操作时，所述服务器确定进行放大或者缩小的视频数据，以及放大或者缩小的比例；
[0017]所述服务器对当前显示界面中对应的视频数据按照确定的比例进行放大或者缩小操作，并将放大或缩小操作后的视频数据显示界面发送给所述第二终端，以供第二终端进行显示。
[0018]优选地，所述服务器基于所述视频通路将所述第一终端发送的音频和视频数据转发至第二终端，以供第二终端显示第一终端发送的视频数据的同时，播放第一终端发送的音频数据的步骤之前，所述终端远程交互方法还包括:
[0019]所述第一终端对采集到的视频数据进行转置或裁剪处理，并将音频数据以及转置或裁剪后的视频数据发送至所述服务器。
[0020]优选地，所述在侦测到第一终端发送的视频连接请求时，服务器建立第一终端与第二终端之间的视频通路的步骤之前，所述终端远程交互方法包括:
[0021]在侦测到第一终端发送的登录请求时，所述服务器基于第一终端发送的登录请求确定对应的登录信息；
[0022]在所述登录信息为预设类型的登录信息时，所述服务器向所述第一终端发送视频请求触发界面，以供用户基于第一终端基于所述视频请求触发界面触发视频请求。
[0023]优选地，所述在侦测到第一终端发送的音视频连接请求时，服务器建立第一终端与第二终端之间的音视频通路的步骤包括:
[0024]在侦测到第一终端发送的音视频连接请求时，所述服务器向第一终端推送专家选择界面，以供用户基于第一终端显示的专家选择界面选择对应的专家；
[0025]在侦测到第一终端发送的选择请求时，所述服务器基于所述选择请求锁定的对应的专家；
[0026]所述服务器基于锁定的专家所对应的联系信息，向对应的第二终端发送音视频连接请求；
[0027]在接收到第二终端基于所述音视频连接请求反馈的确认信息时，所述服务器建立第一终端与第二终端之间的音视频通路。
[0028]优选地，所述在侦测到第一终端发送的音视频连接请求时，服务器建立第一终端与第二终端之间的音视频通路的步骤包括:
[0029]在侦测到第一终端发送的音视频连接请求时，所述服务器确定空闲专家；
[0030]在确定的空闲专家为多个时，所述服务器基于预设的专家优先级确定多个空闲专家中优先级最高的专家；
[0031]所述服务器基于优先级最高的专家所对应的联系信息，向对应的第二终端发送音视频连接请求；
[0032]在接收到第二终端基于所述音视频连接请求反馈的确认信息时，所述服务器建立第一终端与第二终端之间的音视频通路。
[0033]此外，为实现上述目的，本发明还提出一种终端远程交互系统，所述终端远程交互系统包括:
[0034]音视频通路建立模块，用于在侦测到第一终端发送的视频连接请求时，建立第一终端与第二终端之间的音视频通路；
[0035]发送模块，用于基于所述视频通路将所述第一终端发送的音频和视频数据转发至第二终端，以供第二终端显示第一终端发送的视频数据的同时，播放第一终端发送的音频数据，以及基于所述视频通路将第二终端发送的音频和视频数据转发至第一终端，以供第一终端显示第二终端发送的视频数据的同时，播放第二终端发送的音频数据；
[0036]获取模块，用于在侦测到第二终端基于视频数据显示界面触发的批注操作时，获取所述批注操作对应的位置信息；
[0037]所述发送模块还用于将所述位置信息发送给第一终端，以供第一终端基于所述位置信息在其显示屏显示对应的批注信息。
[0038]优选地，所述发送模块包括:
[0039]确定单元，用于在接收到第一终端发送的视频数据时，确定所述视频数据中的背景区域；
[0040]预处理单元，用于对确定的背景区域进行预处理；
[0041]发送单元，用于基于所述视频通路将所述音频数据以及预处理之后的视频数据发送至所述第二终端，以供第二终端显示预处理后的视频数据的同时，播放所述音频数据。
[0042]优选地，所述终端远程交互系统还包括:
[0043]确定模块，用于在侦测到第二终端基于视频数据显示界面触发的放大或者缩小操作时，确定进行放大或者缩小的视频数据，以及放大或者缩小的比例；
[0044]处理模块，用于对当前显示界面中对应的视频数据按照确定的比例进行放大或者缩小操作；
[0045]所述发送模块还用于将放大或缩小操作后的视频数据显示界面发送给所述第二终端，以供第二终端进行显示。
[0046]优选地，所述终端远程交互系统还包括:
[0047]确定模块，用于在侦测到第一终端发送的登录请求时，所述服务器基于第一终端发送的登录请求确定对应的登录信息；
[0048]界面提供模块，用于在所述登录信息为预设类型的登录信息时，所述第一终端发送视频请求触发界面，以供用户基于第一终端基于所述视频请求触发界面触发视频请求。
[0049]优选地，所述音视频通路建立模块包括:
[0050]界面推送单元，用于在侦测到第一终端发送的连接请求时，向第一终端推送专家选择界面，以供用户基于第一终端显示的专家选择界面选择对应的专家；
[0051]锁定单元，用于在侦测到第一终端发送的选择请求时，基于所述选择请求锁定的对应的专家；
[0052]发送单元基于锁定的专家所对应的联系信息，向对应的第二终端发送音视频连接请求；
[0053]处理单元，用于在接收到第二终端基于所述音视频连接请求反馈的确认信息时，建立第一终端与第二终端之间的音视频通路。
[0054]优选地，所述音视频通路建立模块包括:
[0055]确定单元，用于在侦测到第一终端发送的视频连接请求时，确定空闲专家，以及在确定的空闲专家为多个时，基于预设的专家优先级确定多个空闲专家中优先级最高的专家；
[0056]发送单元，用于基于优先级最高的专家所对应的联系信息，向对应的第二终端发送连接视频请求；
[0057]处理单元，用于在接收到第二终端基于所述视频连接请求反馈的确认信息时，建立第一终端与第二终端之间的视频通路。
[0058]本发明提出的终端远程交互方法和系统，在侦测到第二终端基于视频数据显示界面触发的批注操作时，所述服务器获取所述批注操作对应的位置信息并将所述位置信息发送给第一终端，以供第一终端基于所述位置信息在其显示屏的对应位置处显示对应的批注信息，使得第一终端可及时显示第二终端基于当前显示的视频数据的批注内容，以便用户及时知晓单据等资料中的问题，提高业务处理效率。
【专利附图】
【附图说明】
[0059]图1为本发明终端远程交互方法第一实施例的流程示意图；
[0060]图2为图1中步骤S20的细化流程示意图；
[0061]图3为本发明终端远程交互方法第二实施例的流程示意图；
[0062]图4为本发明终端远程交互方法第三实施例的流程示意图；
[0063]图5为本发明终端远程交互方法中视频转置的示意图；
[0064]图6为本发明终端远程交互方法第四实施例的流程示意图；
[0065]图7为本发明终端远程交互系统第一实施例的功能模块示意图；
[0066]图8为图7中发送模块的细化功能模块示意图；
[0067]图9为本发明终端远程交互系统第二实施例的功能模块示意图；
[0068]图10为本发明终端远程交互系统第三实施例的功能模块示意图。
[0069]本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
【具体实施方式】
[0070]应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0071]本发明提供一种终端远程交互方法。
[0072]参照图1，图1为本发明终端远程交互方法第一实施例的流程示意图。
[0073]本实施例提出的终端远程交互方法，包括:
[0074]步骤S10，在侦测到第一终端发送的音视频连接请求时，服务器建立第一终端与第二终端之间的音视频通路；
[0075]在本实施例中，第一终端和第二终端可包括显示装置、麦克风、视频采集装置(如摄像头)以及音频输出装置(扬声器)，在本实施例中该麦克风优选为定向麦克风，减少拾取到的音频信号中的噪音信号，提高识别准确率，同时音频输出装置优选为定向扬声器，保证输出的音频数据其它人不能听到，该显示装置、麦克风、视频采集装置以及音频输出装置可一体化设置，或者为了数据采集的便捷性可分开设置于不同的地方，并且通信连接。
[0076]在本实施例中，用户可在发送音视频连接请求后，进行连线专家的选择，具体方式如下:
[0077]A、所述步骤SlO包括:
[0078]在侦测到第一终端发送的音视频连接请求时，所述服务器向第一终端推送专家选择界面，以供用户基于第一终端显示的专家选择界面选择对应的专家；
[0079]在侦测到第一终端发送的选择请求时，所述服务器基于所述选择请求锁定的对应的专家；
[0080]所述服务器基于锁定的专家所对应的联系信息，向对应的第二终端发送音视频连接请求；
[0081]在接收到第二终端基于所述音视频连接请求反馈的确认信息时，所述服务器建立第一终端与第二终端之间的音视频通路。
[0082]在本实施例中，用户可基于专家选择界面选择对应的专家，灵活性较高，同时为提高接通的成功率，可在专家选择界面显示各个专家的状态信息，如该专家当前处于忙碌或者空闲状态，忙碌状态是指该专家对应的第二终端正在与其它终端通信，而空闲状态是指该专家对应的第二终端并未与其它终端通信，用户可基于各个专家的状态选择对应的专家进行咨询；进一步地，为提高业务处理效率，可在专家选择界面显示各个专家擅长的业务类型信息，用户基于该业务类型信息可快速进行选择，不会出现重新选择的情况。该专家对应的联系信息可对应与专家的账号信息。
[0083]B、所述步骤SlO包括:
[0084]在侦测到第一终端发送的音视频连接请求时，所述服务器确定空闲专家；
[0085]在确定的空闲专家为多个时，所述服务器基于预设的专家优先级确定多个空闲专家中优先级最高的专家；
[0086]所述服务器基于优先级最高的专家所对应的联系信息，向对应的第二终端发送音视频连接请求；
[0087]在接收到第二终端基于所述音视频连接请求反馈的确认信息时，所述服务器建立第一终端与第二终端之间的音视频通路。
[0088]在本实施例中，专家对应的联系信息可为专家的账号信息，该预设的专家优先级可为预设的专家排列顺序、或者各个专家的专业能力由低到高的排名等。在本实施例中，可省去用户的选择过程，效率较高。
[0089]C、所述步骤SlO包括:
[0090]在侦测到第一终端发送的音视频连接请求时，所述服务器确定空闲专家；
[0091]在确定的空闲专家为多个时，所述服务器向各个空闲专家对应的第二终端发起群呼；
[0092]在接收基于所述群呼反馈的响应信息时，所述服务器停止群呼，并建立第一终端与反馈响应信息的第二终端之间的音视频通路。
[0093]该方案对各个空闲专家对应的第二终端发起群呼时，可首先确定各个空闲专家对应的联系信息，并向各个联系信息对应的第二终端发起群呼，第二终端在接收到群呼请求时，可显示响应确认界面，以供第二终端一侧的专家选择响应或者拒绝群呼请求；在接收到专家输入的响应群呼请求时，所述第二终端向服务器反馈响应信息。
[0094]以上所列举出的三种进行连线专家的选择的方式仅仅为示例性的，本领域技术人员利用本发明的技术思想，根据其具体需求所提出的其他进行连线专家的选择的方式均在本发明的保护范围内，在此不进行一一穷举。
[0095]在本实施例中，第二终端为一个也可为多个，可基于业务需求连接不同的专家。本领域技术人员可以理解的是，为提高系统的智能化，在侦测到第一终端发送的音视频连接请求时，服务器向终端推送业务类型选择界面，以供用户基于所述业务类型选择界面选择对应的业务类型；在接收到用户基于所述业务类型选择界面发送的业务类型信息时，所述服务器基于预设的业务类型信息与专家联系信息之间的映射关系，确定当前业务类型所对应的专家联系信息，并建立第一终端与确定的额专家信息所对应的第二终端之间的音视频通路。进一步地，所述服务器基于预设的业务类型信息与专家联系信息之间的映射关系，确定的当前业务类型所对应的专家联系信息为多个时，可向第一终端推送专家选择界面以供用户选择对应的专家，也可基于预设的专家优先级选择对应的专家。
[0096]步骤S20，所述服务器基于所述视频通路将所述第一终端发送的音频和视频数据转发至第二终端，以供第二终端显示第一终端发送的视频数据的同时，播放第一终端发送的音频数据；
[0097]步骤S30，所述服务器基于所述视频通路将第二终端发送的音频和视频数据转发至第一终端，以供第一终端显示第二终端发送的视频数据的同时，播放第二终端发送的音频数据；
[0098]在本实施例中，步骤S20和步骤S30没有先后顺序。
[0099]在本实施例中，由于第一终端发送的多路视频数据，如银行柜员所在的终端为第一终端时，该第一终端可采集银行柜员的视频数据，单据以及合同等的视频数据以及客户的视频数据，此时可将每路视频数据添加至预设的显示界面中的对应位置处，并将添加视频数据的视频数据显示界面推送至第二终端进行显示。服务器将第二终端的视频数据发送至第一终端的原理同理。
[0100]步骤S40，在侦测到第二终端基于视频数据显示界面触发的批注操作时，所述服务器获取所述批注操作对应的位置信息以及批注内容，以生成批注信息；
[0101]在本实施例中，用户可基于多种方式触发批注操作，例如基于视频数据显示界面上的批出控件触发批注操作，或者基于在触摸屏上产生滑动轨迹触发批注操作，该批注操作触发方式可有多种，在此不做限定，本领域技术人员利用本发明的技术思想，根据其具体需求所提出的批注操作触发方式均在本发明的保护范围内。
[0102]在侦测到批注操作时，获取批注操作对应的位置信息，进行批注操作的像素点的位置信息，或者批注操作在当前视频数据显示界面上的位置信息。
[0103]步骤S50，所述服务器将所述位置信息发送给第一终端，以供第一终端基于所述位置信息在其显示屏显示对应的批注信息。
[0104]在本实施例中，第一终端基于该位置信息即可在其显示屏显示对应的批注信息，例如，第一终端改变其视频数据显示界面中对应位置信息处的颜色，或者添加标识等，形成最终的批注信息。
[0105]本实施例提出的终端远程交互方法，在侦测到第二终端基于视频数据显示界面触发的批注操作时，所述服务器获取所述批注操作对应的位置信息并将所述位置信息发送给第一终端，以供第一终端基于所述位置信息在其显示屏的对应位置处显示对应的批注信息，使得第一终端可及时显示第二终端基于当前显示的视频数据的批注内容，以便用户及时知晓单据等资料中的问题，提高业务处理效率。
[0106]进一步地，参照图2，为减小用户进行信息交互过程中的干扰，在本发明终端远程交互方法第一实施例中，所述步骤S20包括:
[0107]步骤S21，在接收到第一终端发送的音频数据和视频数据时，所述服务器确定所述视频数据中的背景区域；
[0108]在本实施例中，可基于人形轮廓技术识别述视频数据中的背景区域，例如，基于视频数据中颜色的变换识别出各个颜色变换的边界轮廓，并将各个边界轮廓与预设的人形轮廓进行比对，得到对应的人形轮廓，则人形轮廓之外的区域为背景区域。
[0109]步骤S22，所述服务器对确定的背景区域进行预处理，并基于所述视频通路将所述音频数据以及预处理之后的视频数据发送至所述第二终端，以供第二终端显示预处理后的视频数据的同时，播放所述音频数据。
[0110]在本实施例中，对背景区域的预处理包括多种方式，如虚化背景区域、或者将背景区域替换为预设的图片，该背景区域的预处理方式可有多种，在此不做限定，本领域技术人员利用本发明的技术思想，根据其具体需求所提出的背景区域的预处理方式均在本发明的保护范围内。
[0111]进一步地，为提高用户功能的多样性，提高业务办理效率，参照图3，基于第一实施例提出本发明终端交互方法第二实施例，在本实施例中步骤S1之后还包括步骤:
[0112]步骤S60，在侦测到第二终端基于视频数据显示界面触发的放大或者缩小操作时，所述服务器确定进行放大或者缩小的视频数据，以及放大或者缩小的比例；
[0113]步骤S70，所述服务器对当前显示界面中对应的视频数据按照确定的比例进行放大或者缩小操作，并将放大或缩小操作后的视频数据显示界面发送给所述第二终端，以供第二终端进行显示。
[0114]在本实施例中，用户可对视频显示界面上显示的视频数据进行放大操作，以使视频终端中的单据等信息更加清楚，或者对视频显示界面上显示的视频数据进行缩小操作，以进行全局观察。
[0115]进一步地，为提高功能多样性，参照图4，基于第一和第二实施例提出本发明终端远程交互方法第三实施例，在本实施例中，步骤S20之前还包括步骤:
[0116]步骤S80，所述第一终端对采集到的视频数据进行转置或者裁剪处理，并将音频数据以及转置或裁剪后的视频数据发送至所述服务器。
[0117]在本实施例中，视频数据的转置方式如图5所示，裁剪方式同理将视频数据裁剪为预设大小。
[0118]进一步地，为提高用户安全性以及功能多样性，参照图6，基于第一至第三任一实施例提出本发明终端远程交互方法第四实施例，在本实施例中所述步骤S1之前还包括:
[0119]步骤S90，在侦测到第一终端发送的登录请求时，所述服务器基于第一终端发送的登录请求确定对应的登录信息；
[0120]步骤S100，在所述登录信息为预设类型的登录信息时，所述服务器向所述第一终端发送视频请求触发界面，以供用户基于第一终端基于所述视频请求触发界面触发视频请求。
[0121]在本实施例中，登录信息可为用户的登录账号，例如在银行系统中，该预设类型的信息可为银行柜员的登录账号，在登录账户为银行柜员的登录账号时，才向第一终端发送视频请求触发界面，以保证安全性。本领域技术人员可以理解是，可对于不同类型的登录信息设置不同的界面，例如银行办理业务时，银行柜员与用户使用不同的界面，此时步骤S80之后，该方法还包括在所述登录信息不是预设类型的信息时，所述服务器向所述第一终端发送控制界面。
[0122]本发明还提出一种终端远程交互系统。
[0123]参照图7，图7为本发明终端远程交互系统第一实施例的功能模块示意图。
[0124]需要强调的是，对本领域的技术人员来说，图7所示功能模块图仅仅是一个较佳实施例的示例图，本领域的技术人员围绕图7所示的终端远程交互系统的功能模块，可轻易进行新的功能模块的补充；各功能模块的名称是自定义名称，仅用于辅助理解该终端远程交互系统的各个程序功能块，不用于限定本发明的技术方案，本发明技术方案的核心是，各自定义名称的功能模块所要达成的功能。
[0125]本实施例提出的终端远程交互系统，包括:
[0126]音视频通路建立模块10，用于在侦测到第一终端发送的视频连接请求时，建立第一终端与第二终端之间的音视频通路；
[0127]在本实施例中，第一终端和第二终端可包括显示装置、麦克风、视频采集装置(如摄像头)以及音频输出装置(扬声器)，在本实施例中该麦克风优选为定向麦克风，减少拾取到的音频信号中的噪音信号，提高识别准确率，同时音频输出装置优选为定向扬声器，保证输出的音频数据其它人不能听到，该显示装置、麦克风、视频采集装置以及音频输出装置可一体化设置，或者为了数据采集的便捷性可分开设置于不同的地方，并且通信连接。
[0128]在本实施例中，用户可在发送音视频连接请求后，进行连线专家的选择，具体方式如下:
[0129]A、所述音视频通路建立模块10包括:
[0130]界面推送单元，用于在侦测到第一终端发送的连接请求时，向第一终端推送专家选择界面，以供用户基于第一终端显示的专家选择界面选择对应的专家；
[0131]锁定单元，用于在侦测到第一终端发送的选择请求时，基于所述选择请求锁定的对应的专家；
[0132]发送单元基于锁定的专家所对应的联系信息，向对应的第二终端发送音视频连接请求；
[0133]处理单元，用于在接收到第二终端基于所述音视频连接请求反馈的确认信息时，建立第一终端与第二终端之间的音视频通路。
[0134]在本实施例中，用户可基于专家选择界面选择对应的专家，灵活性较高，同时为提高接通的成功率，可在专家选择界面显示各个专家的状态信息，如该专家当前处于忙碌或者空闲状态，忙碌状态是指该专家对应的第二终端正在与其它终端通信，而空闲状态是指该专家对应的第二终端并未与其它终端通信，用户可基于各个专家的状态选择对应的专家进行咨询；进一步地，为提高业务处理效率，可在专家选择界面显示各个专家擅长的业务类型信息，用户基于该业务类型信息可快速进行选择，不会出现重新选择的情况。该专家对应的联系信息可对应与专家的账号信息。
[0135]B、所述音视频通路建立模块10包括:
[0136]确定单元，用于在侦测到第一终端发送的视频连接请求时，确定空闲专家，以及在确定的空闲专家为多个时，基于预设的专家优先级确定多个空闲专家中优先级最高的专家；
[0137]发送单元，用于基于优先级最高的专家所对应的联系信息，向对应的第二终端发送连接视频请求；
[0138]处理单元，用于在接收到第二终端基于所述视频连接请求反馈的确认信息时，建立第一终端与第二终端之间的视频通路。
[0139]在本实施例中，专家对应的联系信息可为专家的账号信息，该预设的专家优先级可为预设的专家排列顺序、或者各个专家的专业能力由低到高的排名等。在本实施例中，可省去用户的选择过程，效率较高。
[0140]以上所列举出的两种进行连线专家的选择的方式仅仅为示例性的，本领域技术人员利用本发明的技术思想，根据其具体需求所提出的其他进行连线专家的选择的方式均在本发明的保护范围内，在此不进行一一穷举。
[0141]在本实施例中，第二终端为一个也可为多个，可基于业务需求连接不同的专家。本领域技术人员可以理解的是，为提高系统的智能化，在侦测到第一终端发送的音视频连接请求时，界面推送单元向终端推送业务类型选择界面，以供用户基于所述业务类型选择界面选择对应的业务类型；在接收到用户基于所述业务类型选择界面发送的业务类型信息时，确定单元基于预设的业务类型信息与专家联系信息之间的映射关系，确定当前业务类型所对应的专家联系信息；处理单元建立第一终端与确定的专家信息所对应的第二终端之间的音视频通路。进一步地，所述服务器基于预设的业务类型信息与专家联系信息之间的映射关系，确定的当前业务类型所对应的专家联系信息为多个时，界面推送单元可向第一终端推送专家选择界面以供用户选择对应的专家，也可基于预设的专家优先级选择对应的专家。
[0142]发送模块20，用于基于所述视频通路将所述第一终端发送的音频和视频数据转发至第二终端，以供第二终端显示第一终端发送的视频数据的同时，播放第一终端发送的音频数据，以及基于所述视频通路将第二终端发送的音频和视频数据转发至第一终端，以供第一终端显示第二终端发送的视频数据的同时，播放第二终端发送的音频数据；
[0143]在本实施例中，由于第一终端发送的多路视频数据，如银行柜员所在的终端为第一终端时，该第一终端可采集银行柜员的视频数据，单据以及合同等的视频数据以及客户的视频数据，此时可将每路视频数据添加至预设的显示界面中的对应位置处，并将添加视频数据的视频数据显示界面推送至第二终端进行显示。服务器将第二终端的视频数据发送至第一终端的原理同理。
[0144]获取模块30，用于在侦测到第二终端基于视频数据显示界面触发的批注操作时，获取所述批注操作对应的位置信息；
[0145]在本实施例中，用户可基于多种方式触发批注操作，例如基于视频数据显示界面上的批出控件触发批注操作，或者基于在触摸屏上产生滑动轨迹触发批注操作，该批注操作触发方式可有多种，在此不做限定，本领域技术人员利用本发明的技术思想，根据其具体需求所提出的批注操作触发方式均在本发明的保护范围内。
[0146]在侦测到批注操作时，获取模块30获取批注操作对应的位置信息，进行批注操作的像素点的位置信息，或者批注操作在当前视频数据显示界面上的位置信息。
[0147]所述发送模块20还用于将所述位置信息发送给第一终端，以供第一终端基于所述位置信息在其显示屏显示对应的批注信息。
[0148]在本实施例中，第一终端基于该位置信息即可在其显示屏显示对应的批注信息，例如，第一终端改变其视频数据显示界面中对应位置信息处的颜色，或者添加标识等，形成最终的批注信息。
[0149]本实施例提出的终端远程交互系统，在侦测到第二终端基于视频数据显示界面触发的批注操作时，批注信息生成模块获取所述批注操作对应的位置信息并将所述位置信息发送给第一终端，以供第一终端基于所述位置信息在其显示屏的对应位置处显示对应的批注信息，使得第一终端可及时显示第二终端基于当前显示的视频数据的批注内容，以便用户及时知晓单据等资料中的问题，提高业务处理效率。
[0150]进一步地，参照图8，为减小用户进行信息交互过程中的干扰，在本发明终端远程交互系统第一实施例中，所述发送模块20包括:
[0151]确定单元21，用于在接收到第一终端发送的视频数据时，确定所述视频数据中的背景区域；
[0152]在本实施例中，可基于人形轮廓技术识别述视频数据中的背景区域，例如，基于视频数据中颜色的变换识别出各个颜色变换的边界轮廓，并将各个边界轮廓与预设的人形轮廓进行比对，得到对应的人形轮廓，则人形轮廓之外的区域为背景区域。
[0153]预处理单元22，用于对确定的背景区域进行预处理；
[0154]发送单元23，用于基于所述视频通路将所述音频数据以及预处理之后的视频数据发送至所述第二终端，以供第二终端显示预处理后的视频数据的同时，播放所述音频数据。
[0155]在本实施例中，对背景区域的预处理包括多种方式，如虚化背景区域、或者将背景区域替换为预设的图片，该背景区域的预处理方式可有多种，在此不做限定，本领域技术人员利用本发明的技术思想，根据其具体需求所提出的背景区域的预处理方式均在本发明的保护范围内。
[0156]进一步地，为提高用户功能的多样性，提高业务办理效率，参照图9，基于第一实施例提出本发明终端交互系统第二实施例，在本实施例中所述终端交互系统还包括:
[0157]确定模块40，用于在侦测到第二终端基于视频数据显示界面触发的放大或者缩小操作时，确定进行放大或者缩小的视频数据，以及放大或者缩小的比例；
[0158]处理模块50，用于对当前显示界面中对应的视频数据按照确定的比例进行放大或者缩小操作；
[0159]所述发送模块20还用于将放大或缩小操作后的视频数据显示界面发送给所述第二终端，以供第二终端进行显示。
[0160]在本实施例中，用户可对视频显示界面上显示的视频数据进行放大操作，以使视频终端中的单据等信息更加清楚，或者对视频显示界面上显示的视频数据进行缩小操作，以进行全局观察。
[0161]进一步地，为提高用户安全性以及功能多样性，参照图10，基于第一和第二实施例提出本发明终端远程交互系统第三实施例，在本实施例中所述终端交互系统还包括:
[0162]确定模块60，用于在侦测到第一终端发送的登录请求时，所述服务器基于第一终端发送的登录请求确定对应的登录信息；
[0163]界面提供模块70，用于在所述登录信息为预设类型的登录信息时，所述第一终端发送视频请求触发界面，以供用户基于第一终端基于所述视频请求触发界面触发视频请求。
[0164]在本实施例中，登录信息可为用户的登录账号，例如在银行系统中，该预设类型的信息可为银行柜员的登录账号，在登录账户为银行柜员的登录账号时，才向第一终端发送视频请求触发界面，以保证安全性。本领域技术人员可以理解是，可对于不同类型的登录信息设置不同的界面，例如银行办理业务时，银行柜员与用户使用不同的界面，界面提供模块70还用于在所述登录信息不是预设类型的信息时，所述服务器向所述第一终端发送控制界面。
[0165]需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0166]上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0167]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如R0M/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的【技术领域】，均同理包括在本发明的专利保护范围内。
【权利要求】
1.一种终端远程交互方法，其特征在于，所述终端远程交互方法包括以下步骤: 在侦测到第一终端发送的音视频连接请求时，服务器建立第一终端与第二终端之间的音视频通路； 所述服务器基于所述视频通路将所述第一终端发送的音频和视频数据转发至第二终端，以供第二终端显示第一终端发送的视频数据的同时，播放第一终端发送的音频数据； 所述服务器基于所述视频通路将第二终端发送的音频和视频数据转发至第一终端，以供第一终端显示第二终端发送的视频数据的同时，播放第二终端发送的音频数据； 在侦测到第二终端基于视频数据显示界面触发的批注操作时，所述服务器获取所述批注操作对应的位置信息； 所述服务器将所述位置信息发送给第一终端，以供第一终端基于所述位置信息在其显示屏显示对应的批注信息。
2.如权利要求1所述的终端远程交互方法，其特征在于，所述服务器基于所述视频通路将所述第一终端发送的音频和视频数据转发至第二终端，以供第二终端显示第一终端发送的视频数据的同时，播放第一终端发送的音频数据的步骤包括: 在接收到第一终端发送的音频数据和视频数据时，所述服务器确定所述视频数据中的背景区域； 所述服务器对确定的背景区域进行预处理，并基于所述视频通路将所述音频数据以及预处理之后的视频数据发送至所述第二终端，以供第二终端显示预处理后的视频数据的同时，播放所述音频数据。
3.如权利要求1所述的终端远程交互方法，其特征在于，所述在侦测到第一终端发送的音视频连接请求时，服务器建立第一终端与第二终端之间的音视频通路的步骤之后，所述终端远程交互方法还包括: 在侦测到第二终端基于视频数据显示界面触发的放大或者缩小操作时，所述服务器确定进行放大或者缩小的视频数据，以及放大或者缩小的比例； 所述服务器对当前显示界面中对应的视频数据按照确定的比例进行放大或者缩小操作，并将放大或缩小操作后的视频数据显示界面发送给所述第二终端，以供第二终端进行显不O
4.如权利要求1-3任一项所述的终端远程交互方法，其特征在于，所述服务器基于所述视频通路将所述第一终端发送的音频和视频数据转发至第二终端，以供第二终端显示第一终端发送的视频数据的同时，播放第一终端发送的音频数据的步骤之前，所述终端远程交互方法还包括: 所述第一终端对采集到的视频数据进行转置或者裁剪处理，并将音频数据以及转置或裁剪后的视频数据发送至所述服务器。
5.如权利要求1-3任一项所述的终端远程交互方法，其特征在于，所述在侦测到第一终端发送的视频连接请求时，服务器建立第一终端与第二终端之间的视频通路的步骤之前，所述终端远程交互方法包括: 在侦测到第一终端发送的登录请求时，所述服务器基于第一终端发送的登录请求确定对应的登录信息； 在所述登录信息为预设类型的登录信息时，所述服务器向所述第一终端发送视频请求触发界面，以供用户基于第一终端基于所述视频请求触发界面触发视频请求。
6.如权利要求1所述的终端远程交互方法，其特征在于，所述在侦测到第一终端发送的音视频连接请求时，服务器建立第一终端与第二终端之间的音视频通路的步骤包括: 在侦测到第一终端发送的音视频连接请求时，所述服务器向第一终端推送专家选择界面，以供用户基于第一终端显示的专家选择界面选择对应的专家； 在侦测到第一终端发送的选择请求时，所述服务器基于所述选择请求锁定的对应的专家； 所述服务器基于锁定的专家所对应的联系信息，向对应的第二终端发送音视频连接请求； 在接收到第二终端基于所述音视频连接请求反馈的确认信息时，所述服务器建立第一终端与第二终端之间的音视频通路。
7.如权利要求1所述的终端远程交互方法，其特征在于，所述在侦测到第一终端发送的音视频连接请求时，服务器建立第一终端与第二终端之间的音视频通路的步骤包括: 在侦测到第一终端发送的音视频连接请求时，所述服务器确定空闲专家； 在确定的空闲专家为多个时，所述服务器基于预设的专家优先级确定多个空闲专家中优先级最高的专家； 所述服务器基于优先级最高的专家所对应的联系信息，向对应的第二终端发送音视频连接请求； 在接收到第二终端基于所述音视频连接请求反馈的确认信息时，所述服务器建立第一终端与第二终端之间的音视频通路。
8.一种终端远程交互系统，其特征在于，所述终端远程交互系统包括: 音视频通路建立模块，用于在侦测到第一终端发送的视频连接请求时，建立第一终端与第二终端之间的音视频通路； 发送模块，用于基于所述视频通路将所述第一终端发送的音频和视频数据转发至第二终端，以供第二终端显示第一终端发送的视频数据的同时，播放第一终端发送的音频数据，以及基于所述视频通路将第二终端发送的音频和视频数据转发至第一终端，以供第一终端显示第二终端发送的视频数据的同时，播放第二终端发送的音频数据； 获取模块，用于在侦测到第二终端基于视频数据显示界面触发的批注操作时，获取所述批注操作对应的位置信息； 所述发送模块还用于将所述位置信息发送给第一终端，以供第一终端基于所述位置信息在其显示屏显示对应的批注信息。
9.如权利要求8所述的终端远程交互系统，其特征在于，所述发送模块包括: 确定单元，用于在接收到第一终端发送的视频数据时，确定所述视频数据中的背景区域； 预处理单元，用于对确定的背景区域进行预处理； 发送单元，用于基于所述视频通路将所述音频数据以及预处理之后的视频数据发送至所述第二终端，以供第二终端显示预处理后的视频数据的同时，播放所述音频数据。
10.如权利要求8所述的终端远程交互系统，其特征在于，所述终端远程交互系统还包括: 确定模块，用于在侦测到第二终端基于视频数据显示界面触发的放大或者缩小操作时，确定进行放大或者缩小的视频数据，以及放大或者缩小的比例； 处理模块，用于对当前显示界面中对应的视频数据按照确定的比例进行放大或者缩小操作； 所述发送模块还用于将放大或缩小操作后的视频数据显示界面发送给所述第二终端，以供第二终端进行显示。
11.如权利要求8-10任一项所述的终端远程交互系统，其特征在于，所述终端远程交互系统还包括: 确定模块，用于在侦测到第一终端发送的登录请求时，所述服务器基于第一终端发送的登录请求确定对应的登录信息； 界面提供模块，用于在所述登录信息为预设类型的登录信息时，所述第一终端发送视频请求触发界面，以供用户基于第一终端基于所述视频请求触发界面触发视频请求。
12.如权利要求8所述的终端远程交互系统，其特征在于，所述音视频通路建立模块包括: 界面推送单元，用于在侦测到第一终端发送的连接请求时，向第一终端推送专家选择界面，以供用户基于第一终端显示的专家选择界面选择对应的专家； 锁定单元，用于在侦测到第一终端发送的选择请求时，基于所述选择请求锁定的对应的专家； 发送单元基于锁定的专家所对应的联系信息，向对应的第二终端发送音视频连接请求； 处理单元，用于在接收到第二终端基于所述音视频连接请求反馈的确认信息时，建立第一终端与第二终端之间的音视频通路。
13.如权利要求8所述的终端远程交互系统，其特征在于，所述音视频通路建立模块包括: 确定单元，用于在侦测到第一终端发送的视频连接请求时，确定空闲专家，以及在确定的空闲专家为多个时，基于预设的专家优先级确定多个空闲专家中优先级最高的专家； 发送单元，用于基于优先级最高的专家所对应的联系信息，向对应的第二终端发送连接视频请求； 处理单元，用于在接收到第二终端基于所述视频连接请求反馈的确认信息时，建立第一终端与第二终端之间的视频通路。
【文档编号】H04N7/14GK104333729SQ201410493700
【公开日】2015年2月4日 申请日期:2014年9月24日 优先权日:2014年9月24日
【发明者】罗伶, 胥继锋, 夏雷, 邓检生, 冯皓东, 马湘 申请人:招商银行股份有限公司