一种数据接力播放方法及智能设备与流程

文档序号:29265681发布日期:2022-03-16 13:56阅读:237来源:国知局
一种数据接力播放方法及智能设备与流程

1.本发明涉及智能家居领域,尤其涉及一种数据接力播放方法及智能设备。


背景技术:

2.在家居场景中可安装多种智能设备,这些智能设备分布于家庭中的不同区域,例如客厅中放置有电视1,卧室中放置有电视2,厨房中放置有智能冰箱,门体上设置智能门镜等,随着家电、家居设备的智能化发展,这些设备可能具备视频播放、音频播放、图像播放、图像采集、声音采集等功能中的至少一种。随着用户活动,用户所处的位置区域会发生转移,例如用户之前在客厅中观看电视1播放的视频a,若用户移动到卧室内想继续观看视频a时,需要在电视2中重新搜索视频a、搜索后点击播放视频a,并将电视2中的视频a调整至与电视1相同的播放进度,从而在用户活动区域和可用设备发生切换时,实现媒体数据的接力续播,但这种实现方式下用户操作较为繁复。


技术实现要素:

3.为解决上述背景技术中存在的问题,本发明提供一种数据接力播放方法及智能设备,实现多设备间媒体数据的共享和交互,在切换智能设备时,提升媒体数据接力播放的快捷性。
4.第一方面提供的智能设备,包括:
5.播放装置,用于播放媒体数据;
6.通信器,用于与服务器或其他智能设备通信连接;
7.控制器,被配置为执行:
8.接收到在所述智能设备上接续播放第一目标设备当前在播内容的操作指令,发送第一数据接力请求;所述第一数据接力请求用于向所述第一目标设备获取其当前在播内容的媒体数据和播放进度;
9.接收所述媒体数据和播放进度,并控制播放装置自动跳转至所述播放进度处,继续播放所述媒体数据。
10.在第一方面的一种示例性的实现方式中,所述播放装置包括显示器,所述控制器还被配置为执行:
11.在接收到对接力应用页面的访问请求时,查询与所述智能设备相关联的可接力设备当前在播内容的媒体信息,所述媒体信息包括媒体类型和媒体名称;
12.控制显示器在所述接力应用页面中显示生成的播放列表;其中,所述播放列表包括若干接力选项,所述接力选项包括可接力设备的媒体信息和设备信息;
13.接收到对所述播放列表中目标接力选项的选定操作,根据所述目标接力选项对应的第一目标设备,生成所述第一数据接力请求。
14.在第一方面的一种示例性的实现方式中,所述智能设备还包括声音采集装置,所述控制器还被配置为执行:
15.获取声音采集装置采集的由用户输入的语音信息,并对所述语音信息进行解析;
16.若解析出用户意图为接续播放目标设备的媒体数据,则根据设备列表,查询第一目标设备的名称对应的目标设备id;其中,所述设备列表记录有当前可接力设备的名称与设备id的对应关系;
17.根据所述目标设备id生成所述第一数据接力请求。
18.在第一方面的一种示例性的实现方式中,所述控制器被配置为:向所述第一目标设备发送所述第一数据接力请求;或者,向所述服务器发送所述第一数据接力请求,所述第一数据接力请求还用于指示所述服务器将所述第一数据接力请求转发给所述第一目标设备,以及指示所述服务器将从所述第一目标设备接收的所述媒体数据和播放进度发送给所述智能设备。
19.在第一方面的一种示例性的实现方式中,所述控制器还被配置为执行:
20.接收到播放第二目标设备采集的实时媒体数据的操作指令,发送第二数据接力请求;所述第二数据接力请求用于指示所述第二目标设备采集实时媒体数据,并将所述实时媒体数据进行编码后发送给智能设备;
21.接收并解码所述实时媒体数据,控制所述播放装置播放解码后的实时媒体数据。
22.在第一方面的一种示例性的实现方式中,所述控制器还被配置为:接收到退出接力的操作指令,发送终止指令,所述终止指令用于指示所述第二目标设备停止采集及编码所述实时媒体数据。
23.在第一方面的一种示例性的实现方式中,所述控制器被配置为:向所述第二目标设备发送所述第二数据接力请求和所述终止指令;或者,向所述服务器发送所述第二数据接力请求和所述终止指令,所述第二数据接力请求用于指示所述服务器将所述第二数据接力请求转发给所述第二目标设备,以及指示所述服务器将从所述第二目标设备接收的所述实时媒体数据发送给所述智能设备,所述终止指令还用于指示所述服务器将所述终止指令转发给所述第二目标设备。
24.家居场景中的智能设备之间可进行通信交互,例如采用局域网内设备间的直接通信,或者通过服务器进行间接通信等形式,第一方面中的智能设备是发起接力请求的一端,目标设备是被接力的一端,即智能设备从目标设备获取媒体数据后于本端进行接力续播,用户比如通过设备专门配置接力应用页面中选定目标设备,然后智能设备向目标设备发送数据接力请求,目标设备响应于该数据接力请求,将当前正在播放的媒体数据及其播放进度发给智能设备,智能设备即可以播放进度作为接力节点基准,直接跳转至播放进度处接续播放之后的媒体数据,实现在切换设备场景下同一媒资的接力续播。例如,客厅电视正在播放媒资a,用户从客厅移动到卧室,并期望在卧室电视上接力播放媒资a,则将客厅电视选定为目标设备,客厅电视将媒资a的数据发送到卧室电视,例如媒资a的视频时长为40min,客厅电视当前播放至第20min(二分之一进度)处,则将该播放进度一并发送给卧室电视,则卧室电视直接定位至第20min播放节点处,接续播放媒资a的第20mim~第40min区间内的媒体数据。第一方面实现多智能设备间媒体数据的共享,用户无需在不同设备上分别操作,即可查看其他设备上播放的视听内容,打破设备间的信息孤岛,在用户切换区域和设备时,只需向新区域内的智能设备指示期望接力的目标设备对象,即可快速完成接力播放,无需用户执行繁琐操作,并且播放方式灵活快捷,提升媒体接力播放的效率和用户体验。
25.第二方面提供的智能设备,包括:
26.播放装置,用于播放媒体数据;
27.通信器,用于与服务器或其他智能设备通信连接;
28.控制器,被配置为执行:
29.接收到第一设备发送的数据接力请求,将当前在播的媒体数据及其播放进度发送给所述第一设备,所述播放进度用于使所述第一设备跳转至播放进度处继续播放所述媒体数据;
30.或者,接收到所述服务器发送的数据接力请求,将当前在播的所述媒体数据及其播放进度经由所述服务器转达给所述第一设备。
31.在第二方面的一种示例性的实现方式中,所述控制器被配置为按照如下方式发送所述媒体数据:
32.接收到所述数据接力请求,查询当前在播的媒体数据的来源;
33.若所述媒体数据来源于本地存储,则生成与本地存储路径对应的网络访问路径,并将所述网络访问路径发送给所述第一设备,或者将所述网络访问路径经由服务器转发给所述第一设备;
34.接收到所述第一设备对所述网络访问路径的访问请求,从所述网络访问路径中解析出所述本地存储路径,并将本地存储路径中的媒体数据转换为网络媒体流,将所述网络媒体流发送给所述第一设备,或者将所述网络媒体流经由服务器转发给所述第一设备;
35.或者,若所述媒体数据来源于网络资源,则将所述媒体数据的url地址发送给所述第一设备,或者将所述url地址经由服务器转发给所述第一设备。
36.第二方面中的智能设备对应于第一方面中被接力的第一目标设备,第一设备对应于第一方面中发起接力请求的智能设备,第二方面中智能设备接收到数据接力请求时,查询当前在播的媒资,然后将其媒体数据和当前的播放进度直接发给第一设备或经由服务器转达至第一设备,使第一设备端对同一媒资进行接力续播。第二方面中的智能设备还可根据当前在播的媒资来源(例如本地或网路)、媒资类型(例如视频、音频、图像等)等信息,实现媒体数据向第一设备端的传输和共享。第二方面实现多智能设备间媒体数据的共享,用户无需在不同设备上分别操作,即可查看其他设备上播放的视听内容,打破设备间的信息孤岛,在用户切换区域和设备后,只需向第一设备指示期望接力哪一智能设备,即可快速完成接力播放,无需用户执行其他多余和繁琐的操作,并且播放方式灵活快捷,提升了媒体接力播放的效率和用户体验。
37.第三方面提供的智能设备,包括:
38.采集装置,用于采集实时媒体数据,所述采集装置包括图像采集装置和/或声音采集装置;
39.通信器,用于与服务器或其他智能设备通信连接;
40.控制器,被配置为执行:
41.接收到第一设备发送的数据接力请求,控制采集装置采集实时媒体数据;
42.对所述实时媒体数据进行编码,并将编码后的实时媒体数据发送给所述第一设备,以使所述第一设备对实时媒体数据进行解码播放;或者,若所述数据接力请求是服务器发送的,则将编码后的实时媒体数据经由服务器转发给所述第一设备;
43.当接收到所述第一设备在退出接力时生成的终止指令,停止采集及编码所述实时媒体数据。
44.第三方面中的智能设备对应于第一方面中被接力的第二目标设备,第一设备对应于第一方面中发起接力请求的智能设备。在第三方面的场景中,有些智能设备配置有如摄像头、麦克风等采集装置,可以采集实时媒体数据,例如智能门镜上设置有摄像头,可以监控门外画面,从而保证家居安全,用户若想要在其他区域内的智能设备上查看该监控画面,以厨房中带有显示器的智能冰箱为例,智能冰箱向智能门镜(即第一设备)发起数据接力请求,智能门镜启动摄像头并采集视频数据,并对视频数据进行编码,以方便视频传输,然后将编码后的视频数据发送给智能冰箱,智能冰箱对视频数据进行解码播放,这样即便用户从门体移动到厨房,也能通过厨房冰箱查看到门镜摄像头拍摄的视频画面,而不必局限于在门体附近查看。第三方面针对带有具有实时数据采集能力的智能设备,实现随用户移动和区域设备切换,实时采集的媒体数据也能接力播放。
45.第四方面提供的数据接力播放方法,包括:
46.接收到在智能设备上接续播放第一目标设备当前在播内容的操作指令,发送第一数据接力请求;所述第一数据接力请求用于向所述第一目标设备获取其当前在播内容的媒体数据和播放进度;
47.接收所述媒体数据和播放进度,自动跳转至所述播放进度处继续播放所述媒体数据。
48.第五方面提供的数据接力播放方法,包括:
49.接收到第一设备发送的数据接力请求,将当前在播的媒体数据及其播放进度发送给所述第一设备,所述播放进度用于使所述第一设备跳转至播放进度处继续播放所述媒体数据;
50.或者,接收到所述服务器发送的数据接力请求,将当前在播的所述媒体数据及其播放进度经由所述服务器转达给所述第一设备。
51.第六方面提供的数据接力播放方法,包括:
52.接收到第一设备发送的数据接力请求时,控制采集装置采集实时媒体数据;
53.对所述实时媒体数据进行编码,并将编码后的实时媒体数据发送给所述第一设备,以使所述第一设备对实时媒体数据进行解码播放;或者,若所述数据接力请求是服务器发送的,则将编码后的实时媒体数据经由服务器转发给所述第一设备;
54.当接收到所述第一设备在退出接力时生成的终止指令,停止采集及编码所述实时媒体数据。
55.第四方面~第六方面方法部分的其他可选实现方式及具备的有益效果,可对应参照前述第一方面~第三方面的设备部分,此处不再赘述。
附图说明
56.图1示出了根据一些实施例的显示设备的使用场景;
57.图2示出了根据一些实施例的控制装置100的硬件配置框图;
58.图3示出了根据一些实施例的显示设备200的硬件配置框图;
59.图4示出了根据一些实施例的显示设备200中软件配置图;
60.图5(a)示例性示出了一种家居场景中智能设备间的通信架构;
61.图5(b)示例性示出了家居场景中智能设备的接力分布示意图;
62.图6示例性示出了用户从应用中心访问接力应用的示意图;
63.图7示例性示出了接力应用页面中显示播放列表的ui示意图;
64.图8示例性示出了无可接力设备时,接力应用页面的示意图;
65.图9示例性示出了语音接力控制逻辑的示意图;
66.图10示例性示出了目标设备结束播放当前媒资时,发起接力请求的智能设备端的ui显示示意图;
67.图11示例性示出了接力播放的媒体数据来源于目标设备的本地存储时,发起接力的智能设备获取媒体流的逻辑示意图;
68.图12(a1)示例性示出了当设备b在播的媒体数据来源于本地存储,设备a和设备b进行语音接力交互的逻辑流程;
69.图12(a2)示例性示出了当设备b在播的媒体数据来源于网络资源,设备a和设备b进行语音接力交互的逻辑流程;
70.图12(b1)示例性示出了当设备b在播的媒体数据来源于本地存储,设备a和设备b进行ui接力交互的逻辑流程;
71.图12(b2)示例性示出了当设备b在播的媒体数据来源于网络资源,设备a和设备b进行ui接力交互的逻辑流程;
72.图13示例性示出了设备b接力播放设备c采集的实时媒体数据的接力交互逻辑;
73.图14示例性示出了接力发起端设备执行的数据接力播放方法的流程图;
74.图15示例性示出了一种被接力的目标设备执行的数据接力播放方法的流程图;
75.图16示例性示出了另一种被接力的目标设备执行的数据接力播放方法的流程图。
具体实施方式
76.图1为根据实施例中显示设备的使用场景的示意图。如图1所示,显示设备200还与服务器400进行数据通信,用户可通过智能设备300或控制装置100操作显示设备200。
77.在一种示例性的实现方式中,控制装置100可以是遥控器,遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信,及其他短距离通信方式中的至少一种,通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令,来控制显示设备200。
78.在一种示例性的实现方式中,智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑,ar/vr设备等中的任意一种。
79.在一种示例性的实现方式中,也可以使用智能设备300以控制显示设备200。例如,使用在智能设备上运行的应用程序控制显示设备200。
80.在一种示例性的实现方式中,也可使用智能设备300和显示设备进行数据的通信。
81.在一种示例性的实现方式中,显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制,例如,可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制,也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。
82.在一种示例性的实现方式中,显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(lan)、无线局域网(wlan)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群,也可以是多个集群,可以包括一类或多类服务器。
83.图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示,控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。
84.图3示出了根据示例性实施例中显示设备200的硬件配置框图。显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
85.在一种示例性的实现方式中,控制器包括中央处理器,视频处理器,音频处理器,图形处理器,ram,rom,用于输入/输出的第一接口至第n接口。
86.在一种示例性的实现方式中,显示器260包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件,用于接收源自控制器输出的图像信号,进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控ui界面等。
87.在一种示例性的实现方式中,显示器260可为液晶显示器、oled显示器、以及投影显示器中的至少一种,还可以为一种投影装置和投影屏幕。
88.在一种示例性的实现方式中,通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如:通信器可以包括wifi模块,蓝牙模块,有线以太网模块等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。
89.在一种示例性的实现方式中,检测器230用于采集外部环境或与外部交互的信号。例如,检测器230包括光接收器,用于采集环境光线强度的传感器;或者,检测器230包括图像采集器,如摄像头,可以用于采集外部环境场景、用户的属性或用户交互手势,再或者,检测器230包括声音采集器,如麦克风等,用于接收外部声音。
90.在一种示例性的实现方式中,外部装置接口240可以包括但不限于如下:高清多媒体接口接口(hdmi)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(cvbs)、usb输入接口(usb)、rgb端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
91.在一种示例性的实现方式中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器260上显示ui对象的用户命令,控制器250便可以执行与由用户命令选择的对象有关的操作。
92.在一种示例性的实现方式中,所述对象可以是可选对象中的任何一个,例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有:显示连接到超链接页面、文档、图像等操作,或者执行与所述图标相对应程序的操作。
93.在一种示例性的实现方式中控制器包括中央处理器(central processing,unit,
cpu),视频处理器,音频处理器,图形处理器(graphics processing unit,gpu),ram random access memory,ram),rom(read-only memory,rom),用于输入/输出的第一接口至第n接口,通信总线(bus)等中的至少一种。
94.在一种示例性的实现方式中,用户可在显示器260上显示的图形用户界面(gui)输入用户命令,则用户输入接口通过图形用户界面(gui)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
95.在一种示例性的实现方式中,“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic user interface,gui),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素中的至少一种。
96.在一种示例性的实现方式中,用户接口280,为可用于接收控制输入的接口(如:显示设备本体上的实体按键,或其他等)。
97.参见图4,在一种示例性的实现方式中,将系统分为四层,从上至下分别为应用程序(applications)层(简称“应用层”),应用程序框架(application framework)层(简称“框架层”),安卓运行时(android runtime)和系统库层(简称“系统运行库层”),以及内核层。
98.在一种示例性的实现方式中,应用程序层中运行有至少一个应用程序,这些应用程序可以是操作系统自带的窗口(window)程序、系统设置程序或时钟程序等;也可以是第三方开发者所开发的应用程序。在具体实施时,应用程序层中的应用程序包不限于以上举例。
99.框架层为应用程序层的应用程序提供应用编程接口(application programming interface,api)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心,这个中心决定让应用层中的应用程序做出动作。应用程序通过api接口,可在执行中访问系统中的资源和取得系统的服务。
100.如图4所示,本技术实施例中应用程序框架层包括管理器(managers),内容提供者(content provider)等,其中管理器包括以下模块中的至少一个:活动管理器(activity manager)用与和系统中正在运行的所有活动进行交互;位置管理器(location manager)用于给系统服务或应用提供了系统位置服务的访问;文件包管理器(package manager)用于检索当前安装在设备上的应用程序包相关的各种信息;通知管理器(notification manager)用于控制通知消息的显示和清除;窗口管理器(window manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
101.在一种示例性的实现方式中,内核层是硬件和软件之间的层。如图4所示,内核层至少包含以下驱动中的至少一种:音频驱动、显示驱动、蓝牙驱动、摄像头驱动、wifi驱动、usb驱动、hdmi驱动、传感器驱动(如指纹传感器,温度传感器,压力传感器等)、以及电源驱动等。
102.以上实施例介绍了显示设备的硬件/软件架构以及功能实现等内容,该显示设备
兼具视频/图像/文本播放、音频播放、图像采集、声音采集等能力,对于其他智能设备,可根据自身设备类型及功能需求来配置相关硬件,当智能设备具备上述能力中的至少一种时,可支持多媒体数据的接力播放功能。本技术中所述“接力”是指智能设备接续播放其他设备的媒体数据的能力,例如设备a将当前播放的视频数据及其播放进度传递给设备b,设备b跳转至该播放进度处接续播放后续的视频内容,从而呈现出接力的效果。
103.在一些示例性的实现方式中,例如若要求智能设备支持语音控制或录音等类似功能,则为智能设备配置声音采集装置。例如麦克风;若要求智能设备支持视频监控等类似功能,则为智能设备配置图像采集装置,例如摄像头;若要求智能设备具备视频、图像、文本等多媒体文件的显示功能,则为智能设备配置显示器;若要求智能设备具备声音播放功能,则为智能设备配置声音播放器,例如扬声器或其他外部音频输出设备(如音响、耳机等)。智能设备可以兼备一种或多种多媒体播放/采集能力。
104.在一些示例性的实现方式中,针对家居场景,为实现随用户移位和区域内可用设备的切换,快速接力播放多媒体数据,可以为家居中的多个智能设备建立关联。
105.在一些示例性的实现方式中,所述关联可体现为任意两个智能设备间能够端对端直接通信,设备间建立通信连接的方式不限于网络、蓝牙等。可选地,为家居场景中多个智能设备创建通信网络,例如使各智能设备连接同一个局域网,接入通信网络内的任意两个智能设备之间具有关联并且能进行通信交互,通过监控通信网络内智能设备的接入和退网,使得用户无论移动到家居场景中的任意位置区域,都能通过用户当前所在区域(简称为当前区域)内的可用设备查询其他可接力设备,并从可接力设备中选取至少一个目标设备,由目标设备将其多媒体数据发送至当前区域内的设备进行接力播放。
106.在一些示例性的实现方式中,参照图5(a),所述关联可体现为任意两个智能设备通过服务器进行间接通信,即服务器相当于中心设备。可选地,例如在每个智能设备中安装接力应用,用户在接力应用中注册并登录账号,各智能设备可登录相同或不同的账号,服务器监控并记录每个智能设备的账号登录状态,并在检测到设备b发起接力时,根据预设的通信关联规则,自动匹配与设备b相关联的、并且能够将自身媒体数据转发到设备b上进行接续播放的可接力设备。
107.在一种示例性的实现方式中,所述通信关联规则配置为登录同一接力应用账号的智能设备相互间具备关联。例如,客厅电视在接力应用中登录账号1,主卧电视在接力应用中登录账号1,智能音响在接力应用中登录账号2,智能冰箱在接力应用中未登录任何账号,则服务器记录客厅电视和主卧电视当前达成关联性,智能音响和智能冰箱无相关联的设备。
108.在一种示例性的实现方式中,所述通信关联规则配置为接力应用账号处于登录状态的智能设备相互间具备关联,例如客厅电视在接力应用中登录账号1,主卧电视在接力应用中登录账号1,智能音响在接力应用中登录账号2,智能冰箱在接力应用中未登录任何账号,则客厅电视、主卧电视和智能音响两两间具备关联,智能冰箱无相关联的设备。
109.在一种示例性的实现方式中,所述通信关联规则还可由用户自定义,例如用户在客厅电视的接力应用中选定主卧电视、智能门镜为关联设备,则在客厅电视发起接力时,从与其关联的主卧电视和智能门镜中筛选出可接力设备,供用户选择客厅电视将要接续播放的媒体数据来源于哪一设备。所述通信关联规则可根据实际要求进行设置,不限于本技术
的示例。
110.在一种示例性的实现方式中,基于图5(a)的通信架构,用户从可接力设备中选择向设备a发起接力,具体地,设备b生成接续播放设备a上媒体数据的数据接力请求,服务器通过接力应用接收该数据接力请求,并将数据接力请求转发给设备a;设备a响应于数据接力请求,将当前的媒体数据及其播放进度发送给服务器,服务器再将接收的媒体数据和播放进度转而送达设备b;设备b以播放进度指定的位置节点为基准,实现对设备a上当前媒体数据的接续播放。即家居场景内任意两个智能设备间的数据、请求、指令等需经由服务器转达给对端。
111.由此可见,通过家居内多智能设备间的通信关联(例如网络关联、账号关联等),能够实现智能设备间多媒体数据的共享和接力。其中,所述可接力设备是指与当前可用设备相关联、并且支持被当前设备媒体接力的智能设备,例如用户之前在客厅电视上观看节目a,然后从客厅移动至卧室,则当前区域为卧室,当前可用设备为卧室电视,则客厅电视为卧室电视的可接力设备之一,用户可选择由卧室电视接力播放客厅电视上的节目a;又例如次卧仅有一个智能设备为智能音响,用户从次卧移动到客厅,则当前区域切换为为客厅,当前可用设备为客厅电视,若智能音响处于关机、待机、未联网或未登录接力应用账号等状态,即智能音响当前无音频数据可传递给客厅电视接续播放,则智能音响就不属于客厅电视的可接力设备。
112.在一些示例性的实现方式中,智能设备中可配置有接力应用,该接力应用可被配置为设备启动则在后台运行,或者由用户手动开启。当用户在设备b上启动接力应用后,可以查看到当前接入通信网络或者与设备b具有账号关联的其他设备及其媒体播放,还可选择接力播放哪一目标设备的媒体数据。接力应用的图标控件可显示在主页或应用中心等位置,方便用户启动接力应用。
113.在一种示例性的实现方式中,图5(b)示出一种家居场景中智能设备的接力分布,智能设备间的通信方式不限于端对端网络通信、经中间服务器间接通信等形式。假设家居场景中包括置于主卧室内的智能电视1、置于厨房内的智能冰箱、置于门体处的智能门镜、置于次卧室内的智能音响和置于客厅内的智能电视2。其中,智能电视1正在播放电影,智能冰箱配置有用于采集储藏室内食材图像的摄像头,智能门镜配置有用于采集门外监控画面的摄像头,智能音响当前正在播放音乐,用户当前移动至客厅区域,用户可通过语音、遥控器、触控等操作来触发接力播放流程。
114.在一种示例性的实现方式中,基于上述举例,用户当前位于客厅区域,则可用设备为智能电视2,用户若要选择对接的目标设备,参照图6的示例,例如在应用中心中触发接力应用的图标控件61,则智能设备2会接收到对接力应用页面的访问请求,以设备间的网络关联为例,查询局域网内可接力设备当前在播内容的媒体信息,媒体信息包括但不限于媒体类型和媒体名称等,媒体类型包括但不限于视频、音频、图像、文本等,媒体名称则是在播内容的资源名称,媒体信息的作用是便于用户了解每个可接力设备的播放内容,从而选择接力目标。假设智能设备2查询到当前局域网内智能电视1、智能门镜和智能音响已接入网络,智能冰箱未联网,则获取到可接力设备集合为{智能电视1,智能门镜,智能音响},并生成播放列表,然后在接力应用页面中显示该播放列表,参照图7的ui示例,播放列表70中包括若干接力选项71,每个接力选项71包括可接力设备的媒体信息711和设备信息712。
115.在一种示例性的实现方式中,设备信息712包括但不限于设备名称/设备id、设备所在位置区域等,设备名称可默认为设备的具体类别,例如冰箱、电视、音响等,或者支持用户对家居场景中的任意智能设备进行自定义命名,例如将智能冰箱个性化命名为“我的美食仓库”,无论设备名称如何调整,设备id一般是固定不变的,设备id能用于精准识别设备,一般具有全局唯一性,即各智能设备具有不同的设备id。若以设备类别作为设备名称,考虑多个区域内可能放置同一类别设备,例如客厅和卧室内都置入有电视,可选地,以区域+类别相结合的形式设置设备名称,例如客厅电视、卧室电视、厨房冰箱。
116.例如,接力选项为“智能电视(主卧室)正在播放视频《电影寻梦环游记》”,其向用户表达的是对于可接力设备-主卧电视,其当前播放的媒体类型为视频,该视频名称为寻梦环游记;又例如,接力选项为“智能音响(次卧室)正在播放音频《歌曲七里香》”,其向用户表达的是对于可接力设备-次卧音响,其当前播放的媒体类型为音频,该音频名称为七里香;又例如,接力选项为“智能门镜正在显示视频《摄像头采集的门外监控画面》”,其向用户表达的是对于可接力设备-智能门镜,其当前播放的媒体类型为视频,该视频是由门镜摄像头采集的门外监控画面。
117.在一些示例性的实现方式中,接力交互双端应保持播放能力的匹配性,例如设备1为客厅电视,设备2为卧室电视,设备3为客厅音响,设备4为次卧音响,由于设备1具有音视频播放能力,因此设备2、设备3和设备4均可能成为设备1的可接力设备;由于设备3仅具备音频播放能力,不具备视频播放能力,因此若设备1和设备2正在播放视频、图像等需显示的媒体数据时,设备3无法对设备1和设备2进行接力,此情况下设备4可能作为设备3的可接力设备;若设备3仅播放音频内容,例如用户听歌或听书等应用场景,则设备1、设备2和设备4均有可能成为设备3的可接力设备。因此,在生成播放列表时,需要根据接力发起端自身的播放能力,以及家居场景内其他智能设备的联网状态或账号登录状态、播放能力和当前播放的媒体类型,来确定哪些智能设备对于接力发起端而言是可接力设备。
118.在一种示例性的实现方式中,对于支持触屏功能的智能设备,用户可从播放列表70中直接触控选取目标接力选项;或者,用户通过操作遥控器来切换接力选项,可选择设置焦点,焦点跟随用户切换接力选项的动作而联动,当用户期望选取的目标接力选项获得焦点时,用户可按击遥控器的确认/ok键,则目标接力选项被选定,然后根据目标接力选项所指向的目标设备,生成并发送数据接力请求,例如将数据接力请求直接发送给目标设备或经由服务器转发给目标设备。焦点呈现形式不限定,例如进行高亮处理、或者在接力选项外施加焦点框等,只要焦点选项醒目显示,使用户能肉眼分辨焦点和非焦点选项的差异即可。
119.前述实施例针对可接力设备集合为非空集的情况,若智能设备检测到当前无可接力设备,即可接力设备集合为空集时,参照图8,在接力应用页面中显示提示信息,以设备间网络关联为例,提示信息例如为“当前无可接力播放的设备,请稍后重试或检查设备联网”等形式,用户可对期望对接的目标设备重新联网,或者刷新接力应用页面,又或者退出并重新访问接力应用页面等操作,来重试获取播放列表。若设备间采用账号关联的形式,则提示信息例如为“当前无可接力播放的设备,请稍后重试或重新登录接力账号”等形式,此情况下用户可登录或切换接力应用的账号,来更新可接力设备。
120.在一种示例性的实现方式中,当前区域内可用的智能设备若配置有声音采集装置,例如麦克风等,则支持用户对智能设备进行语音控制,通过智能设备的声音采集装置采
集用户输入的语音信息,并对语音信息进行解析,从而明确用户意图,例如用户朝智能设备说出“我要继续观看卧室电视上的电影”、“继续/接力播放卧室电视上的电影”等语义相似的文字信息,智能设备解析后获知用户操作是接力,对接的目标设备是卧室电视,接力播放的目标媒体是卧室电视上当前在播的电影,从而生成数据接力请求,并将数据接力请求发送给目标设备或服务器。
121.在一种示例性的实现方式中,每个智能设备底层的接力服务中可维护设备列表,设备列表中记录有家居场景内全部智能设备的设备名称与设备id的对应关系,设备id比如可选用序列号等具备唯一性的标识码,用户在任意设备上修改设备名称时,该设备需对本机的设备列表进行更新,并将更新后的设备列表同步给其他设备。智能设备从语音信息中解析出目标设备名称后,在设备列表中从查询目标设备名称对应的目标设备id,并根据目标设备id生成及发送数据接力请求。
122.在一种示例性的实现方式中,参照图9所示的语音接力控制逻辑,具备语音采集能力的智能设备中可配置语音助手,语音助手与声音采集装置关联,声音采集装置将采集的语音信息返给语音助手,语音助手将语音信息发送给语音处理系统,由语音处理系统对语音信息进行如语义分析、关键词识别等解析处理,所述语音处理系统可配置于智能设备端,也可配置于与智能设备通信的语音服务器端(如语义云等),以降低智能设备端的运行和内存负荷。语音处理系统解析语音信息后,将解析结果返给语音助手,解析结果包括动作意图和目标设备名称;语音助手若识别到动作意图为“接力”,则将目标设备名称转发给智能设备中的接力应用,接力应用从接力服务获取设备列表,并从设备列表中查找与目标设备名称对应的目标设备id,并根据目标设备id向接力服务发起接力,接力服务将生成的数据接力请求发送给服务器或id指示的目标设备。
123.在其他可能的实现方式中,接力应用在获取到目标设备名称后,也可直接将目标设备名称转发给接力服务;接力服务调取自身维护的设备列表,从中匹配出目标设备名称所对应的目标设备id,并根据目标设备id生成数据接力请求,并将数据接力请求发送给目标设备或服务器。对于语音接力控制模式,可结合设备语音低功耗待机功能,使用户甚至不需要主动操作开机,即可在待机设备前下达语音指令,待机设备会自动被唤醒,并响应于该语音指令执行接力播放流程。
124.在一种示例性的实现方式中,对于语音接力控制模式,若智能设备间通过接入同一局域网来建立关联(即所述网络关联),考虑到用户在输入语音信息之前,可能无法准确获知其期望接力的目标设备当前是否联网,因此智能设备在获取到目标设备名称或目标设备id后,检测可接力设备集合中是否包含目标设备。若可接力设备集合中不包含目标设备,即目标设备中的媒体数据无法共享给发起接力的智能设备端,可选地,发起接力请求的智能设备不生成及发送数据接力请求,而是进行语音播报,以提示用户针对目标设备的接力播放失败,例如播报内容为“接力失败,请重试或检测设备联网”,又例如“接力失败,请重新指定被接力的设备”。若可接力设备集合中包含目标设备,说明目标设备已接入通信网络,当前智能设备与目标设备可通信交互并共享数据,则生成及向目标设备发送数据接力请求。
125.在一种示例性的实现方式中,若智能设备间通过账号建立关联,例如登录同一接力应用账号的智能设备相互间具备关联性,假设用户在设备b端语音发起对设备a的接力,
设备b在语音解析后,根据设备a的id生成数据接力请求,并将数据接力请求发送给服务器;服务器根据该数据接力请求携带的设备id,查询设备a当前的账号登录状态和媒体播放状态,若设备a与发起接力的设备b当前登录同一个账号,即设备a与设备b具有关联(接力条件一),并且设备a当前具有可被设备b接续播放的媒体内容,即设备a能够作为设备b的可接力设备(接力条件二),服务器若判定这两项接力条件同时满足,即可将数据接力请求转发给设备a。
126.在一种示例性的实现方式中,如果两个接力条件至少有一项不满足,则服务器不会将数据接力请求转发给设备a,并向发起接力的设备b反馈接力失败信息,所述接力失败信息中可指示具体的失败原因,例如若仅接力条件一不满足,则接力失败信息指示因设备a与设备b账号未关联而导致接力失败;若仅接力条件二不满足,则接力失败信息指示设备b当前无可被接力播放的媒体数据;若两项接力条件都不满足,则接力失败信息指示设备a与设备b账号不关联,并且设备b当前无接力播放的媒体数据。设备b接收到接力失败信息后,可向用户语音提示发起接力失败,以及接力失败的具体原因。用户发起接力的方式不限于语音和ui(遥控器、触控)形式。
127.在一种示例性的实现方式中,每个智能设备在播放视频、音频、图像等多媒体资源时,记录下当前的媒体信息,以便接力发起端在生成播放列表前查询可接力设备的媒体信息,所述媒体信息包括媒体类型和媒体名称,例如目标设备正在播放歌曲七里香,则记录媒体类型为音频,媒体名称为七里香。每个智能设备退出多媒体播放时,删除已记录的媒体信息。
128.在一种示例性的实现方式中,智能设备可通过前述遥控器、触控和语音等方式中的任一种模式触发数据接力请求,目标设备在接收到数据接力请求时,获取当前媒资的播放进度,播放进度可以为当前播放到的时间节点,或者进度条的占比等形式,然后目标设备将媒体数据和播放进度直接发送或经由服务器转发给接力发起端,以使接力发起端以播放进度作为接力转折点,自动跳转至播放进度处接续播放媒体数据。例如主卧电视当前播放视频的时长为30min,主卧电视接收到来自客厅电视的数据接力请求时,视频播放至第15min,则播放进度可体现为15

或1/2,客厅电视接收到媒体数据和播放进度后,自动跳转至第15min的播放节点处,即跳过前15min的媒体数据,继续播放第15min~第30min时段内的媒体数据,实现同一媒资从主卧电视到客厅电视的接力播放。
129.在一种示例性的实现方式中,发起接力的智能设备根据目标设备发送的媒体数据类型,创建或启动相应类型的多媒体播放器,例如目标设备发送的是视频数据,则智能设备启动视频播放器,视频播放器自动seek到指定的播放进度处接力播放视频数据;若目标设备发送的是音频数据,则智能设备启动音频播放器,音频播放器自动seek到指定的播放进度处接力播放音频数据;若目标设备发送的是图像数据,则智能设备可启动图像播放器,并加载显示图像数据;若目标设备发送的是文本数据,则智能设备可启动文本阅读器,由文本阅读器加载显示文本数据。
130.在一种示例性的实现方式中,图像数据可以来源于指定的相册(例如云相册、主题相册、本地相册等),目标设备按照相册中的图像排序,按序切换各个图像,因此播放进度可以为当前图像在相册中的排序序号,例如目标设备当前显示相册中的第3个图像,则目标设备将同一相册内的图像数据和播放进度
‘3’
发给智能设备后,智能设备优先显示相册中的
第3个图像,若接收到向前切图操作,则显示相册中序号为n-1的图像,若接收到向后切图操作,则显示相册中序号为n+1的图像,其中n表示当前图像在相册中的序号。
131.在一种示例性的实现方式中,若图像数据为网络图像,目标设备可将图像的url(uniform resource locator,统一资源定位符)发送给智能设备,而无需发送播放进度;智能设备获取到图像的url后,访问该url并下载图像,然后在图像播放器中加载显示图像。
132.在一种示例性的实现方式中,有些智能设备还支持文本阅读功能,例如专门的电子书阅读平板(如kindle、掌阅等),或者安装有电子书应用的智能设备等。目标设备在接收到数据接力请求时,若当前正在显示文本内容,则获取文本当前的阅读标签,所述阅读标签用于记录文档当前已阅的进度(例如百分比制),然后目标设备将文本数据及其阅读标签发送给接力发起端;接力发起端接收文本数据和阅读标签后,启动文本阅读器,由文本阅读器跳转至阅读标签对应的位置,接力播放后续的文本内容。
133.在一种示例性的实现方式中,在避免播放冲突的情况下,用户可以选择一个或多个目标设备,例如客厅电视正在播放电影,次卧音响正在播放音乐,智能门镜正在显示门外监控画面,若用户想要在主卧电视上发起接力,主卧电视支持单路视频播放,则客厅电视和智能门镜仅能择一作为目标设备,若主卧电视支持多路视频同步播放,则允许同时选择客厅电视和智能门镜作为目标设备;又例如,智能门镜的视频监控画面是无声的,则允许同时选择智能门镜和次卧音响作为目标设备,则智能设备的视频播放器接力播放智能门镜拍摄的监控画面,同时,音频播放器接力播放次卧音响上的音乐。由此可见,在避免播放冲突下,智能设备可支持单路或多路接力播放。
134.在一种示例性的实现方式中,智能设备在通过前述遥控器、触控和语音等方式中的任一种模式发起数据接力请求后,若目标设备当前播放的媒资c播放结束,例如家庭中其他成员操作退出媒资c的播放,或者媒资c的播放进程自然达到终点,并且之后未切换到其他媒资,则目标设备删除记录的媒资c的媒体信息,相当于目标设备退出可接力设备集合,目标设备可向发起接力的智能设备反馈指示信息,或者服务器在检测到目标设备上无可接续播放的媒体数据时向接力发起端反馈指示信息;发起接力的智能设备接收到该指示信息,即获知目标设备当前无可接力播放的媒体内容,若智能设备具备显示能力,则参照图10的示例,在接力应用页面中显示无法接力的提示信息,若智能设备具备发声能力,可语音播报该提示信息,本实施例中的提示信息比如为“主卧电视当前无可接力的媒体内容,请稍后再试或重新选择被接力的设备”等形式。
135.在一种示例性的实现方式中,目标设备响应于数据接力请求,在向接力发起端或服务器发送媒体数据时,可根据媒体数据的来源和类型,来实施适配的数据传输方式。
136.在一种示例性的实现方式中,若目标设备当前播放的媒体数据来源于网络资源,则目标设备将媒体数据的url地址直接发送或由服务器转发给智能设备,智能设备访问获取到的url地址,下载媒体数据,然后根据目标设备发送的播放进度,完成对媒体数据的接力播放。
137.在一种示例性的实现方式中,若目标设备当前播放的媒体数据来源于本地存储,所述本地存储包括目标设备自身的存储空间以及外部存储设备,所述外部存储设备包括但不限于u盘、移动硬盘、读卡器等,则根据本地存储路径生成对应于局域网内的网络访问路径,并将网络访问路径和播放进度一并返回给智能设备。
138.在一种示例性的实现方式中,图11示出接力发起端获取接力的媒体流的逻辑,以设备a和设备b可通过局域网直接通信为例,图11中目标设备为设备a,接力发起端为设备b,设备b接收设备a返回的网络访问路径,假设网络访问路径为http://192.168.1.104:8808/relay/mnt/movie.mp4,设备b向设备a发起对http://192.168.1.104:8808/relay/mnt/movie.mp4的访问请求,设备a从http://192.168.1.104:8505/relay/mnt/movie.mp4中解析出本地存储路径为/mnt/movie.mp4,并访问该本地存储路径对应的本地文件系统,所述本地文件系统为设备a自身的存储空间或外部存储设备(如u盘、移动硬盘、读卡器等);本地文件系统将/mnt/movie.mp4中存储的媒体文件转换为本地文件流,并将本地文件流发送给设备a的流媒体服务;设备a的流媒体服务将本地文件流转换为网络媒体流(即http流),并将http流返给设备b;设备b拉取http流,并跳转至目标设备反馈的播放进度处,接力播放设备a中本地的movie文件。本实施例将目标设备中的本地媒体文件转换为媒体流,便于智能设备端拉流,提升了媒体数据的传输效率,进而提升接力响应速度,实现媒体数据的快速接力播放。
139.在一种示例性的实现方式中,设备b向设备a发起接力,设备a在接收到数据接力请求时,将当前播放的媒体数据及其播放进度发送给设备b或服务器,然后设备a可保持当前播放现状,以及对用户输入的操作指令作出响应。
140.在一种示例性的实现方式中,数据接力请求除了被配置为向设备b请求获取接力的媒体数据及其播放进度之外,还可被配置为指示设备b执行其他预设动作,所述预设动作不限于暂停播放、停止播放、转入待机、自动关机等,实现用户在其他设备上接力观看媒体数据时,避免原设备因无人观看而导致的无效播放以及耗电等问题。
141.在一种示例性的实现方式中,设备a为被接力的目标设备,设备b为发起接力的智能设备,设备a与设备b可接入同一局域网进行端对端通信,或者设备a与设备b也可通过服务器进行间接通信。其中,设备a的配置包括但不限于接力服务a、流媒体服务和播放端a,播放端a可能是ui和/或音频输出通道,例如若设备a为智能电视,则播放端a包括ui和音频输出通道;若设备a为智能音响,则播放端a可能仅包括音频输出通道,无ui;若设备a为电子书阅读平板,则播放端a可能仅包括ui,无音频输出通道。设备b的配置包括但不限于接力服务b,还包括播放端b和/或语义服务,例如设备b若仅支持通过遥控器或触控方式来选定目标设备,未配置麦克风,则不设置语义服务;设备b若无ui显示功能但支持语音控制,则需要设置语义服务,并且播放端b仅包括音频输出通道,无ui;设备b若支持遥控器/触控和语音控制中的任一种接力操作模式,则可设置语音服务,并且播放端b包括ui,用户可根据自身使用习惯来选择接力操作模式。
142.在一种示例性的实现方式中,参照图12(a1)和图12(a2)示例的语音接力交互逻辑,以设备a和设备b之间基于网络端对端直接通信,并且进行视频接力播放为例,对于其他媒体类型,接力交互逻辑基本相似。设备a启动后先初始化接力服务a,局域网内的其他设备可通过设备发现功能,知晓设备a已联网并支持视听内容的接力;之后设备b启动并初始化接力服务b,设备a和设备b相互同步设备状态,即设备a获知设备b已联网并具备音视频播放能力,设备b获知设备a已联网且具备音视频播放能力,由于图12(a1)的示例中设备b支持语音接力操作模式,因此设备b可将设备a的名称注册到本端的语义服务中,以便后续根据语音信息进行设备识别。
143.在一种示例性的实现方式中,参照图12(a1),用户在设备a中点击观看电影“寻梦环游记”,则设备a播放电影“寻梦环游记”,并记录其媒体信息,所述媒体信息包括视频类型和媒体名称“寻梦环游记”。用户在设备b端输入“我要继续观看设备a的电影”的语音信息,语义服务对语音信息进行解析,识别用户意图为“接力”,接力针对的目标设备为设备a,则将该解析结果发送给接力服务b;接力服务b获取解析结果后,确认设备a属于可接力设备,则向设备a发送数据接力请求。
144.在一种示例性的实现方式中,参照图12(a1),设备a中的接力服务a接收数据接力请求,发送向播放端a发送第一指示信息;播放端a响应于所述第一指示信息,获取“寻梦环游记”当前的播放进度,并将播放进度和记录的媒体信息发送给接力服务a,以及,播放端a检测到“寻梦环游记”电影来源于本地存储,则向流媒体服务发送第二指示信息;流媒体服务响应于所述第二指示信息,根据“寻梦环游记”电影文件的本地存储路径,生成对应于当前局域网内的网络访问路径,并将网络访问路径发送给接力服务a;接力服务a将“寻梦环游记”电影的网络访问路径、播放进度和媒体信息一并发送给设备b。
145.在一种示例性的实现方式中,参照图12(a1),接力服务b将接收的网络访问路径、播放进度和媒体信息发送给播放端b,播放端b检测到接力的媒体类型为视频,则创建或启动视频播放器,视频播放器根据网络访问路径,向设备a的流媒体服务请求获取媒体数据;设备a的流媒体服务将“寻梦环游记”电影的本地文件流转换为http视频流,并将http视频流发送给播放端b的视频播放器,视频播放器自动跳转至播放进度处接力续播拉取的http视频流,并在播放界面的指定位置处显示媒体名称“寻梦环游记”,方便用户知晓当前播放的电影名称。
146.在一种示例性的实现方式中,参照图12(a2),若播放端a检测到“寻梦环游记”电影来源于网络资源,则设备a端无需创建流媒体服务,播放端a直接将“寻梦环游记”的url地址发送给接力服务a,接力服务a将“寻梦环游记”电影的url地址、播放进度和媒体信息一并发送给设备b。接力服务b将接收的url地址、播放进度和媒体信息发送给播放端b,播放端b检测到接力的媒体类型为视频,则创建或启动视频播放器,视频播放器根据url地址下载“寻梦环游记”的数据包,并自动跳转至播放进度处接力续播“寻梦环游记”,并在播放界面的指定位置处显示媒体名称“寻梦环游记”。
147.在一种示例性的实现方式中,参照图12(b1)和图12(b1),设备b基于遥控器或触控方式,进行ui接力交互,则设备b中可设置或不设置语义服务。用户在设备b端访问接力应用页面,播放端b向接力服务b发送接力通知;接力服务b响应于接力通知,查询局域网内当前的可接力设备及其媒体信息,用m表示可接力设备的数量,本实施例假设m大于零,接力服务b将m个可接力设备的媒体信息和设备信息发送给播放端b;播放端b根据m个可接力设备的媒体信息和设备信息,生成包括m个接力选项的播放列表,并在接力应用页面中显示该播放列表。用户从播放列表中选定目标接力选项,播放端b将目标接力选项对应的目标设备信息发送给接力服务b;接力服务b识别出目标设备信息为设备a,则向设备a发送数据接力请求。图12(b1)相较于图12(a1),以及图12(b2)相较于图12(a2),仅体现为语音接力交互与ui接力交互在设备b端生成数据接力请求、以及用户操作方式上的区别,而后续设备a向设备b传输媒体数据,及设备b接力播放媒体数据的实现方式基本相似,此处不再赘述。
148.在一种示例性的实现方式中,参照图12(a1)~图12(b2)的接力交互逻辑,用户在
设备b端通过ui退出接力,或者输入退出接力的语音信息,例如语音信息为“结束接力”、“停止播放设备a的电影”等形式,则播放端b停止获取媒体数据,关闭多媒体播放器,同时接力服务b通知设备a已退出接力。若设备a当前播放的媒体数据来源于本地存储,则接力服务a将设备b已退出接力的消息通知给流媒体服务,流媒体服务即可关闭,从而停止从本地存储路径读取媒体文件并转换及发送http流的环节,则本次设备b和设备a的接力交互流程结束。
149.以上各个实施例中,接力播放的都是已固有的媒体资源,例如已下载并保存在本地的媒体文件、本地已录制并保存的媒体文件、媒体应用平台(如浏览器、音乐应用、视频应用等)中上架提供的资源等。在实际应用场景中,有些智能设备可以采集实时媒体数据,例如配置有摄像头的设备具有监视功能,可实时采集并显示拍摄场景内的视频图像,又例如配置有麦克风的设备具有录音/监听功能,能实时采集或播放区域内产生的声音,本技术还提供一种针对实时采集的媒体数据的接力播放方案。
150.在一种示例性的实现方式中,图13示例在接力播放实时采集数据场景下的接力交互逻辑,设备b为接力发起端,设备c为被接力的目标设备,设备c具有采集装置,采集装置包括但不限于摄像头、麦克风等,设备c根据自身硬件配置可实时采集至少一种媒体类型的数据,在设备c启动并初始化接力服务后,局域网内其他设备可通过发现功能,获知设备c已联网并且具有实时采集特定类型的媒体数据的能力。图13是以设备b和设备c基于局域网端对端通信为例,在实际实现时,设备b和设备c不限于其他可能的通信方式,例如蓝牙通信、通过服务器进行间接通信等。
151.在一种示例性的实现方式中,若实施ui接力模式,则在接力应用页面生成及显示播放列表时,若设备c具有采集n种类型媒体数据的能力,n大于或等于1,则播放列表中列举出n个对应于设备c的接力选项。例如设备c兼具摄像头和麦克风,则设备a端在接力应用页面中显示播放列表时,若摄像头和麦克风处于开启状态,则接力选项例如体现为“设备c正在显示视频《摄像头采集的客厅画面》”,“设备c正在播放音频《麦克风采集的客厅声音》”;若摄像头和麦克风处于关闭状态,则接力选项例如体现为“设备c可采集视频《客厅画面》”,“设备c可采集音频《客厅声音》”,以供用户选择接力播放设备c采集的视频数据或音频数据。
152.在一种示例性的实现方式中,在避免播放冲突的情况下,可选择接力多个目标设备,或者接力播放同一目标设备采集的不同类型数据,例如在设备b端接力播放设备c采集的视频数据,同时接力播放设备c采集的音频数据,并且音视频数据可以保持同步输出。
153.在一种示例性的实现方式中,用户在设备b端发起接力,触发接力服务c生成数据接力请求,并将数据接力请求发送给设备c,这部分的实现方式可参照图12(a1)~图12(b2)的示例及描述,图13中是从设备b向设备c发送数据接力请求开始的。设备b至少包括播放端b和接力服务b,设备c至少包括接力服务c和采集装置,可选地,设备c还包括socket服务。
154.在一种示例性的实现方式中,以接力播放设备c采集的实时媒体数据是视频为例,用户可在设备b端例如输入“我要观看设备c的监控视频”,或者用户通过ui触发的目标接力选项为“设备c正在显示视频《摄像头采集的门外实时监控画面》”,则设备b向设备c发送数据接力请求。参照图13,设备c的接力服务c接收到数据接力请求,向采集装置发送接力通知;采集装置响应于该接力通知,采集实时视频数据,可选地,采集装置中还配置有编码器,
用于对采集的实时视频数据进行编码,以方便视频传输。
155.在一种示例性的实现方式中,参照图13,采集装置将编码后的视频数据输出至socket服务,通过socket服务中创建的设备c与设备b之间的socket连接,将编码后的视频数据及其媒体信息发送给设备b,其中媒体信息包括媒体类型“视频”以及媒体名称“门外实时监控画面”,由于设备c采集的数据具有实时性特点,因此设备c无需向设备b发送播放进度。
156.在一种示例性的实现方式中,参照图13,设备b的接力服务b接收媒体信息,将媒体信息转发给播放端b,播放端b检测到接力播放的媒体类型为视频,则创建或启动视频播放器;视频播放器通过与设备c之间的socket连接,接收设备c采集并编码后输出的视频数据,然后调用解码器,对视频数据进行解码处理,并在视频播放器的播放界面中显示解码后的视频数据,以及在界面指定位置处显示媒体名称。图13中是以接力播放实时采集的视频数据为例,对于其他类型实时采集的媒体数据,例如音频数据,可参照图13的逻辑实现接力交互。
157.在一种示例性的实现方式中,参照图13,用户通过语音或ui退出接力时,由接力服务b生成终止指令,并将所述终止指令发送给设备c。设备c的接力服务c将终止指令转发给采集装置,采集装置响应于所述终止指令,停止采集及编码视频数据,从而中断视频流的传输。
158.在一种示例性的实现方式中,采集装置接收到接力通知时,若采集装置处于开启状态,即可直接采集并编码数据,在此情况下,若采集装置接收到终止指令,只需停止采集及编码数据,并保持采集装置的开启状态。
159.在一种示例性的实现方式中,采集装置接收到接力通知时,若采集装置处于关闭状态,则需先开启采集装置,而后再采集并编码数据,在此情况下,若采集装置接收到终止指令,需要停止采集及编码数据,并控制采集装置恢复关闭状态。即设备b退出接力后,设备c的采集装置恢复到接力前的状态。
160.在一种示例性的实现方式中,接力服务c在接收到数据接力请求时,向socket服务发送接力通知;socket服务接收到接力通知时,主动创建设备c与设备b之间的socket连接,采集装置将编码后的视频流输入socke连接对应的数据传输通道。接力服务c将局域网内socket连接地址发送给设备b;接力服务b将socket连接地址转发给播放端b启动的视频播放器,视频播放器根据socket连接地址,从对应的数据传输通道中拉取视频流,并对视频流进行解码及播放。
161.在一种示例性的实现方式中,接力服务c也可将终止指令转发给socket服务,socket服务响应于所述终止指令,断开设备c与设备b之间的socket连接。
162.在一些示例性的实现方式中,图14提供一种接力发起端设备执行的数据接力播放方法,即所述方法的执行主体为前述设备b,所述方法包括如下程序步骤:
163.步骤s141,在接收到接续播放第一目标设备当前在播内容的操作指令时,发送第一数据接力请求。
164.所述第一目标设备对应于图12(a1)~图12(b2)中的设备a,具有播放媒体数据的能力,所述第一数据接力请求用于向第一目标设备获取其当前在播内容的媒体数据和播放进度。接力发起端可将第一数据接力请求直接发送给第一目标设备;或者,接力发起端将第
一数据接力请求发送给服务器,由服务器转发给第一目标设备。
165.步骤s142,接收所述第一目标设备发送的媒体数据和播放进度。第一目标设备可将数据直接送达接力发起端,或者经由服务器转达至接力发起端。
166.步骤s143,自动跳转至所述播放进度处,继续播放所述媒体数据。
167.可选地,若接力发起端配置有显示器,则可通过遥控器或触控方式进行ui接力交互,所述方法还包括按照如下步骤生成所述第一数据接力请求:
168.在接收到对接力应用页面的访问请求时,查询与所述智能设备相关联的可接力设备当前在播内容的媒体信息,所述媒体信息包括媒体类型和媒体名称;
169.在所述接力应用页面中显示生成的播放列表;其中,所述播放列表包括若干接力选项,所述接力选项包括可接力设备的媒体信息和设备信息;
170.在接收到对所述播放列表中目标接力选项的选定操作时,根据所述目标接力选项对应的第一目标设备,生成所述第一数据接力请求。其中,设备关联可以是基于网络关联或账号关联等形式。
171.可选地,若接力发起端配置有声音采集装置(如麦克风),则可执行语音接力交互,所述方法还包括按照如下步骤生成所述第一数据接力请求:
172.获取声音采集装置采集的由用户输入的语音信息,并对所述语音信息进行解析;
173.若解析出用户意图为接续播放第一目标设备的媒体数据,则根据设备列表,查询第一目标设备的名称对应的目标设备id;其中,所述设备列表记录有当前可接力设备的名称与设备id的对应关系;
174.根据所述目标设备id生成所述第一数据接力请求。
175.可选地,还支持接力播放实时采集的媒体数据,对此所述方法还包括:
176.在接收到播放第二目标设备采集的实时媒体数据的操作指令时,发送第二数据接力请求;所述第二数据接力请求用于指示所述第二目标设备采集实时媒体数据,并将所述实时媒体数据进行编码后发送给智能设备;
177.接收并解码所述实时媒体数据,控制所述播放装置播放解码后的实时媒体数据。
178.接力发起端可将第二数据接力请求直接发送给第二目标设备;或者,接力发起端将第二数据接力请求发送给服务器,由服务器转发给第二目标设备。
179.可选地,针对实时媒体数据的接力播放方案,所述方法还包括:在接收到退出接力的操作指令时,发送终止指令,所述终止指令用于指示所述第二目标设备停止采集及编码所述实时媒体数据。接力发起端可将终止指令直接发送给第二目标设备;或者,接力发起端将终止指令发送给服务器,再由服务器转发给第二目标设备。
180.其中所述第二目标设备对应于图13中的设备c,具有实时采集媒体数据的能力。
181.在一些示例性的实现方式中,图15提供一种被接力的目标设备端执行的数据接力播放方法,所述方法的执行主体为第一目标设备(即设备a),所述方法包括如下程序步骤:
182.步骤s151,在接收到数据接力请求时,查询当前在播的媒体数据的来源。数据接力请求可能是第一设备发送的,或者是第一设备经由服务器转发的,第一设备为接力发起端,本实施例中的数据接力请求对应于前述第一数据接力请求。
183.步骤s152,判断所述媒体数据是否来源于本地存储。若媒体数据来源于网络资源,而非本地存储,则执行步骤s153;若媒体数据来源于本地存储,则执行步骤s154和步骤
s155。
184.步骤s153,将所述媒体数据的url地址和播放进度发送给第一设备或服务器。若发送给服务器,则由服务器将媒体数据的url地址和播放进度转发给第一设备。
185.步骤s154,生成与本地存储路径对应的网络访问路径,并将所述媒体数据的网络访问路径和播放进度发送给第一设备或服务器。若发送给服务器,则需要由服务器将网络访问路径和播放进度转发给第一设备。
186.步骤s155,在接收到所述第一设备对所述网络访问路径的访问请求时,从所述网络访问路径中解析出所述本地存储路径,并将本地存储路径中的媒体数据转换为网络媒体流,将所述网络媒体流发送给所述第一设备或服务器。若发送给服务器,需要由服务器将所述网络媒体流转发给所述第一设备。
187.在一些示例性的实现方式中,图16提供另一种被接力的目标设备端执行的数据接力播放方法,所述方法的执行主体为第二目标设备(即设备c),第二目标设备配置有采集装置,用于实时采集特定类型(包括视频、音频、图像等)的媒体数据,所述方法包括如下程序步骤:
188.步骤s161,在接收到数据接力请求时,控制采集装置采集实时媒体数据。
189.其中,数据接力请求可能是第一设备发送的,或者是第一设备经由服务器转发的,第一设备为接力发起端,本实施例中的数据接力请求对应于前述第二数据接力请求。接收到数据接力请求时,若采集装置处于开启装置,即可直接采集数据;若采集装置处于关闭状态,需要先开启采集装置而后采集数据。
190.步骤s162,对所述实时媒体数据进行编码,并将编码后的实时媒体数据发送给第一设备或服务器。若数据接力请求是第一设备发送的,则编码后的实时媒体数据直接发送给第一设备;若数据接力请求是第一设备经由服务器转发的,则将编码后的实时媒体数据发送给服务器,并由服务器将编码数据转发至第一设备。
191.可选地,参照图13的示例,可通过构建socke连接,搭建接力双端之间的数据传输通道,使第一设备从数据传输通道中拉流,并进行解码播放。
192.步骤s163,当接收到所述第一设备在退出接力时生成的终止指令,停止采集及编码所述实时媒体数据。第一设备接收到用户退出接力的操作指令时,生成终止指令,第一设备可将终止指令直接发送给采集数据的智能设备端,或者第一设备也可将终止指令发送给服务器,由服务器将终止指令转发给采集数据的智能设备端。
193.图14~图16提供的方法实施例均可与前述双端设备间的接力交互逻辑相互参照和印证,此处不再赘述。
194.由以上技术方案可见,本技术能实现多智能设备间媒体数据的共享,用户无需在不同设备上分别操作,即可查看其他设备上播放的媒体内容,打破设备间的信息孤岛,在用户切换区域和设备时,只需向新区域内的智能设备指示期望接力的目标设备对象,即可快速完成接力播放,无需用户执行繁琐操作,并且播放方式灵活快捷,提升了媒体接力播放的效率和用户体验。无论是固有的媒体资源,还是实时采集的媒体数据,都能实现接力播放,提升场景适应性和接力多样性,用户对接力功能的体验更好。
195.设备间的数据接力方案不限于本技术实施例的示例,具体可根据家居场景中智能设备的分布、设备类别、播放/采集能力、播放的媒体类型及数据来源、设备间的通信方式、
发起接力指令的输入方式、用户活动区域等方面,对设备间的数据接力方案和交互逻辑进行灵活地调整、变型及扩展。本技术提供的ui显示效果及基于ui的用户操作仅仅是示例性的,具体应以实际产品设计和应用为准。支持接力交互的智能设备的软硬件配置及底层架构也不限于本技术的示例,具体应适配设备功能和操作系统的要求。另外,智能设备间的通信和媒体数据传输方式也不限定。
196.在一种示例性的实现方式中,本发明还提供一种计算机存储介质,该计算机存储介质可存储有程序,该程序执行时可包括前述各单端智能设备执行的数据接力播放方法涉及的程序步骤,所述单端智能设备包括接力发起端设备b、被接力的目标设备端(包括设备a和设备c)。其中,计算机存储介质可为磁碟、光盘、只读存储记忆体(英文:read-only memory,简称rom)或随机存储记忆体(英文:random access memory,简称ram)等。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1