音画同步处理方法及其相关设备与流程

1.本技术属于数据处理领域，尤其涉及一种音画同步处理方法及其相关设备。


背景技术：

2.电视(television、tv)指使用电子技术传送活动的图像画面和音频信号的设备，即电视接收机，也是重要的广播和视频通信工具。电视作为常用的视听设备，最常见的场景就是通过输出图像和声音，让用户可以同时看和听。因此，图像和声音需要同步输出，才能给用户以较好的使用体验。
3.电视在使用时还可与外部的音频播放设备配合使用，例如hdmi音频输出，光纤音频输出，蓝牙音频输出等，通过不同的通道将电视本身的音频输出给外部音频设备，并由外部的音频播放设备播放相应音频。
4.但经过外部音频设备的处理后，会导致外部设备播放的音频与电视本身播放的图像及音频之间的时间差变大。以蓝牙音频输出为例，蓝牙音频传输时，音频会先编码，再经过蓝牙传输到蓝牙音频播放设备端，再进行解码播放。经过这些因素的影响，通常蓝牙设备的音频播放过程都会产生较高的延迟，导致音画不同步问题。


技术实现要素：

5.本技术实施例第一方面提供了一种音画同步处理方法，所述方法应用于具有外部音频播放设备的影音播放设备，包括：
6.发送目标声音信号播放指令，所述目标声音信号播放指令用于指示所述影音播放设备的内部音频播放结构和所述外部音频播放设备同时播放目标声音信号；
7.通过所述内部音频播放结构播放所述目标声音信号，发出第一音频信号；
8.通过所述外部音频播放设备播放所述目标声音信号，发出第二音频信号；
9.接收所述第一音频信号，并记录接收时间为第一时间点；
10.接收所述第二音频信号，并记录接收时间为第二时间点；
11.基于所述第一时间点和所述第二时间点间的差值进行音画同步调整。
12.根据本技术实施例第一方面所提供的音画同步处理方法，可选的，所述影音播放设备为电视设备。
13.根据本技术实施例第一方面所提供的音画同步处理方法，可选的，所述接收所述第一音频信号，包括：
14.通过麦克风接收所述第一音频信号；
15.所述接收所述第二音频信号，包括：
16.通过所述麦克风接收所述第二音频信号。
17.根据本技术实施例第一方面所提供的音画同步处理方法，可选的，所述基于所述第一时间点和所述第二时间点间的差值进行音画同步调整，包括：
18.判断所述第一时间点和所述第二时间点间的差值是否大于预设值；
19.若所述差值大于预设值，则进行所述音画同步调整的过程；
20.若所述差值小于等于所述预设值，则不进行所述音画同步调整的过程。
21.根据本技术实施例第一方面所提供的音画同步处理方法，可选的，所述音画同步调整的过程，包括：
22.对于所述影音播放设备的本地信号处理过程增加差额时长的信号延迟，所述差额时长等于第一时间点与第二时间点之间的差值。
23.根据本技术实施例第一方面所提供的音画同步处理方法，可选的，所述音画同步调整过程，包括：
24.调整所述外部音频播放设备的音频解码方式。
25.根据本技术实施例第一方面所提供的音画同步处理方法，可选的，所述麦克风设置于所述影音播放设备的控制设备上。
26.本技术实施例第二方面提供了一种音画同步处理设备，所述设备与包括外部音频播放设备的影音播放设备关联使用，包括：
27.发送单元，用于发送目标声音信号播放指令，所述目标声音信号播放指令用于指示所述影音播放设备的内部音频播放结构和所述外部音频播放设备同时播放目标声音信号；
28.第一音频播放单元，用于通过所述内部音频播放结构播放所述目标声音信号，发出第一音频信号；
29.第二音频播放单元，用于通过所述外部音频播放设备播放所述目标声音信号，发出第二音频信号；
30.第一接收单元，用于接收所述第一音频信号，并记录接收时间为第一时间点；
31.第二接收单元，用于接收所述第二音频信号，并记录接收时间为第二时间点；
32.调整单元，用于基于所述第一时间点和所述第二时间点间的差值进行音画同步调整。
33.基于本技术实施例第二方面所提供的音画同步处理设备，可选的，所述影音播放设备为电视设备。
34.基于本技术实施例第二方面所提供的音画同步处理设备，可选的，所述第一接收单元具体用于：通过麦克风接收所述第一音频信号；
35.所述第二接收单元具体用于：通过所述麦克风接收所述第二音频信号。
36.基于本技术实施例第二方面所提供的音画同步处理设备，可选的，所述调整单元具体用于：
37.判断所述第一时间点和所述第二时间点间的差值是否大于预设值；
38.若所述差值大于预设值，则进行所述音画同步调整的过程；
39.若所述差值小于等于所述预设值，则不进行所述音画同步调整的过程。
40.基于本技术实施例第二方面所提供的音画同步处理设备，可选的，所述调整单元具体用于：
41.对于所述影音播放设备的本地信号处理过程增加差额时长的信号延迟，所述差额时长等于第一时间点与第二时间点之间的差值。
42.基于本技术实施例第二方面所提供的音画同步处理设备，可选的，所述调整单元
具体用于：
43.调整所述外部音频播放设备的音频解码方式。
44.基于本技术实施例第二方面所提供的音画同步处理设备，可选的，所述麦克风设置于所述影音播放设备的控制设备上。
45.本技术实施例第三方面提供了一种影音播放设备，包括：
46.处理器，存储器，内部音频播放结构、外部音频播放设备；
47.所述存储器为短暂存储存储器或持久存储存储器；
48.所述处理器配置为与所述存储器通信，在所述影音播放设备上控制所述内部音频播放结构及所述外部音频播放设备以执行所述存储器中的指令操作进而执行如本技术实施例第一方面中任意一项所述的方法。
49.本技术实施例第四方面提供了一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如本技术实施例第一方面中任意一项所述的方法。
50.从以上技术方案可以看出，本技术实施例具有以下优点：本技术实施例提供了一种音画同步处理方法，所述方法应用于具有外部音频播放设备的影音播放设备，包括：发送目标声音信号播放指令，所述标声音信号播放指令用于指示所述影音播放设备的内部音频播放结构和所述外部音频播放设备同时播放目标声音信号；通过所述内部音频播放结构播放所述目标声音信号，发出第一音频信号；通过所述外部音频播放设备播放所述目标声音信号，发出第二音频信号；接收所述第一音频信号，并记录接收时间为第一时间点；接收所述第二音频信号，并记录接收时间为第二时间点；基于所述第一时间点和所述第二时间点间的差值进行音画同步调整。通过上述方式使得外部音频播放设备的音画延迟情况得到调整，保证了外部音频播放设备与影音播放设备在使用过程中所输出的音频信号及视频信号的一致性，提高了用户的试听体验。
附图说明
51.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。可以理解的是，本部分所提供的附图仅用于更好地理解本方案，不构成对本技术的限定。
52.图1为本技术所提供的音画同步处理方法实施例的一个流程示意图；
53.图2为本技术所提供的音画同步处理方法实施例的另一个流程示意图；
54.图3为本技术所提供的音画同步处理方法实施例的一个结构示意图；
55.图4为本技术所提供的影音播放设备实施例的一个结构示意图。
具体实施方式
56.为了使本技术领域的人员更好地理解本技术方案，下面对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。同时，为了描述清楚和简明，
以下的描述中省略了对公知的功能和结构的描述。
57.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
58.电视作为常用的视听设备，最常见的场景就是通过输出图像和声音，让用户可以同时看和听。因此，图像和声音需要同步输出，才能给用户以较好的使用体验。电视在使用时还可与外部的音频播放设备配合使用，例如hdmi音频输出，光纤音频输出，蓝牙音频输出等，通过不同的通道将电视本身的音频输出给外部音频设备，并由外部的音频播放设备播放相应音频。
59.但经过外部音频设备的处理后，会导致外部设备播放的音频与电视本身播放的图像及音频之间的时间差变大。以蓝牙音频输出为例，蓝牙音频传输时，音频会先编码，再经过蓝牙传输到蓝牙音频播放设备端，再进行解码播放。经过这些因素的影响，通常都会产生较高的延迟，大概在200毫秒左右，这一延迟效果会导致用户对音画不同步的现象感觉较明显，影响用户的使用体验，为解决这一问题，本技术实施例第一方面提供了一种音画同步处理方法，请参照图1，包括：步骤101至步骤106。
60.101、发送目标声音信号播放指令。
61.具体的，在对方法进行说明前有必要对本方案的实施环境进行介绍，本方案在实际实施过程中可应用于任意具有影音播放功能的设备，特别的该设备可为电视、个人电脑、ipad、投影仪乃至智能手机等设备，或者由电视及机顶盒共同组成的影音播放设备，只需设备为可外接音频播放设备且具有影音播放功能的设备即可，具体此处不做限定。与影音播放设备所外接的外部音频播放设备的形式类型也可依据实际情况而定，如蓝牙音响或蓝牙耳机等设备，此处不做限定。
62.在本步骤中可由用户通过特定的应用或者影音播放设备提供的界面选择进行音画通过处理过程，从而激活目标声音信号播放指令向内部音频播放结构及外部音频播放设备的发送过程。在本步骤中所发送的目标声音信号播放指令用于指示所述影音播放设备的内部音频播放结构和所述外部音频播放设备同时播放目标声音信号，即指示设备本体与外接设备同时播放某一特定声音，进而模拟一般状况下的影音播放过程，以便支持判断是否存在音画不同步的情况，并对音画不同步的处理过程提供支持。具体所播放的目标声音信号应当与该指令关联存储，同时目标声音信号应当具有特定的频率以及时长，以便后续识别过程，具体形式可依据实际情况而定，此处不做限定。
63.102、通过内部音频播放结构播放目标声音信号，发出第一音频信号。
64.具体的，通过所述内部音频播放结构播放所述目标声音信号，发出第一音频信号，内部音频播放结构即为影音播放设备本身所具有的喇叭或扬声器等结构，在通过内部音频播放结构播放目标声音信号时无需进行额外的数据处理，可以直接进行播放过程，因此所发出的第一音频信号与指令发出的时间差较小。此外对于影音播放设备本身而言，其音频
播放时间与视频播放时间之间有着较高的一致性，可以认为不存在时差或时差较小。以电视设备为例，通常情况下，图像和声音的延迟标准控制在50毫秒以内，因此可以认定发出第一音频信号的时间即为画面播放的时间。
65.103、通过外部音频播放设备播放目标声音信号，发出第二音频信号。
66.具体的，通过所述外部音频播放设备播放所述目标声音信号，发出第二音频信号。外部音频播放设备即预先与影音播放设备之间建立了数据连接且存在控制关系的设备，在一般的工作过程中影音播放设备在通过内部音频播放结构播放媒体信号中的音频信号时，还会将该音频信号的电子数据传输至外部音频播放设备，由外部音频播放设备同步播放。然而外部音频播放设备在播放过程中需要对音频会先编码，再经过传输到外部音频播放设备侧，再进行解码，这一过程会产生不必要的延时，容易造成外部音频播放设备所播放的音频信号与指令发出的时间点存在较大差距，因此第二音频信号与第一音频信号间会存在时间差距。
67.104、接收第一音频信号，并记录接收时间为第一时间点；
68.具体的，接收第一音频信号，并记录接收时间为第一时间点。在实际实施过程中可通过音频接收设备实现，具体的通过收音器或麦克风等设备实现，在实际实施过程中音频的接收过程可通过影音播放设备所具有的麦克风进行，记录接收到第一音频信号的第一时间点，以便比较与第二音频信号发出时的时间差距。
69.105、接收所述第二音频信号，并记录接收时间为第二时间点；
70.具体的，接收第二音频信号，并记录接收时间为第二时间点，第二音频信号的接收过程与前述第一音频信号的接收过程类似，具体此处不做赘述，值得注意的是，在接收第二音频信号时可能存在第一音频信号和第二音频信号的叠加，此时应当对音频识别过程进行相应处理，以便准确识别到第二音频信号。
71.106、基于第一时间点和第二时间点间的差值进行音画同步调整。
72.具体的，基于所述第一时间点和所述第二时间点间的差值进行音画同步调整，具体而言，若二者之间的差值过大，则可进行音画同步调整过程，若差值较小，则可结束流程，无需进行相应调整。
73.对于需要进行调整的情况，也可以通过不同的方式进行音画同步调整，举例而言，可以对影音播放设备本身的音视频处理及播放过程设置一定延时，以使其配合外部音频播放设备的处理时间，进而达到音画一致的处理效果。此外也可采用变更外部音频播放设备的音频解码方式等手段减小延迟，具体方式可依据实际情况而定，此处不做限定。
74.可以理解的是，在进行音画同步调整过程后，还可以再次进行如上述步骤101至步骤105的过程，再次获得第一时间点与第二时间点之间的差值，进而判断音画同步调整过程是否达到预定效果，若未达到，则可以再次调整，进而保证处理效果。
75.从以上技术方案可以看出，本技术实施例具有以下优点：本技术实施例提供了一种音画同步处理方法，所述方法应用于具有外部音频播放设备的影音播放设备，包括：发送目标声音信号播放指令，所述标声音信号播放指令用于指示所述影音播放设备的内部音频播放结构和所述外部音频播放设备同时播放目标声音信号；通过所述内部音频播放结构播放所述目标声音信号，发出第一音频信号；通过所述外部音频播放设备播放所述目标声音信号，发出第二音频信号；接收所述第一音频信号，并记录接收时间为第一时间点；接收所
述第二音频信号，并记录接收时间为第二时间点；基于所述第一时间点和所述第二时间点间的差值进行音画同步调整。通过上述方式使得外部音频播放设备的音画延迟情况得到调整，保证了外部音频播放设备与影音播放设备在使用过程中所输出的音频信号及视频信号的一致性，提高了用户的试听体验。
76.为便于在实际实施过程中使用本方法，本技术还提供了一种可选择实施的更为详细的实施例，请参阅图2，本技术的一个实施例包括：步骤101-步骤105。
77.201、发送目标声音信号播放指令。
78.具体的，本实施例以实施主体为电视设备为例进行说明，用户在使用电视过程中可通过电视遥控器控制电视进入音画调整过程，进而执行本方法。
79.202、通过内部音频播放结构播放目标声音信号，发出第一音频信号。
80.203、通过外部音频播放设备播放目标声音信号，发出第二音频信号。
81.具体的，上述步骤202至步骤203与前述图1对应实施例中步骤102至103类似，具体可参照前述内容，此处不做赘述。
82.204、通过麦克风接收第一音频信号，并记录接收时间为第一时间点。
83.205、通过麦克风接收第二音频信号，并记录接收时间为第二时间点。
84.具体的，上述步骤204至步骤205可通过设置于电视机设备的麦克风完成，其中用于收音的麦克风也可设置于电视机设备对应的遥控器上，或者作为与电视设备间存在数据连接的独立设备，具体可依据实际情况而定，此处不做限定。
85.206、判断第一时间点和第二时间点间的差值是否大于预设值。
86.具体的，计算第一时间点和第二时间点之间的差值，并比较该差值与预设值之间的关系，其中预设值为工作人员预先设置，用以表示能够被接受的音画延迟最大时长，预设值设置的越小，则音画同步效果越好，但对调整过程的精度要求也越高，一般而言该数值可以设置为50ms，具体的数值设置可依据实际情况而定，此处不做限定。若第一时间点和第二时间点间的差值小于等于预设值，则说明延迟处于合理范围，执行步骤207，不进行音画同步调整过程。若第一时间点和第二时间点之间的差值大于预设值，则执行步骤208，进行音画同步调整过程。
87.207、不进行音画同步调整过程。
88.具体的，若第一时间点和第二时间点间的差值小于等于预设值，则说明当前环境下音画不同步的幅度较小，无需进行调整，可以不进行音画同步调整过程，可以结束流程。
89.208、进行音画同步调整过程。
90.具体的，实际可实施的音画同步调整过程包括两种方式，下面分别进行说明：
91.(1)对于所述影音播放设备的本地信号处理过程增加差额时长的信号延迟，所述差额时长等于第一时间点与第二时间点之间的差值。
92.即在影音播放设备的处理过程中经过差额时长后再输出视频和音频信号，但对于外部音频播放设备则不增加该延时，进而通过对本地信号处理过程增加处理延时的方式，使得影音播放设备所输出的音视频与外部音频播放设备所输出的音频在时间上保持一致。
93.(2)调整所述外部音频播放设备的音频解码方式。
94.具体的，在实际实施过程中外部音频设备可能使用某些获得的音频效果较好但处理较为复杂的编码方式，这一方式虽然得到的声音效果较好，但会导致延时较高，因此可切
换为某些处理效果一般，但较为简单快捷的编码方式，举例而言。常见的蓝牙音频编码格式是sbc(sub-band coding，子带编码)/aac(advanced audio coding，高级音频编码)，低延迟的蓝牙音频编码格式是aptx ll(aptx low latency，低延迟无损传输技术)/lc3(低复杂度通信编解码器)/lhdc(low-latency hi-definition audio codec，低延迟高分辨率音频编码)在实际实施过程中可由常规的编码方式转换为低延迟分类下的编码方式，进而降低外部音频播放设备在播放过程中的延时，从而保证音画一致效果，可以理解的是，在实际实施过程中音频解码方式的类别调整可依据设备所支持的解码种类而定，具体此处并不做限定。
95.上述内容对本技术所提供的音画同步处理方法进行了描述，为支持上述实施例的实施，本技术还提供了一种音画同步处理设备，所述设备与包括外部音频播放设备的影音播放设备关联使用请参阅图3，本技术所提供的音画同步处理设备的一个实施例包括：
96.发送单元301，用于发送目标声音信号播放指令，所述目标声音信号播放指令用于指示所述影音播放设备的内部音频播放结构和所述外部音频播放设备同时播放目标声音信号；
97.第一音频播放单元302，用于通过所述内部音频播放结构播放所述目标声音信号，发出第一音频信号；
98.第二音频播放单元303，用于通过所述外部音频播放设备播放所述目标声音信号，发出第二音频信号；
99.第一接收单元304，用于接收所述第一音频信号，并记录接收时间为第一时间点；
100.第二接收单元305，用于接收所述第二音频信号，并记录接收时间为第二时间点；
101.调整单元306，用于基于所述第一时间点和所述第二时间点间的差值进行音画同步调整。
102.可选的，所述影音播放设备为电视设备。
103.可选的，所述第一接收单元具体用于：通过麦克风接收所述第一音频信号；
104.所述第二接收单元具体用于：通过所述麦克风接收所述第二音频信号。
105.可选的，所述调整单元具体用于：
106.判断所述第一时间点和所述第二时间点间的差值是否大于预设值；
107.若所述差值大于预设值，则进行所述音画同步调整的过程；
108.若所述差值小于等于所述预设值，则不进行所述音画同步调整的过程。
109.可选的，所述调整单元具体用于：
110.对于所述影音播放设备的本地信号处理过程增加差额时长的信号延迟，所述差额时长等于第一时间点与第二时间点之间的差值。
111.可选的，所述调整单元具体用于：
112.调整所述外部音频播放设备的音频解码方式。
113.可选的，所述麦克风设置于所述影音播放设备的控制设备上。
114.本实施例中，音画同步处理设备中各单元所执行的流程与前述图1所对应的实施例中描述的方法流程类似，此处不再赘述。
115.图4是本技术实施例提供的一种影音播放设备的结构示意图，影音播放设备400可以包括一个或一个以上处理器401和存储器402，该存储器402中存储有一个或一个以上的
应用程序或数据。
116.本实施例中，处理器401中的具体功能模块划分可以与前述图3中所描述的各单元的功能模块划分方式类似，此处不再赘述。
117.其中，存储器402可以是易失性存储或持久存储。存储在存储器402的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，处理器401可以设置为与存储器402通信，在影音播放设备400上执行存储器402中的一系列指令操作。
118.在影音播放设备400还包括内部音频播放结构403、外部音频播放设备404；内部音频播放结构403可为喇叭或扬声器等结构，外部音频播放设备404可为与影音播放设备400间存在数据连接，受处理器401控制的音频播放设备，如蓝牙音箱或蓝牙耳机等设备。
119.该处理器401可以执行前述图1或图2所示实施例中音画同步处理方法所执行的操作，具体此处不再赘述。
120.本技术实施例还提供了一种计算机存储介质，该计算机存储介质用于储存为上述音画同步处理方法所用的计算机软件指令，其包括用于执行为音画同步处理方法所设计的程序。
121.该音画同步处理方法可以如前述图1或图2中所描述的音画同步处理方法。
122.本技术实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机软件指令，该计算机软件指令可通过处理器进行加载来实现上述图1图2中任意一项的音画同步处理方法的流程。
123.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，电路的等效变换，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
124.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
125.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
126.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。