音频播放控制方法、音频播放设备及计算机可读存储介质与流程

1.本发明涉及数字音频信号处理技术领域，尤其涉及一种音频播放控制方 法、音频播放设备及计算机可读存储介质。


背景技术：

2.智能穿戴设备在近几年得到快速发展，各大科技公司纷纷推出各 种智能穿戴设备来实现虚拟世界和现实世界的交互，智能穿戴设备在 当下拥有广袤的市场前景。
3.对于智能穿戴设备中的增强现实设备，例如ar(augmented reality，增 强现实)眼镜等ar设备，其最大的特点之一就是能够给予用户沉浸式的交互 体验，因此，为了提升用户的交互体验，需要将音效技术和增强现实设备相 结合，从而提升用户的体验。
4.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是 现有技术。


技术实现要素：

5.本发明的主要目的在于提供一种音频播放控制方法，旨在解决如何满足 用户在不同场景下对音效的不同需求的问题。
6.为实现上述目的，本发明提供的一种音频播放控制方法，所述方法包括：
7.根据所述环境信息采集装置采集到的环境信息，确定和/或生成与所述环 境信息匹配的目标音效；
8.在接收到音频播放指令时，根据所述目标音效处理所述音频播放指令对 应的待播放音频；
9.播放处理后的所述待播放音频。
10.可选地，所述根据所述环境信息采集装置采集到的环境信息，确定和/或 生成与所述环境信息匹配的目标音效的步骤之后，包括：
11.确定所述环境信息是否满足虚拟场景模拟条件；
12.若所述环境信息满足所述虚拟场景模拟条件，生成所述环境信息对应的 虚拟场景图像。
13.可选地，所述确定所述环境信息是否满足预设的虚拟场景模拟条件的步 骤包括：
14.将所述环境信息与参考环境信息匹配，并确定所述环境信息与所述参考 环境信息之间的匹配相似度；
15.当所述匹配相似度大于预设阈值，判断所述匹配相似度对应的所述环境 信息满足所述虚拟场景模拟条件。
16.可选地，所述环境信息包括桌面类环境信息、客厅环境信息、卧室环境 信息、车内环境信息和动态环境信息，所述根据所述环境信息采集装置采集 到的环境信息，确定和/或生成与所述环境信息匹配的目标音效的步骤包括：
17.确定所述环境信息对应的环境类型；
18.根据所述环境类型匹配所述环境信息对应的目标音效。
19.可选地，所述环境类型包括桌面类环境、客厅环境、卧室环境、车内环 境和动态环境，所述根据所述环境类型匹配所述环境信息对应的目标音效的 步骤包括：
20.若所述环境类型为所述桌面类环境信息，确定所述目标音效为声场扩展 音效；
21.若所述环境类型为所述客厅环境信息，确定所述目标音效为虚拟环绕音 效；
22.若所述环境类型为所述卧室环境信息，确定所述目标音效为杜比音效；
23.若所述环境类型为所述车内环境，确定所述目标音效为am3d音效；
24.若所述环境类型为所述动态环境，根据所述动态环境生成对应的目标音 效。
25.可选地，所述根据所述目标音效处理所述音频播放指令对应的待播放音 频的步骤之前，包括：
26.确定所述音频播放指令是否存在音效调用许可；
27.所述根据所述目标音效处理所述音频播放指令对应的待播放音频的步骤 包括：
28.若所述音频播放指令存在所述音效调用许可，在检测到所述音效播放指 令时，根据所述目标音效处理所述音频播放指令对应的待播放音频。
29.可选地，确定所述音频播放指令是否存在音效调用许可的步骤之后，包 括：
30.若所述音频播放指令不存在所述音效调用许可，确定所述音频播放指令 中是否存在预设的个性化音效；
31.若存在所述个性化音效，根据所述个性化音效处理所述音频播放指令对 应的待播放音频。
32.可选地，所述根据所述环境信息采集装置采集到的环境信息，确定和/或 生成与所述环境信息匹配的目标音效的步骤之后，包括：
33.在检测到音效存储指令时，存储所述目标音效中对应的所述环境信息；
34.当所述环境信息采集装置在第二时刻采集到与存储的所述环境信息相同 类型的第二环境信息时，调用所述存储的环境信息对应的所述目标音效；
35.在接收到所述音频播放指令时，执行所述根据所述目标音效处理所述音 频播放指令对应的待播放音频的步骤。
36.此外，为实现上述目的，本发明还提供一种音频播放设备，所述音频播 放设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运 行的音频播放控制程序，所述音频播放控制程序被所述处理器执行时实现如 上所述的音频播放控制方法的步骤。
37.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述 计算机可读存储介质上存储有音频播放控制程序，所述音频播放控制程序被 处理器执行时实现如上所述的音频播放控制方法的步骤。
38.本发明实施例提供一种音频播放控制方法、音频播放设备及计算机可读 存储介质，其中，所述方法包括：根据所述环境信息采集装置采集到的环境 信息，确定和/或生成与所述环境信息匹配的目标音效；在接收到音频播放指 令时，根据所述目标音效处理所述音频播放指令对应的待播放音频；播放处 理后的所述待播放音频。使设备能够适应不同场景下用户对音频播放设备的 体验需求，解决了如何满足用户在不同场景下对音效的不同需求的问题，提 升了用户的产品使用体验。
附图说明
39.图1为本发明实施例涉及的音频播放设备的硬件架构示意图；
40.图2为本发明音频播放控制方法的第一实施例的流程示意图；
41.图3为本发明音频播放控制方法的第二实施例的流程示意图；
42.图4为本发明音频播放控制方法的第三实施例的流程示意图；
43.图5为本发明音频播放控制方法的第三实施例中的另一流程示意图；
44.图6为本发明音频播放控制方法的第四实施例的流程示意图；
45.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
46.随着音视频服务的日益普及，用户对音效的需求日益增加，目前ar眼镜在音效服务上普及率比较低，而用户需求增长较快。本发明针对此问题，发明了一种音效自适应的方法和设备，可适应用户不同场景下的音效体验需求，达到用户预期的效果。
47.本技术至少具有以下几种特点：
48.1、本技术的音频播放设备中内置了多种音效，可适应多种环境下的听音需求，达到不同场景下的听音效果。
49.2、本技术可通过环境信息采集装置视觉分析外部所处环境，并分析当前环境下适合的音效，并虚拟对应的音效场景，用户可体验到身临其境的感觉。
50.3、本技术可根据环境分析的结果自动应用合适的音效，无需手动选择，达到更好的听音效果。
51.4、本技术可让用户自己选择自己喜欢的音效，同时存储为用户常用音效，下次在该环境时，自动切换为用户喜欢的音效，达到用户个性化。
52.为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
53.作为一种实现方案，音频播放设备的硬件架构可以如图1所示。
54.本发明实施例方案涉及的是音频播放设备的硬件架构，所述音频播放设备的硬件架构包括：处理器101，例如cpu，存储器102，通信总线103。其中，通信总线103用于实现这些组件之间的连接通信。
55.存储器102可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。如图1所示，作为一种计算机可读存储介质的存储器102中可以包括音频播放控制程序；而处理器101可以用于调用存储器102中存储的音频播放控制程序，并执行以下操作：
56.根据所述环境信息采集装置采集到的环境信息，确定和/或生成与所述环境信息匹配的目标音效；
57.在接收到音频播放指令时，根据所述目标音效处理所述音频播放指令对应的待播放音频；
58.播放处理后的所述待播放音频。
59.在一实施例中，处理器101可以用于调用存储器102中存储的音频播放 控制程序，并执行以下操作：
60.确定所述环境信息是否满足虚拟场景模拟条件；
61.若所述环境信息满足所述虚拟场景模拟条件，生成所述环境信息对应的 虚拟场景图像。
62.在一实施例中，处理器101可以用于调用存储器102中存储的音频播放 控制程序，并执行以下操作：
63.将所述环境信息与参考环境信息匹配，并确定所述环境信息与所述参考 环境信息之间的匹配相似度；
64.当所述匹配相似度大于预设阈值，判断所述匹配相似度对应的所述环境 信息满足所述虚拟场景模拟条件。
65.在一实施例中，处理器101可以用于调用存储器102中存储的音频播放 控制程序，并执行以下操作：
66.确定所述环境信息对应的环境类型；
67.根据所述环境类型匹配所述环境信息对应的目标音效。
68.在一实施例中，处理器101可以用于调用存储器102中存储的音频播放 控制程序，并执行以下操作：
69.若所述环境类型为所述桌面类环境信息，确定所述目标音效为声场扩展 音效；
70.若所述环境类型为所述客厅环境信息，确定所述目标音效为虚拟环绕音 效；
71.若所述环境类型为所述卧室环境信息，确定所述目标音效为杜比音效；
72.若所述环境类型为所述车内环境，确定所述目标音效为am3d音效；
73.若所述环境类型为所述动态环境，根据所述动态环境生成对应的目标音 效。
74.在一实施例中，处理器101可以用于调用存储器102中存储的音频播放 控制程序，并执行以下操作：
75.确定所述音频播放指令是否存在音效调用许可；
76.所述根据所述目标音效处理所述音频播放指令对应的待播放音频的步骤 包括：
77.若所述音频播放指令存在所述音效调用许可，在检测到所述音效播放指 令时，根据所述目标音效处理所述音频播放指令对应的待播放音频。
78.在一实施例中，处理器101可以用于调用存储器102中存储的音频播放 控制程序，并执行以下操作：
79.若所述音频播放指令不存在所述音效调用许可，确定所述音频播放指令 中是否存在预设的个性化音效；
80.若存在所述个性化音效，根据所述个性化音效处理所述音频播放指令对 应的待播放音频。
81.在一实施例中，处理器101可以用于调用存储器102中存储的音频播放 控制程序，并执行以下操作：
82.在检测到音效存储指令时，存储所述目标音效中对应的所述环境信息；
83.当所述环境信息采集装置在第二时刻采集到与存储的所述环境信息相同 类型的第二环境信息时，调用所述存储的环境信息对应的所述目标音效；
84.在接收到所述音频播放指令时，执行所述根据所述目标音效处理所述音 频播放指令对应的待播放音频的步骤。
85.基于上述基于数字音频信号处理技术的音频播放设备的硬件架构，提出 本发明音频播放控制方法的实施例。
86.参照图2，在第一实施例中，所述音频播放控制方法包括以下步骤：
87.步骤s10，根据所述环境信息采集装置采集到的环境信息，确定和/或生 成与所述环境信息匹配的目标音效；
88.在本实施例中，环境信息采集装置设置于音频播放设备上，通过环境信 息采集装置可以采集音频播放设备周围环境的图像，从图像中提取出特征信 息，并分析出当前音频播放设备的所处环境信息，根据环境信息确定和/或生 成与所述环境信息匹配的目标音效。在一些实施方式中，音频播放设备可以 为vr设备。
89.可选地，环境信息的类型可以包括桌面类环境、客厅环境、卧室环境、 车内环境和动态环境。音频播放设备放置于桌面上和/或佩戴音频播放设备的 用户坐在桌子面前时采集到的环境信息，判断其类型为桌面类环境；当音频 播放设备处于客厅和/或佩戴音频播放设备的用户位于客厅时采集到的环境信 息，判断其类型为客厅环境；当音频播放设备处于卧室和/或佩戴音频播放设 备的用户位于卧室时采集到的环境信息，判断其类型为卧室环境；当音频播 放设备处于车内和/或佩戴音频播放设备的用户位于车内时采集到的环境信 息，判断其类型为车内环境；当音频播放设备处于动态环境和/或佩戴音频播 放设备的用户在路上行走、跑步等动作时采集到的环境信息，判断其为动态 环境。
90.可选地，根据环境信息的类型确定和/或生成与环境信息匹配的目标音效。 在一些实施方式中，当环境信息的类型为桌面类环境时，选用声场扩展音效 作为目标音效，声场扩展是利用双耳合成技术将普通立体声信号转换成双耳 信号，考虑特定方位的双耳hrtf(head related transfer functions，头部相 关传输函数)；同时使用串声消除ctc(cross-talk cancellation，串声干扰) 技术用于抵消双耳合成的输出的声音从扬声器传播到双耳过程中产生的串 声，达到将双耳信号直接输入到听者耳朵的效果。
91.在一些实施方式中，当环境信息的类型为客厅环境时，选用虚拟环绕声 作为目标音效，虚拟环绕声是在双声道立体声的基础上，不增加声道和音箱， 把声场信号通过电路处理后播出，使聆听者感到声音来自多个方位，产生仿 真的立体声场。
92.在一些实施方式中，当环境信息的类型为卧室环境时，选用am3d音效 作为3d音效。am3d的低音增强和均衡变换器可以显著提升音频性能，通过 创建良好的声像延展物理扬声器，使得3d音效增强和3d环绕音效算法极大 提升，增强了听觉方面的沉浸感体验。
93.在一些实施方式中，当环境信息的类型为车内环境时，选用杜比音效 (dolby audio)，作为目标音效。杜比音效技术是一系列用于为影院、家庭和途 中提供丰富、清晰且撼人心魄的音效的强大技术。借助杜比音效技术，便可 实现为电影、电视节目、音乐和游戏从多个层面提升其听感体验的音效。杜 比音效技术可提供多达7.1声道的环绕声音效，其中包括来自任意源且通过 耳机传送的虚拟环绕声。
94.在一些实施方式中，当环境信息的类型为用户佩戴音乐播放设备在路上 行走的动态环境时，周围环境较为嘈杂，根据环境信息中的噪声生成降噪音 效，将降噪音效作为目标音效。在另一些实施方式中，当环境信息的类型为 动态环境时，不使用音效。
95.步骤s20，在接收到音频播放指令时，根据所述目标音效处理所述音频播 放指令对应的待播放音频；
96.步骤s30，播放处理后的所述待播放音频。
97.在确定出目标音效之后，当接收到音频播放指令时，根据目标音效处理 该音频播放指令对应的待播放音频，并播放处理后的待播放音频。
98.可选地，为了避免同类型音效的叠加而降低用户的听感，在一些实施方 式中，确定出目标音效之后，还会检测待播放音频中是否预先设置有已应用 音效，若已应用音效的音效类型和目标音效的音效类型不同，将已应用音效 和目标音效共同处理待播放音频；若已应用音效的音效类型和目标音效的音 效类型相同，则不再处理该待播放音频。避免了同类型音效的叠加而降低用 户的听感。
99.在本实施提供的技术方案中，根据所述环境信息采集装置采集到的环境 信息，确定和/或生成与所述环境信息匹配的目标音效；在接收到音频播放指 令时，根据所述目标音效处理所述音频播放指令对应的待播放音频；播放处 理后的所述待播放音频。使设备能够适应不同场景下用户对音频播放设备的 体验需求，解决了如何根据用户周边的所处环境确定音频播放设备的对应的 音效的问题，提升了用户的产品使用体验。
100.参照图3，在第二实施例中，基于第一实施例，所述步骤s10之后，包括：
101.步骤s40，确定所述环境信息是否满足虚拟场景模拟条件；
102.步骤s50，若所述环境信息满足所述虚拟场景模拟条件，生成所述环境信 息对应的虚拟场景图像。
103.可选地，在本实施例中，音频播放设备为增强现实设备，在确定出目标 音效之后，增强现实设备还可以根据环境信息生成虚拟场景图像。通过确定 环境信息是否满足预设的虚拟场景模拟条件，当判断为满足虚拟场景模拟条 件时，通过光学透视(optical see-through,ost)或视频透视(videosee-through,vst)生成环境信息对应的虚拟场景图像。
104.可选地，在一些实施方式中，当环境信息为桌面类环境时，生成能够随 着音乐律动的虚拟音箱设备的3d图像；当环境信息为客厅环境和卧室环境 时，生成虚拟家庭影院的3d图像。
105.其中，所述步骤s40包括：
106.步骤s41，将所述环境信息与参考环境信息匹配，并确定所述环境信息与 所述参考环境信息之间的匹配相似度；
107.步骤s42，当所述匹配相似度大于预设阈值，判断所述匹配相似度对应的 所述环境信息满足所述虚拟场景模拟条件。
108.可选地，虚拟场景模拟条件可以为，将环境信息与条件对应的数据库中 预设的参考环境信息匹配，并根据环境信息与参考环境信息之间的匹配相似 度是否超过一个预设阈值，来判断匹配相似度对应的所述环境信息是否满足 虚拟场景模拟条件，当匹配相似度大于阈值时，判断该环境信息满足虚拟场 景模拟条件，否则，判断为不满足虚拟场景模拟条件。匹配相似度表征为环 境信息中的特征信息与参考环境信息对应的参考特征信息之间的信息相关程 度，例如，从环境信息采集装置采集到的音频播放设备的周边环境的视觉数 据(包括但不限于图片、视频等)和听觉数据(包括但不限于噪声等)中， 通过图像处理提取出视觉数据和听觉数据中的特征参数，将这些特征参数与 参考环境信息中的参考特
征参数相匹配，匹配到的特征参数越多，则匹配相 似度越大，当相似度大于阈值时，则意味着满足虚拟场景模拟条件，根据环 境信息的环境类型，生成对应的虚拟场景图像。
109.在本实施例提供的技术方案中，通过设置对应的虚拟场景图像，使用户 体验到身临其境的感觉，提升了用户的产品使用体验。
110.参照图4，在第三实施例中，基于任一实施例，所述步骤s20之前，包括：
111.步骤s60，确定所述音频播放指令是否存在音效调用许可；
112.所述步骤s20包括：
113.步骤s21，若所述音频播放指令存在所述音效调用许可，在检测到所述音 效播放指令时，根据所述目标音效处理所述音频播放指令对应的待播放音频。
114.可选地，在本实施例中，为了避免用户对推荐的音效不满意，或者想试 听所有的音效而不直接应用到待播放音频文件中，在根据目标音效处理待播 放音频之前，确定音频播放指令中是否存在音效调用许可，音效调用许可即 用户在向设备输入音频播放指令时，选择使用第一实施例中的音频播放控制 方法来自动适配音效，则生成的音频播放指令会包含音效调用许可。当设备 检测到音效调用许可时，再根据环境信息确定和/或生成的目标音效处理待播 放音频。
115.其中，参照图5，所述步骤s60之后，包括：
116.步骤s70，若所述音频播放指令不存在所述音效调用许可，确定所述音频 播放指令中是否存在预设的个性化音效；
117.步骤s80，若存在所述个性化音效，根据所述个性化音效处理所述音频播 放指令对应的待播放音频。
118.可选地，在本实施例中，若用户想使用自己配置的音效，即个性化音效， 来处理音频，在输入音频播放指令时，选择不使用自动适配音效功能，则生 成的音频播放指令中不包含音效调用许可，此时设备检测音效存储数据库中 是否存有用户预先调试生成的个性化音效，根据个性化音效来处理待播放音 频。
119.在本实施例提供的技术方案中，提供了另一种由用户手动配置音效来处 理音频的方式，若用户不想使用设备根据环境信息生成和/或确定出的目标音 效来处理音频，则可以使用用户预先配置的个性化音效来处理待播放音频， 提升了用户的产品使用体验。
120.参照图6，在第四实施例中，基于任一实施例，所述步骤s10之后，包括：
121.步骤s90，在检测到音效存储指令时，存储所述目标音效中对应的所述环 境信息；
122.步骤s100，当所述环境信息采集装置在第二时刻采集到与存储的所述环 境信息相同类型的第二环境信息时，调用所述存储的环境信息对应的所述目 标音效；
123.步骤s110，在接收到所述音频播放指令时，执行所述根据所述目标音效 处理所述音频播放指令对应的待播放音频的步骤。
124.可选地，在本实施例中，在确定出目标音效之后，若用户想将当前环境 下自动配置的音效设为常用音效，则会向设备输入音效存储指令，设备在检 测到音效存储指令时，存储当前环境下环境信息采集装置采集到的环境信息， 当其在第二时刻采集到与存储的环境信息的相同类型的环境信息，即第二环 境信息时，不再执行根据所述环境信息采集装置采集到的环境信息，确定和/ 或生成与所述环境信息匹配的目标音效的步骤，直接调用在检测到音效存储 指令时，存储的环境信息对应的所述目标音效，然后在接收到音频播放
指令 时，根据该目标音效处理所述音频播放指令对应的待播放音频。
125.在本实施例提供的技术方案中，通过将同类型的环境信息进行归类存储， 当下一次采集到的环境信息的类型与存储过的环境信息类型相同时，直接调 用该类型环境信息对应的音效数据文件，从而在接收到音频播放指令时快速 处理音频播放指令对应的待播放音频，提升了用户的产品使用体验。
126.此外，本领域普通技术人员可以理解的是实现上述实施例的方法中的全 部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机 程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算 机可读存储介质。该程序指令被音频播放设备中的至少一个处理器执行，以 实现上述方法的实施例的流程步骤。
127.因此，本发明还提供一种计算机可读存储介质，所述计算机可读存储介 质存储有音频播放控制程序，所述音频播放控制程序被处理器执行时实现如 上实施例所述的音频播放控制方法的各个步骤。
128.其中，所述计算机可读存储介质可以是u盘、移动硬盘、只读存储器 (read-only memory，rom)、磁碟或者光盘等各种可以存储程序代码的计 算机可读存储介质。
129.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变 体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品 或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是 还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的 情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过 程、方法、物品或者装置中还存在另外的相同要素。
130.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如 rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手 机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述 的方法。
131.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是 利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间 接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。