一种基于墨水屏电子桌牌的信息展示方法和装置与流程

本发明涉及电子墨水屏，尤其涉及一种基于墨水屏电子桌牌的信息展示方法和装置。

背景技术：

1、电子桌牌是指用于显示名片、演讲信息以及事件信息的置于桌上的电子设备，而电子墨水技术一种无背光、低功耗、可视角度广的显示技术，应用了电子墨水技术的电子桌牌凭借其低功耗以及护眼等优势越来越多的应用于餐饮、医疗、零售、金融以及教育等领域。

2、现有的墨水屏电子桌牌的信息展示技术多为基于传统设定的信息显示技术，通过人为设定电子桌牌的显示信息以及轮询时间，实现信息展示，实际应用中，基于传统设定的信息显示技术在使用时需要人为手动调整显示的内容，而电子墨水屏由于其技术限制，画面刷新的速度较慢，可能会导致进行信息显示时的效率较低。

技术实现思路

1、本发明提供一种基于墨水屏电子桌牌的信息展示方法和装置，其主要目的在于解决进行信息显示时的效率较低的问题。

2、为实现上述目的，本发明提供的一种基于墨水屏电子桌牌的信息展示方法，包括：

3、利用电子桌牌的录音器获取历史用户录音，获取所述电子桌牌的应用埋点数据，从所述应用埋点数据中提取出时序事件数据和时序显示数据，根据所述时序事件数据对所述历史用户录音进行时间戳匹配，得到用户行为录音；

4、依次对所述用户行为录音进行音频除噪和音频加窗操作，得到标准行为音频，依次对所述标准行为音频进行频域转化和频域特征提取，得到时序音频特征序列；

5、对所述时序事件数据进行事件标准化操作，得到事件特征序列，对所述事件特征序列进行特征聚类，得到事件特征类集，利用所述事件特征类集对所述事件特征序列进行更新，得到时序事件特征序列，其中，所述对所述时序事件数据进行事件标准化操作，得到事件特征序列，包括：逐个选取所述时序事件数据中的事件数据作为目标事件数据，分别提取出所述目标事件数据的事件名称、事件持续时间以及事件参数；将所述事件名称、事件持续时间以及所述事件参数分别作为特征维度汇集成所述目标事件数据的初级事件特征，将所有的初级事件特征汇集成初级特征序列；根据所述初级特征序列生成初级特征矩阵，并对所述初级特征矩阵的每一维度的特征进行归一化处理，得到次级特征矩阵；利用如下的方差矩阵算法计算出所述次级特征矩阵的标准特征矩阵：

6、

7、其中，所述cu是指所述次级特征矩阵中第u维特征的标准特征矩阵，所述m是指所述初级特征序列的序列长度，j、o为序列序号，xju是指所述次级特征矩阵中第j个次级特征的第u维特征，xou是指所述次级特征矩阵中第o个次级特征的第u维特征，t为转置符号；根据所述标准特征矩阵对所述初级特征序列进行特征映射，得到事件特征序列；

8、将所述时序音频特征序列和所述时序事件特征序列进行时序特征融合，得到时序行为特征序列，根据所述时序行为特征序列和所述时序显示数据对预设的时序显示模型进行迭代训练，得到显示分析模型；

9、获取所述电子桌牌的实时录音数据和实时埋点数据，根据实时录音数据和实时埋点数据生成实时行为特征，利用所述显示分析模型分析出所述实时行为特征对应的预测显示数据，根据所述预测显示数据对所述电子桌牌进行信息展示。

10、可选地，所述根据所述时序事件数据对所述历史用户录音进行时间戳匹配，得到用户行为录音，包括：

11、逐个选取所述时序事件数据中的事件数据作为目标事件数据，将所述目标事件数据对应的时间戳作为目标时间戳；

12、根据所述目标时间戳和预设的音频窗口从所述历史用户录音中截取出目标行为录音；

13、将所有的目标行为录音按照时序汇集成用户行为录音。

14、可选地，所述依次对所述用户行为录音进行音频除噪和音频加窗操作，得到标准行为音频，包括：

15、对所述用户行为录音进行带通滤波，得到除噪行为录音；

16、计算出所述除噪行为录音的音频幅度分布，根据所述音频幅度分布对所述除噪行为录音进行增益控制，得到增益行为录音；

17、按照预设的分帧步长和预设的重叠步长对所述增益行为录音进行音频分帧，得到分帧行为录音；

18、对所述分帧行为录音进行音频加窗，得到标准行为音频。

19、可选地，所述依次对所述标准行为音频进行频域转化和频域特征提取，得到时序音频特征序列，包括：

20、利用如下的频域转化公式将所述标准行为音频转化为行为频域序列：

21、

22、其中，y(k)是指所述行为频域序列中的第k个频域信号，n是指所述标准行为音频的采样序号，n是指所述标准行为音频的采样点数，y(n)是指所述标准行为音频中第n个采样点对应的音频信号，e是欧拉数，i是虚数符号，π为圆周率；

23、逐个选取所述行为频域序列中的频域信号作为目标频域信号，依次计算出所述目标频域信号的帧间能量、帧间过零率以及梅尔系数；

24、将所述帧间能量、所述帧间过零率以及所述梅尔系数汇集成所述目标频域信号的时序音频特征，并将所有的时序音频特征汇集成时序音频特征序列。

25、可选地，所述对所述事件特征序列进行特征聚类，得到事件特征类集，包括：

26、将所述事件特征序列拆分成多个事件特征组，随机在各事件特征组中筛选出初级事件中心特征；

27、计算出所述事件特征序列中各个事件特征和各个初级事件中心特征质检的特征距离；

28、根据所述特征距离对各个事件特征进行重新分组，得到多个次级事件特征组，计算各个次级事件特征组对应的次级事件中心特征；

29、计算出各个次级事件中心特征和对应的初级事件中心特征之间的中心特征距离，根据所述中心特征距离将各个次级事件特征组迭代更新成标准事件特征组；

30、逐个选取所述标准事件特征组作为目标事件特征组，将所述目标事件特征组作为目标事件特征类，将所述目标事件特征组的次级事件中心特征作为所述目标事件特征类的聚类中心，并将所有的目标事件特征类汇集成事件特征类集。

31、可选地，所述将所述时序音频特征序列和所述时序事件特征序列进行时序特征融合，得到时序行为特征序列，包括：

32、逐个选取所述时序音频特征序列中的时序音频特征作为目标时序音频特征，在所述时序事件特征序列中筛选出所述目标时序音频特征对应的时序事件特征作为目标时序事件特征；

33、将所述目标时序音频特征全局池化成目标音频行为特征，将所述目标时序事件特征全局池化成目标事件行为特征；

34、将所述目标音频行为特征和所述目标事件行为特征进行向量拼接，得到目标全局行为特征；

35、利用所述目标全局行为特征对所述目标音频行为特征和目标事件行为特征进行特征融合，得到目标行为特征，并将所有的目标行为特征汇集成时序行为特征序列。

36、可选地，所述利用所述目标全局行为特征对所述目标音频行为特征和目标事件行为特征进行特征融合，得到目标行为特征，包括：

37、计算出所述目标时序音频特征与所述目标全局行为特征之间的第一特征相似度，计算出所述目标时序事件特征与所述目标全局行为特征之间的第二特征相似度；

38、将所述第一特征相似度作为音频权重，将所述目标时序音频特征和所述音频权重的乘积作为目标标准音频特征；

39、将所述第二特征相似度作为事件权重，将所述目标时序事件特征和所述事件权重的乘积作为目标标准事件特征；

40、将所述目标标准音频特征和所述目标标准事件特征之和作为目标行为特征。

41、可选地，所述根据所述时序行为特征序列和所述时序显示数据对预设的时序显示模型进行迭代训练，得到显示分析模型，包括：

42、利用预设的时序显示模型分析出所述时序行为特征序列对应的预测显示数据；

43、根据所述预测显示数据和所述时序显示数据计算出所述时序显示模型的模型损失值；

44、根据所述模型损失值对所述时序显示模型的模型参数进行迭代更新，直至所述模型损失值小于预设的损失值阈值时，将更新后的时序显示模型作为显示分析模型。

45、可选地，所述利用预设的时序显示模型分析出所述时序行为特征序列对应的预测显示数据，包括：

46、利用预设的时序显示模型的长期特征层提取出所述时序行为特征序列的长期行为特征；

47、利用所述时序显示模型的短期特征层提取出所述时序行为特征序列的短期行为特征；

48、利用所述时序显示模型的自注意力层提取出所述时序行为特征序列的自注意力行为特征；

49、将所述长期行为特征和所述短期行为特征融合成长短行为特征，利用所述时序显示模型的全连接层将所述长短行为特征和所述注意力行为特征融合成行为显示特征；

50、利用所述时序显示模型的线性激活层对所述行为显示特征进行线性激活，得到预测显示数据。

51、为了解决上述问题，本发明还提供一种基于墨水屏电子桌牌的信息展示装置，所述装置包括：

52、数据获取模块，用于利用电子桌牌的录音器获取历史用户录音，获取所述电子桌牌的应用埋点数据，从所述应用埋点数据中提取出时序事件数据和时序显示数据，根据所述时序事件数据对所述历史用户录音进行时间戳匹配，得到用户行为录音；

53、音频特征提取模块，用于依次对所述用户行为录音进行音频除噪和音频加窗操作，得到标准行为音频，依次对所述标准行为音频进行频域转化和频域特征提取，得到时序音频特征序列；

54、事件特征提取模块，用于对所述时序事件数据进行事件标准化操作，得到事件特征序列，对所述事件特征序列进行特征聚类，得到事件特征类集，利用所述事件特征类集对所述事件特征序列进行更新，得到时序事件特征序列，其中，所述对所述时序事件数据进行事件标准化操作，得到事件特征序列，包括：逐个选取所述时序事件数据中的事件数据作为目标事件数据，分别提取出所述目标事件数据的事件名称、事件持续时间以及事件参数；将所述事件名称、事件持续时间以及所述事件参数分别作为特征维度汇集成所述目标事件数据的初级事件特征，将所有的初级事件特征汇集成初级特征序列；根据所述初级特征序列生成初级特征矩阵，并对所述初级特征矩阵的每一维度的特征进行归一化处理，得到次级特征矩阵；利用如下的方差矩阵算法计算出所述次级特征矩阵的标准特征矩阵：

55、

56、其中，所述cu是指所述次级特征矩阵中第u维特征的标准特征矩阵，所述m是指所述初级特征序列的序列长度，j、o为序列序号，xju是指所述次级特征矩阵中第j个次级特征的第u维特征，xou是指所述次级特征矩阵中第o个次级特征的第u维特征，t为转置符号；根据所述标准特征矩阵对所述初级特征序列进行特征映射，得到事件特征序列；

57、模型训练模块，用于将所述时序音频特征序列和所述时序事件特征序列进行时序特征融合，得到时序行为特征序列，根据所述时序行为特征序列和所述时序显示数据对预设的时序显示模型进行迭代训练，得到显示分析模型；

58、信息展示模块，用于获取所述电子桌牌的实时录音数据和实时埋点数据，根据实时录音数据和实时埋点数据生成实时行为特征，利用所述显示分析模型分析出所述实时行为特征对应的预测显示数据，根据所述预测显示数据对所述电子桌牌进行信息展示。

59、本发明实施例通过利用电子桌牌的录音器获取历史用户录音，获取所述电子桌牌的应用埋点数据，可以收集用户的使用习惯相关数据，通过从所述应用埋点数据中提取出时序事件数据和时序显示数据，可以获取所有与电子桌牌显示有关的数据，通过根据所述时序事件数据对所述历史用户录音进行时间戳匹配，得到用户行为录音，可以将电子桌牌的内部事件与外部录音进行匹配，从而方便进一步提取用户的行为特征，通过依次对所述用户行为录音进行音频除噪和音频加窗操作，得到标准行为音频，可以去除音频噪音，提高音频特征的准确性，通过依次对所述标准行为音频进行频域转化和频域特征提取，得到时序音频特征序列可以降低数据维度，去除冗余信息，提取音频的主要特征，通过对所述时序事件数据进行事件标准化操作，得到事件特征序列，可以将事件数据转化为对应的事件特征，方便后续行为特征的提取，通过对所述事件特征序列进行特征聚类，得到事件特征类集，利用所述事件特征类集对所述事件特征序列进行更新，得到时序事件特征序列，可以降低事件特征的维度，进而提高模型训练效率。

60、通过将所述时序音频特征序列和所述时序事件特征序列进行时序特征融合，得到时序行为特征序列，可以提高用户行为特征的特征广度，通过根据所述时序行为特征序列和所述时序显示数据对预设的时序显示模型进行迭代训练，得到显示分析模型，可以提取出行为特征和显示数据的时序关系，从而方便后续的电子桌牌的信息展示，通过获取所述电子桌牌的实时录音数据和实时埋点数据，根据实时录音数据和实时埋点数据生成实时行为特征，利用所述显示分析模型分析出所述实时行为特征对应的预测显示数据，根据所述预测显示数据对所述电子桌牌进行信息展示，可以根据实时的用户录音和埋点数据提取出用户的实时行为特征，并预测出电子桌牌后续的显示信息数据，提前进行显示数据的预渲染，提高信息的显示效率。因此本发明提出的基于墨水屏电子桌牌的信息展示方法和装置，可以解决进行信息显示时的效率较低的问题。