直播关键点处理方法和装置与流程

1.本技术涉及数据处理技术领域，具体涉及直播关键点处理方法和装置。


背景技术：

2.在直播销售商品过程中，每一样商品可能都有特定的卖点信息，比如“买一送一”，“买100减50”等；或者，某个直播场次也有特别的促销手段，比如“全场八折”等。为了提升直播效果，通常要在直播过程中根据当前对话实时展示直播商品的卖点信息。
3.目前，主要采用以下三种方式向消费者用户展示直播商品的卖点信息：
4.1)由主播在直播过程中牢记这些卖点信息，或者由直播现场的场控人员不时地提醒主播说出这些卖点信息。该方式的缺点包括两方面：一方面，对主播而言，要么主播记不住卖点信息，要么被他人提醒后打乱了直播的连贯性；另一方面，观看直播的观众也只是听，不容易记住以语音形式展示的卖点信息。
5.2)通过场控人员在后台进行推送。该方式的缺点包括：增加了人工成本，并且操作繁琐，卖点信息展示的实时性差。
6.3)对于短视频后期加上包括卖点信息的标签。该方式的缺点包括：缺少直播过程中根据当前对话实时展示卖点信息。
7.综上所述，在商品直播场景中，现有技术存在商品卖点信息展示实时性和准确性较差等问题，从而影响直播效果。


技术实现要素：

8.本技术提供直播关键点处理系统，以解决现有技术存在的商品卖点信息展示实时性和准确性较差等问题。本技术另外提供直播关键点处理方法和装置，以及电子设备。
9.本技术提供一种直播流处理方法，包括：
10.获取原始直播流；
11.处理原始直播流以判断关键点信息；
12.根据关键点信息调用对应的关键点展示素材；
13.将关键点展示素材加入原始直播流以产生直播流；
14.输出带有关键点展示素材的直播流。
15.可选的，处理原始直播流以获取关键点信息包括：
16.获取原始直播流的语音或影像信息，确认语音或影像信息中的关键点信息；
17.其中，关键点信息可以是预设关键字、预设声音类型、预设声音特征、预设图像、预设连续动作、预设影像特征等。
18.可选的，关键点展示素材带有关键点标识，根据关键点信息调用对应的关键点展示素材包括：
19.判断关键点信息对应的展示素材库；
20.确认展示素材库中关键点标识与关键点信息相符合的关键点展示素材。
21.可选的，根据关键点信息调用对应的关键点展示素材还包括：
22.判断关键点信息对应的素材类型；
23.确认展示素材库中与素材类型相符合的关键点展示素材；
24.可选的，处理原始直播流以判断关键点信息还包括：
25.判断当前原始直播流对应的直播对象；
26.根据直播对象选择对应的关键点展示素材。
27.可选的，将关键点展示素材加入原始直播流以产生直播流包括：
28.判断关键点展示素材的展示形式信息；
29.根据展示形式信息将关键点展示素材加入原始直播流。
30.可选的，展示形式包括展示格式、展示功能、展示位置、展示时间。
31.可选的，展示格式包括选项、图片、文字、影像、图片加文字、声音、震动；展示功能包括静态、动态、交互；展示位置包括：背景、子画面、浮窗、动态条；展示时间包括维持时间、触发时间、关闭时间、动态时间参数。
32.可选的，还包括：
33.设置关键点信息库，关键点信息库包括多个关键点信息，和对应关键点展示素材。
34.可选的，从第一远端接收关键点信息的设置和关键点素材。
35.可选的，还包括：
36.从第二远端接收原始直播流；和/或
37.传输直播流至第三远端。
38.本技术还提供一种直播流处理装置，包括：
39.直播流获取单元，用于获取原始直播流；
40.关键点判断单元，用于处理原始直播流以判断关键点信息；
41.素材调用单元，用于根据关键点信息调用对应的关键点展示素材；
42.直播流加工单元，用于将关键点展示素材加入原始直播流以产生直播流；
43.直播流输出单元，用于输出带有关键点展示素材的直播流。
44.可选的，所述装置为直播专用设备。
45.可选的，所述装置为服务器；
46.所述直播流获取单元，具体用于从第二远端接收原始直播流。
47.本技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各种方法。
48.本技术还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各种方法。
49.与现有技术相比，本技术具有以下优点：
50.本技术实施例提供的直播流处理方法，通过在开播前预先配置直播关键点信息，在直播过程中获取原始直播流；处理原始直播流以判断关键点信息；根据关键点信息调用对应的关键点展示素材；将关键点展示素材加入原始直播流以产生直播流；输出带有关键点展示素材的直播流。采用这样处理方式，使得根据原始直播流自动输出带有关键点展示素材的直播流，观众更容易记住这种以素材方式展示的关键点信息；因此，可以有效提升直播过程中关键点信息展示的实时性和准确性，以及观众的观看体验，从而提升直播的互动
效果。此外，还解放了主播记忆的成本，节省人力成本。
附图说明
51.图1本技术提供的直播流处理方法的实施例的场景示意图；
52.图2本技术提供的直播流处理方法的实施例的流程示意图；
53.图3本技术提供的直播流处理方法的实施例的卖点信息配置界面图；
54.图4本技术提供的直播流处理方法的实施例的卖点信息显示界面图。
具体实施方式
55.在下面的描述中阐述了很多具体细节以便于充分理解本技术。但是本技术能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本技术内涵的情况下做类似推广，因此本技术不受下面公开的具体实施的限制。
56.在本技术中，提供了直播流处理方法和装置，以及电子设备。在下面的实施例中逐一对各种方案进行详细说明。
57.请参看图1，其为本技术的直播流处理方法的实施例的应用场景示意图。在本实施例中，直播团队通过客户端在开播前预先配置好商品或者直播场次的卖点信息；在直播过程中，部署在直播一体机端的语音采集模块采集主播用户的语音数据，如主播说了一句“亲，这件衣服质量很好的”，并实时将采集到的语音数据上传至服务端；服务端通过自然语言处理(nlp)，从直播语音数据中解析出卖点信息“质量超好”，并可通过长链接通知直播观众的客户端，直播观众客户端显示直播过程中实时涉及到的卖点信息。
58.第一实施例
59.请参考图2，其为本技术的直播流处理方法的实施例的流程示意图。本实施例提供的直播流处理方法可包括如下步骤：
60.步骤s201：获取原始直播流。
61.所述原始直播流，是指在直播过程中采集到的直播画面内容未经加工处理的原始直播数据。所述原始直播流，包括语音直播流和影像直播流。所述语音直播流包括直播语音数据，所述影像直播流包括直播画面数据。
62.在一个示例中，所述方法的执行主体为服务端，如服务器或者服务平台。所述原始直播流可从用户的录制设备或直播专用设备获取。录制设备或直播专用设备的摄像头和麦克风采集得到原始直播数据流，再发送至服务端。
63.在另一个示例中，所述方法的执行主体为直播专用设备，所述原始直播流可由直播专用设备通过摄像头和麦克风采集得到，直播专用设备采用流推送方式将直播数据提供给观众。
64.在获取原始直播流后，就可以进入下一步骤，处理原始直播流以判断关键点信息。
65.步骤s203：处理原始直播流以判断关键点信息。
66.所述原始直播流中可包括关键点信息，从关键点的含义角度而言，关键点信息是直播内容的关键信息。以电子商务直播场景为例，在直播销售商品过程中，每一样商品可能都有特定的卖点信息，比如“买一送一”，“买100减50”等。或者，某个直播场次也有特别的促销手段，比如“全场八折”等，这些商品卖点信息和直播场次的促销方式信息均属于直播内
容的关键信息，可作为关键点信息。
67.从关键点的表示形式角度而言，所述关键点信息可以是预设关键字、预设声音类型、预设声音特征、预设图像、预设连续动作、预设影像特征等。
68.预设关键字是以文字形式表达的关键点信息，预设关键字可以是直播数据对象的特点信息，还可以是直播场次的特点信息。例如，某次直播售卖两款服装，该场次直播包括预设关键字a和预设关键字b；预设关键字a为其中一款服装的商品卖点信息“质量超好”，预设关键字b为该场次直播的卖点信息“全场八折”。在这种情况下，如果主播在直播过程中说了一句“亲，这件衣服质量很好的”，则可判定原始直播流触发了预设关键字a。
69.声音类型可以是笑声、说话声、咳嗽声、走路声、拿东西的声音、穿衣服的声音等，预设声音类型可包括一种或者多种声音类型。例如，某次教育培训直播的预设声音类型包括走路声和拿东西的声音；如果主播在直播过程中走动了，则可判定原始直播流触发了预设声音类型“走路声”；如果主播在直播过程中从柜子里拿实验工具，则可判定原始直播流触发了预设声音类型“拿东西的声音”。
70.声音特征可以是音调、响度(音量)、音色等，预设声音特征可包括一种或者多种声音特征的阈值。例如，某次医疗直播包括预设声音特征a和预设声音特征b；预设声音特征a为音调阈值大于频率值a，预设声音特征b为响度阈值大于音量b。如果主播在直播过程中提高了音量到音量b，则可判定原始直播流触发了预设声音特征b；如果主播在直播过程中声音频率变高达到了频率值a，则可判定原始直播流触发了预设声音特征a。
71.预设图像可以是某人、某物或者某环境等的图像。例如，某次关于急救主题的医疗直播包括特定的病人反应的预设图像；如果直播过程中出现了具有该病人反应的画面，则可判定原始直播流触发了该预设图像。
72.预设连续动作可以是某人、某物或者某环境的连续动作图像。例如，某次关于自动驾驶技术主题的教育培训直播包括自动驾驶车辆在遇到特定情况时的处理方式的预设连续动作。如果直播画面中出现了该预设连续动作，则可判定原始直播流触发了该预设连续动作。
73.预设影像特征可以物体在形状、大小、阴影、色调、位置等反映在影像上的差异。例如，某次直播售卖两款服装，该场次直播包括预设影像特征a为其中一款服装的展示图像变小。在这种情况下，如果主播在直播过程中将拿在手中的离摄像头较近、采集图像较大的该款服装放回到展示架中，则可判定原始直播流触发了该款服装展示图像变小的影像特征。
74.在本实施例中，所述方法还可包括如下步骤：设置关键点信息库。所述关键点信息库包括多个关键点信息，还可包括对应关键点展示素材。
75.具体实施时，可从第一远端接收关键点信息的设置和关键点素材。所述第一远端，包括但不限于智能手机，还包括个人电脑、pad、ipad等终端设备。
76.在开播前，主播或者其他工作人员，可以根据本场直播内容的特点设置不同的关键点信息，如根据本场直播商品的特点设置不同的卖点信息。具体实施时，为了操作的方便，可以在手机端或者个人电脑pc端进行设置，如图3所示。
77.设置完成后会保存关键点信息，如表1所示。
[0078][0079]
如表1所示，可为多个直播场次分别设置关键点信息。每个场次可包括多个关键点信息，关键点信息可以直接对应场次进行设置，如“全场八折”；也可以针对场次中特定的数据对象进行设置，如“质量超好”。
[0080]
在本实施例中，步骤s203可采用如下方式实施：获取原始直播流的语音或影像信息，确认语音或影像信息中的关键点信息。具体实施时，可通过图像处理技术，确认影像信息中含有的关键点信息，通过语音处理技术，确认语音信息中含有的关键点信息。
[0081]
在一个示例中，原始直播流的语音信息中的关键点信息是通过语音处理技术来确认。具体实施时，可包括如下子步骤：1)通过语音识别算法，将原始直播流的语音信息转换为文字信息；2)通过自然处理算法，确定所述文字信息与预设关键字之间的语义匹配度；3)若所述语义匹配度高于语义匹配度阈值，则可判定原始直播流包括预设关键字。
[0082]
例如，某次直播售卖两款服装，该场次直播包括预设关键字a和预设关键字b，预设关键字a为其中一款服装的商品卖点信息“质量超好”，预设关键字b为该场次直播的卖点信息“全场八折”。在这种情况下，如果主播在直播过程中说了一句“亲，这件衣服质量很好的”，则可确定这段文字与预设关键字a“质量超好”之间的语义匹配度高于匹配度阈值(如80％)，由此判定原始直播流触发了预设关键字a。
[0083]
在另一个示例中，原始直播流的影像信息中的关键点信息是通过图像处理技术来确认。具体实施时，可包括如下子步骤：通过物体分割算法，从原始直播流的影像信息中识别出目标物体的图像信息；通过图像匹配算法，确定识别的图像信息与预设图像的图像匹配度，如果图像匹配度高于图像匹配度阈值，则可判定原始直播流包括预设图像。
[0084]
例如，某次关于急救主题的医疗直播包括特定的病人反应的预设图像，如果直播过程中出现了具有该病人反应的画面，则可确定实时画面与预设图像之间的图像匹配度高于图像匹配度阈值(如70％)，由此判定原始直播流触发了该预设图像。
[0085]
在根据原始直播流判断到触发了关键点信息后，就可以进入下一步，根据关键点
信息调用对应的关键点展示素材。
[0086]
步骤s205：根据关键点信息调用对应的关键点展示素材。
[0087]
关键点展示素材包括采用语音形式以外的形式来展示的关键点展示信息。例如，在直播销售商品过程中，可以采用花字形式展示商品的卖点信息，这样的关键点展示素材可以是图片，图片内容是花字形式的商品卖点信息。
[0088]
关键点展示素材可以是直接体现关键点信息的展示素材。例如，在直播销售商品过程中，关键点为“商品卖点”，对应的展示素材为花字形式的商品卖点信息。
[0089]
关键点展示素材还可以是与关键点相关的其它展示素材。例如，在教育直播类直播中，关键点为某个知识点，对应的关键点展示素材可以是对该知识点进行延深讲解的小视频。那么，当主播老师讲到该知识点时，可在主播画面外，同时播放这个小视频。
[0090]
在一个示例中，关键点展示素材是直接体现关键点信息的展示素材。步骤s205可采用如下方式实现：根据关键点信息生成关键点展示素材。例如，可根据商品卖点信息“质量超好”，生成如图4所示的花字形式的关键点展示素材。可见，在本技术实施例提供的方法中，关键点展示素材不一定是需要预先设置的信息，在直播过程中，可以在触发关键点时实时生成关键点展示素材。这样，可以根据设置好的展示形式，灵活地生成相同内容但形式不同的展示素材，无需存储大量不同形式的素材，可以有效节约存储资源。
[0091]
在另一个示例中，关键点展示素材是与关键点相关的其它展示素材，这种情况下，需要预先设置的展示素材。具体实施时，关键点展示素材可带有关键点标识，如表2所示：
[0092]
关键点标识关键点展示素材1花字形式的商品卖点12ppt文件形式的商品卖点22语音形式的商品卖点23视频形式的知识点1
…ꢀ
[0093]
由表2可见，一个关键点可以对应一个或者多个展示素材。具体实施时，对于一个关键点，可同时展示多个对应的展示素材，也可根据实际需求，选择某种形式的展示素材。
[0094]
在本实施例中，关键点展示素材带有关键点标识，素材库中包括多个关键点标识对应的多个展示素材；在这种情况下，步骤s205可包括如下子步骤：1)判断关键点信息对应的展示素材库；2)确认展示素材库中关键点标识与关键点信息相符合的关键点展示素材。采用这种处理方式，可从多个素材库中确定触发的关键点信息所在的素材库，然后从该素材库中确定关键点标识与被触发的关键点信息相符合的展示素材。
[0095]
在一个示例中，步骤s205还可包括如下子步骤：3)判断关键点信息对应的素材类型，所述素材类型可以是图片、视频、ppt文档等；4)确认展示素材库中与素材类型相符合的关键点展示素材。例如，某个关键点对应的素材类型为视频，则确定视频形式的展示素材；某个关键点对应的素材类型为ppt文件，则确定的展示素材为ppt文件。采用这种方式，可展示多种形式的素材，有效提升用户体验。
[0096]
在另一个示例中，直播过程包括多个直播对象，不同直播对象可具有相同的关键点信息，对于同一关键点信息，不同直播对象展示不同的素材。在这种情况下，处理原始直播流以判断关键点信息还可包括如下步骤：判断当前原始直播流对应的直播对象；相应的，
可根据直播对象选择对应的关键点展示素材。例如，商品直播售卖两款服装，如果当前正在销售服装a，根据主播语音内容等信息，可判定当前原始直播流对应的直播对象为服装a，此时如果触发了商品卖点信息“质量超好”，则相应的选择服装a的该卖点的展示素材a。如果当前正在销售服装b，根据主播语音内容等信息，可判定当前原始直播流对应的直播对象为服装b，此时如果触发了商品卖点信息“质量超好”，则相应的选择服装b的该卖点的展示素材b。
[0097]
在调用对应的关键点展示素材后，就可以进入下一步骤，将关键点展示素材加入原始直播流以产生直播流。
[0098]
步骤s207：将关键点展示素材加入原始直播流以产生直播流。
[0099]
原始直播流包括原始的直播画面和直播语音，在此基础上加入关键点展示素材产生推送至直播观众设备端的推送直播流，以使用户观看到实时触发的关键点相关信息。
[0100]
在一个示例中，步骤s207可包括如下子步骤：1)判断关键点展示素材的展示形式信息；2)根据展示形式信息将关键点展示素材加入原始直播流。采用这种处理方式，使得用户可观看到各种形式的关键点展示素材，加强用户对关键点信息的感知力，给用户带来更好的观看体验。
[0101]
所述展示形式，包括但不限于：展示格式、展示功能、展示位置、展示时间等。其中，展示格式包括选项、图片、文字、影像、图片加文字、声音、震动；展示功能包括静态、动态、交互；展示位置包括：背景、子画面、浮窗、动态条；展示时间包括维持时间、触发时间、关闭时间、动态时间参数。
[0102]
例如，商品卖点a的展示形式为：展示格式“图片加文字，声音，震动”，展示位置“背景”，展示时间“维持时间＝10秒”，则可获得如图4所示的展示画面效果，还可使得用户听到手机震动声和语音形式的卖点信息，强化用户对该卖点信息的感知力。
[0103]
步骤s209：输出带有关键点展示素材的直播流。
[0104]
所述带有关键点展示素材的直播流包括在原始直播流基础上增加了带有关键点展示素材的加工过的直播信息。如图4所示，在商品直播售卖过程中，根据主播的话语，以花字形式，实时显示与主播当前话语匹配的商品卖点信息“质量超好满500减100”。
[0105]
在一个示例中，所述方法还可包括如下步骤：传输直播流至第三远端，直播观众通过第三远端观看直播。所述第三远端，包括但不限于智能手机，还包括个人电脑、pad、ipad等终端设备。
[0106]
下面以商品直播售卖的场景为例，直观地说明所述方法的处理过程。在本实施例中，直播关键点包括商品卖点信息。商品卖点信息，可包括产品特点、优点、用户利益等方面的信息，如“质量超好”、“买一送一”、“买100减50”等。所述直播关键点，还可以是直播场次的卖点信息，如“全场八折”等。
[0107]
在直播过程中，可一直开启麦克风拾音，并且把主播语音的原始语音数据(如脉冲编码调制pcm数据)上传到服务端，进行语音识别处理(asr)及自然语言处理(nlp)分析。其中，语音识别处理可将语音数据转换为文字。自然语言处理可解析出是否命中了预先配置的卖点，比如主播说“亲，快买一件吧，质量很好的”，就会命中“质量超好”。
[0108]
具体实施时，可通过自然语言处理方式，计算语音转写文字与卖点信息的语义相似度，若语义相似度大于一定阈值，则可视为命中卖点信息。由于语音识别处理及自然语言
处理属于较为成熟的现有技术，因此此处不再赘述。
[0109]
在本实施例中，一个直播场次有多个售卖的商品，可先确定主播说的是哪个商品，然后计算语音转写文字与该商品的卖点信息的语义相似度。
[0110]
一旦命中卖点，服务端可通过长链接(如mqtt)将目标卖点信息(如“质量超好”)下发给主播的设备端。主播设备端接收到卖点文本信息后，先把文本渲染成样式丰富的图片，之后再通过opengl渲染到直播推流中，这样用户端就可以看到经过渲染的花字了。具体实施时，也可以由服务端将目标卖点信息渲染成图片，然后再通过opengl渲染到直播推流中。
[0111]
具体实施时，可以根据主播的语速来决定显示花字的速度，这样也可以活跃直播间的气氛，体现不同主播的直播风格。此外，不仅可以显示商品的卖点信息，还可以根据下发的指令来完成一些互动提示的展示，比如“关注主播”，或者提示用户输入评论(“喜欢的宝贝请扣1”)等等。
[0112]
需要说明的是，上述对实时采集的原始直播流的处理方式，也可以应用到线下重播的直播流中，使得直播观众在观看重播的直播视频时，也可以实时自动显示关键点展示素材。
[0113]
从上述实施例可见，本技术实施例提供的直播流处理方法，通过在开播前预先配置直播关键点信息，在直播过程中获取原始直播流；处理原始直播流以判断关键点信息；根据关键点信息调用对应的关键点展示素材；将关键点展示素材加入原始直播流以产生直播流；输出带有关键点展示素材的直播流。采用这样处理方式，使得根据原始直播流自动输出带有关键点展示素材的直播流，观众更容易记住这种以素材方式展示的关键点信息。因此，可以有效提升直播过程中关键点信息展示的实时性和准确性，以及观众的观看体验，从而提升直播的互动效果。此外，还解放了主播记忆的成本，节省人力成本。
[0114]
第二实施例
[0115]
在上述的实施例中提供了一种直播流处理方法，与之相对应的，本技术还提供一种直播流处理装置。该装置是与上述方法的实施例相对应。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
[0116]
在本实施例中，所述直播流处理装置包括：
[0117]
直播流获取单元，用于获取原始直播流；
[0118]
关键点判断单元，用于处理原始直播流以判断关键点信息；
[0119]
素材调用单元，用于根据关键点信息调用对应的关键点展示素材；
[0120]
直播流加工单元，用于将关键点展示素材加入原始直播流以产生直播流；
[0121]
直播流输出单元，用于输出带有关键点展示素材的直播流。
[0122]
在一个示例中，所述装置为直播一体机，直播一体机通过摄像头和麦克风采集得到原始直播流，经过上述处理后生成直播流，直播一体机采用流推送方式将直播数据提供给观众端。
[0123]
在另一个示例中，所述装置为服务器或者服务平台。在这种情况下，所述直播流获取单元，具体用于从第二远端接收原始直播流。所述第二远端，包括但不限于直播一体机等直播设备。例如，直播一体机将采集到的原始直播流发送至服务端，服务端接收直播一体机发送的原始直播流。
[0124]
本技术虽然以较佳实施例公开如上，但其并不是用来限定本技术，任何本领域技术人员在不脱离本技术的精神和范围内，都可以做出可能的变动和修改，因此本技术的保护范围应当以本技术权利要求所界定的范围为准。
[0125]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0126]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0127]
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0128]
2、本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。