产品推荐方法及装置与流程

本发明实施例涉及计算机视觉技术领域，尤其涉及一种产品推荐方法及装置。

背景技术：

目前商场或店铺在做产品营销时，店内营业人员大多是在店外进行产品展示或随机向潜在客户发送产品推荐消息。由于该种方法是随机推荐，无法确定被推荐的客户是否真的对产品感兴趣，从而推荐效果较差，不能吸引到潜在用户，也不能准确地向用户推荐产品。

技术实现要素：

为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的智能家具的产品推荐方法及装置。

根据本发明实施例的第一方面，提供了一种产品推荐方法，包括：

获取用户进入或经过服务地点时拍摄得到的图像，将图像输入至人体姿态识别模型，输出图像对应的人体姿态类型，人体姿态类型用于表示用户对服务地点内产品服务的兴趣程度，人体姿态识别模型是基于样本图像以及样本图像对应的人体姿态类型训练得到的，图像为全身或半身图像；

根据人体姿态类型，生成产品服务推荐信息。

本发明实施例提供的方法，通过获取用户进入或经过服务地点时拍摄得到的图像，将图像输入至人体姿态识别模型，输出图像对应的人体姿态类型。根据人体姿态类型，生成产品服务推荐信息。由于可以根据用户的人体姿态类型，确定用户对服务地点内产品服务的兴趣程度，并基于此向用户针对性地进行推荐，从而可以提高产品推荐效果，且提高用户体验。

根据本发明实施例的第二方面，提供了一种产品推荐装置，包括：

第一获取模块，用于获取用户进入或经过服务地点时拍摄得到的图像；

输出模块，用于将图像输入至人体姿态识别模型，输出图像对应的人体姿态类型，人体姿态类型用于表示用户对服务地点内产品服务的兴趣程度，人体姿态识别模型是基于样本图像以及样本图像对应的人体姿态类型训练得到的，图像为全身或半身图像；

生成模块，用于根据人体姿态类型，生成产品服务推荐信息。

根据本发明实施例的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与处理器通信连接的至少一个存储器，其中：

存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的产品推荐方法。

根据本发明的第四方面，提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的产品推荐方法。

应当理解的是，以上的一般描述和后文的细节描述是示例性和解释性的，并不能限制本发明实施例。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种产品推荐方法的流程示意图；

图2为本发明实施例提供的一种人体关节点的布局示意图；

图3为本发明实施例提供的一种产品推荐装置的结构示意图；

图4为本发明实施例提供的一种电子设备的框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前商场或店铺在做产品营销时，店内营业人员大多是在店外进行产品展示或随机向潜在客户发送产品推荐消息。由于该种方法是随机推荐，无法确定被推荐的客户是否真的对产品感兴趣，从而推荐效果较差，不能吸引到潜在用户，也不能准确地向用户推荐产品。甚至，可能造成客户反感这种“硬推销”的营销模式，造成厅店的损失。

针对上述情形，本发明实施例提供了一种产品推荐方法。该方法可应用在各种线上服务与线下服务结合的场景，如营业厅、线下商城等，本发明实施例对此不作具体限定。参见图1，该方法包括：

101、获取用户进入或经过服务地点时拍摄得到的图像，将图像输入至人体姿态识别模型，输出图像对应的人体姿态类型，人体姿态类型用于表示用户对服务地点内产品服务的兴趣程度，人体姿态识别模型是基于样本图像以及样本图像对应的人体姿态类型训练得到的，图像为全身或半身图像。

其中，服务地点可以为营业厅或线下店铺等，本发明实施例对此不作具体限定。由于用户在进入或经过服务地点时，若对服务地点或服务地点中的产品服务感兴趣，则该用户的人体姿态可能会呈现一定的特征。例如，用户经过一个厅店，若对该厅店不感兴趣，则会直接走过。若对该厅店产生兴趣，则可能会驻留，从而在人体姿态上呈现出驻留姿态。由上述说明与举例可知，人体姿态是能够作为用户对服务地点或服务地点中的产品服务是否感兴趣的判断依据的。因此，在本步骤中，可先获取用户进入或经过服务地点时拍摄得到的图像，再将图像输入至人体姿态识别模型，以输出图像对应的人体姿态类型。

需要说明的是，本步骤涉及到的具体应用场景可以分为如下两种，一种是用户还没进入服务地点，也即是经过服务地点。此时，用户可能会对服务地点产生兴趣，从而进入服务地点。用户也有可能对服务地点不感兴趣，从而直接无视离开服务地点。另一种是用户进入服务地点，也即对服务地点有兴趣，但是对里面不同种类的产品服务，可能有让该用户感兴趣的产品服务，也有可能不能让该用户感兴趣的产品服务。

对于上述第一种应用场景，主要是需要确定用户是否有意愿进入服务地点。本步骤获取的主要是用户路过服务地点时拍摄得到的图像。具体地，可在服务地点门口设置摄像头，从而获取拍摄用户经过服务地点时的图像。在获取到图像后，可将图像输入至人体姿态识别模型，输出图像对应的人体姿态类型。其中，人体姿态类型是用来表示对服务地点内产品服务的兴趣程度，人体姿态类型可依据人类行为模式进行划分，本发明实施例对此不作具体限定。为了便于说明，本发明实施例以人体姿态类型具体可以分为如下三种为例，分别为进入、驻留、摇手/摇头/离开。其中，“进入”则说明用户有意愿进入服务地点，也即对服务地点内产品服务感兴趣。“驻留”则说明用户还在犹豫是否要进入服务地点，也即也不确定自身对服务地点内产品服务是否感兴趣。而“摇手”、“摇头”或者“离开”，则说明用户对服务地点内产品服务不感兴趣。

对于上述第二种应用场景，主要是需要确定用户在进入服务地点后，是否对服务地点内产品服务感兴趣。本步骤获取的主要是用户经过某种产品服务柜台时的图像。具体地，可在服务地点内每种产品服务柜台上设置摄像头，从而获取拍摄用户经过柜台时的图像。在获取到图像后，可将图像输入至人体姿态识别模型，输出图像对应的人体姿态类型。其中，人体姿态类型是用来表示用户在经过某种产品服务柜台时对其展示的产品服务的兴趣程度。人体姿态类型可依据人类行为模式进行划分，本发明实施例对此不作具体限定。为了便于说明，本发明实施例以人体姿态类型具体可以分为如下三种为例，分别为试用、驻留、摇手/摇头/离开。其中，“试用”则表明用户对柜台所展示的产品服务进行了试用，也即用户在经过某种产品服务柜台时对其展示的产品服务感兴趣。“驻留”则说明用户也不确定自身对柜台所展示的产品服务是否感兴趣。而“摇手”、“摇头”或者“离开”，则说明用户对柜台所展示的产品服务不感兴趣。

另外，人体姿态识别模型是基于样本图像以及样本图像对应的人体姿态类型训练得到的。具体地，以上述第一种应用场景为例，可获取人体姿态类型为“进入”的样本图像、人体姿态类型为“驻留”的样本图像以及人体姿态类型为“摇手/摇头/离开”的样本图像，通过对初始模型进行训练的方式，得到人体姿态识别模型。

102、根据人体姿态类型，生成产品服务推荐信息。

在确定人体姿态类型后，结合上述两种应用场景，即可确定用户对服务地点内产品服务是否感兴趣。基于此，可生成产品服务推荐信息，从而可向用户直接推送产品服务推荐信息，或者由服务地点内的工作人员根据产品服务推荐信息，向用户进行场景化营销及个性化推荐。其中，若是直接向用户直接推送产品服务推荐信息，则产品服务推荐信息中可包含产品的详细介绍以及购买或办理流程信息。若是由服务地点内的工作人员根据产品服务推荐信息，向用户进行场景化营销及个性化推荐，则产品服务推荐信息可包括用户对产品服务的喜好程度。

以上述第二种应用场景为例，若用户在进入服务地点后，确定该用户对服务地点内产品服务感兴趣。在根据人体姿态类型生成产品服务推荐信息后，系统可将产品服务推荐信息实时地传达到服务地点内工作人员的手机上，工作人员在收到信息后，可根据用户对商品的喜好程度，先是进行主动式的某一商品介绍，然后利用实物或者是手持终端设备为用户进行详细的商品展示。最后，根据客户对商品的反应，注册客户的用户资料，录入厅店的会员库，为客户做后续的推荐服务。

本发明实施例提供的方法，通过获取用户进入或经过服务地点时拍摄得到的图像，将图像输入至人体姿态识别模型，输出图像对应的人体姿态类型。根据人体姿态类型，生成产品服务推荐信息。由于可以根据用户的人体姿态类型，确定用户对服务地点内产品服务的兴趣程度，并基于此向用户针对性地进行推荐，从而可以提高产品推荐效果，且提高用户体验。

基于上述实施例的内容，作为一种可选实施例，在将图像输入至人体姿态识别模型，输出图像对应的人体姿态类型之前，还可以训练得到人体姿态识别模型。本发明实施例不对训练得到人体姿态识别模型的方式作具体限定，包括但不限于：获取样本图像，并获取每一样本图像的样本角度特征向量；根据每一样本角度特征向量及每一样本角度特征向量对应的人体姿态类型，对初始模型进行训练，得到人体姿态识别模型。

其中，样本角度特征向量指的是人体姿态下躯体与四肢之间所形成的夹角。样本角度特征向量对应的人体姿态类型可参考上述实施例的说明，此处不再赘述。通过识别样本图像中人体的方式，可得到样本图像中人体姿态下躯体与四肢之间所形成的夹角，本发明实施例对此不作具体限定。另外，初始模型可以具体为深度神经网络模型或卷积神经网络模型，本发明实施例对此也不作具体限定。

基于上述实施例的内容，作为一种可选实施例，本发明实施例不对获取样本图像的方式作具体限定，包括但不限于：从录制有每种人体姿态的样本动作视频中筛选出关键帧，并作为样本图像。

具体地，以上述实施例中第一种应用场景为例。可先由提供样本的人员拍摄人体姿态类型为“进入”的样本动作视频，也即为用户作出进入厅店这个动作的样本动作视频。同理，可分别拍摄人体姿态类型为“驻留”以及为“摇手/摇头/离开”的样本动作视频。以人体姿态类型为“进入”的样本动作视频为例，由于这些样本动作视频中包含许多帧，而有些帧是比较具有代表性的，这些帧的图像中“进入”动作会比较明显，从而可作为关键帧。在样本动作视频中筛选关键帧时，可以通过人工选取的方式筛选，本发明实施例对此不作具体限定。通过关键帧的筛选，可以降低后续计算复杂度。

基于上述实施例的内容，作为一种可选实施例，本发明实施例不对获取每一样本图像的样本角度特征向量的方式作具体限定，包括但不限于：按照预设人体关节点类型，识别每一样本图像中的人体关节点，并确定每一样本图像中人体关节点的坐标；基于每一样本图像中人体关节点的坐标，确定每一样本图像的样本角度特征向量。

具体地，预设人体关节点类型可以按照能够反映人体姿态及人体轮廓的关节点进行设置。例如，人体包括手部、腿部，首部、颈部及躯干，将五个部分视为五个人体关节点，大致能够反映人体姿态及人体轮廓。实际实施过程中，将人体关节点设置的越多，则人体姿态与人体轮廓也会越精细，后续过程中输出结果也会更精确。若预设人体关节点类型为上述五个人体关节点，则实际可按照上述五个人体关节点在人体中的大体位置，识别样本图像中的人体关节点。上述识别过程可通过图像识别方式，也可以通过人工标注的方式，识别样本图像中的人体关节点，并可确定每一样本图像中人体关节点的坐标。

需要说明的是，若上述获取样本图像时，并非是按照不同人体姿态类型进行视频拍摄，而是直接拍摄了一段包含有不同种类人体姿态的样本动作视频，则对于该样本动作视频中的每一样本图像帧，在确定每一样本图像帧中人体关节点的坐标后，可通过聚类的方式，将每一样本图像帧聚类至不同人体姿态类型下。具体地，可通过k-means聚类的方式实现该样本动作视频中样本图像帧的聚类，本发明实施例对此不作具体限定。

基于上述实施例的内容，作为一种可选实施例，本发明实施例不对基于每一样本图像中人体关节点的坐标，确定每一样本图像的样本角度特征向量的方式作具体限定，包括但不限于：按照预设的关节点连接方式，对每一样本图像中的人体关节点进行连线，并根据每一样本图像中人体关节点的坐标以及连接关系，确定每一样本图像的特征向量，每一特征向量由两个人体关节点构成；确定所有特征向量中具有共同人体关节点的特征向量对，将特征向量对中的两个特征向量所形成的夹角作为样本角度特征向量。

其中，预设的关节点连接方式可以为人体关节点实际的位置连接关系。例如，手腕关节点应该与手肘关节点直接连接，而不会直接与膝盖关节点直接连接。在对每一样本图像中的人体关节点进行连线后，由于样本图像中人体关节点的坐标是确定的，从而每两个连线的人体关节点，都可以得到一个特征向量，进而可以得到样本图像的所有特征向量。而在这些特征向量中，有些特征向量是共着一个人体关节点的。例如，手臂与手肘形成的特征向量以及手肘与肩膀形成的特征向量，两者是共着手肘这个人体关节点的，从而这两个特征向量作为特征向量对，两者所形成的夹角即可作为样本角度特征向量。

基于上述实施例的内容，作为一种可选实施例，预设人体关节点类型至少包括以下关节点中的任意一种，以下关节点分别为头部关节点、颈部关节点、左肩关节点、右肩关节点、左手肘关节点、右手肘关节点、左手腕关节点、右手腕关节点、尾椎关节点、左臀部关节点、右臀部关节点、左膝盖关节点、右膝盖关节点、左脚踝关节点及右脚踝关节点。需要说明的是，实际实施过程中还可以选择其它关节点，本发明实施例对此不作具体限定。

上述15个人体关节点在人体中相应的位置可参考图2。而由上述15个人体关节点所组成的特征向量可参考如下特征向量矩阵：

在识别每一样本图像中人体关节点的坐标后，可按照预设的关节点连接方式，将上述人体关节点进行连接。以左肩关节点、左手肘关节点及左手腕关节点，且三者的坐标分别为c(xc,yc,zc)、e(xe,ye,ze)及g(xg,yg,zg)为例，则左肩关节点与左手肘关节点所形成的特征向量可以由来表示，而左手肘关节点与左手腕关节点所形成的特征向量可以由来表示，也即：

根据向量夹角公式可得到和之间的夹角具体为：

通过上述计算过程，可得到每一样本图像的特征向量，并进一步可根据特征向量计算得到样本角度特征向量。

基于上述实施例的内容，作为一种可选实施例，本发明实施例不对将图像输入至人体姿态识别模型，输出图像对应的人体姿态类型的方式作具体限定，包括但不限于：获取图像的角度特征向量，将角度特征向量输入至人体姿态识别模型，输出图像对应的人体姿态类型。其中，获取角度特征向量的过程可参考上述确定样本角度特征向量的过程，此处不再赘述。

基于上述实施例的内容，本发明实施例提供了一种产品推荐装置，该装置用于执行上述方法实施例中提供的产品推荐方法。参见图3，该装置包括：第一获取模块301、输出模块302及生成模块303；其中，

第一获取模块301，用于获取用户进入或经过服务地点时拍摄得到的图像；

输出模块302，用于将图像输入至人体姿态识别模型，输出图像对应的人体姿态类型，人体姿态类型用于表示用户对服务地点内产品服务的兴趣程度，人体姿态识别模型是基于样本图像以及样本图像对应的人体姿态类型训练得到的；

生成模块303，用于根据人体姿态类型，生成产品服务推荐信息。

基于上述实施例的内容，作为一种可选实施例，该装置还包括：

第二获取模块，用于获取样本图像；

第三获取模块，用于获取每一样本图像的样本角度特征向量；

训练模块，用于根据每一样本角度特征向量及每一样本角度特征向量对应的人体姿态类型，对初始模型进行训练，得到人体姿态识别模型。

基于上述实施例的内容，作为一种可选实施例，第二获取模块，用于从录制有每种人体姿态的样本动作视频中筛选出关键帧，并作为样本图像。

基于上述实施例的内容，作为一种可选实施例，第三获取模块，包括：

识别单元，用于按照预设人体关节点类型，识别每一样本图像中的人体关节点，并确定每一样本图像中人体关节点的坐标；

确定单元，用于基于每一样本图像中人体关节点的坐标，确定每一样本图像的样本角度特征向量。

基于上述实施例的内容，作为一种可选实施例，确定单元，用于按照预设的关节点连接方式，对每一样本图像中的人体关节点进行连线，并根据每一样本图像中人体关节点的坐标以及连接关系，确定每一样本图像的特征向量，每一特征向量由两个人体关节点构成；确定所有特征向量中具有共同人体关节点的特征向量对，将特征向量对中的两个特征向量所形成的夹角作为样本角度特征向量。

基于上述实施例的内容，作为一种可选实施例，预设人体关节点类型至少包括头部关节点、颈部关节点、左肩关节点、右肩关节点、左手肘关节点、右手肘关节点、左手腕关节点、右手腕关节点、尾椎关节点、左臀部关节点、右臀部关节点、左膝盖关节点、右膝盖关节点、左脚踝关节点及右脚踝关节点。

基于上述实施例的内容，作为一种可选实施例，输出模块302，用于获取图像的角度特征向量，将角度特征向量输入至人体姿态识别模型，输出图像对应的人体姿态类型。

本发明实施例提供的装置，通过获取用户进入或经过服务地点时拍摄得到的图像，将图像输入至人体姿态识别模型，输出图像对应的人体姿态类型。根据人体姿态类型，生成产品服务推荐信息。由于可以根据用户的人体姿态类型，确定用户对服务地点内产品服务的兴趣程度，并基于此向用户针对性地进行推荐，从而可以提高产品推荐效果，且提高用户体验。

图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communicationsinterface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行如下方法：获取用户进入或经过服务地点时拍摄得到的图像，将图像输入至人体姿态识别模型，输出图像对应的人体姿态类型，人体姿态类型用于表示用户对服务地点内产品服务的兴趣程度，人体姿态识别模型是基于样本图像以及样本图像对应的人体姿态类型训练得到的；根据人体姿态类型，生成产品服务推荐信息。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：获取用户进入或经过服务地点时拍摄得到的图像，将图像输入至人体姿态识别模型，输出图像对应的人体姿态类型，人体姿态类型用于表示用户对服务地点内产品服务的兴趣程度，人体姿态识别模型是基于样本图像以及样本图像对应的人体姿态类型训练得到的；根据人体姿态类型，生成产品服务推荐信息。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。