一种商品推荐方法及装置与流程
本发明涉及大数据技术领域，尤其涉及一种商品推荐方法及装置。
背景技术：
目前，用户在利用各种终端设备浏览商品时，终端设备会向用户推荐一些商品，现有的商品个性化推荐方法通常根据用户的历史浏览数据或当前浏览数据，对用户偏好进行预测，预测出用户可能感兴趣的商品，进而由终端设备显示推荐商品的信息。
但是，这种确定推荐商品的方式存在如下问题：用户的浏览数据并不能直接反映出用户的真实喜好，具有一定的片面性，因此，如何向用户推荐用户喜欢的商品，提高商品推荐的准确率，是个需要解决的技术问题。
技术实现要素：
本发明的实施例提供一种商品推荐方法及装置，用于向用户推荐商品。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，提供了一种商品推荐方法，其特征在于，所述方法包括：获取n种目标商品中各目标商品的商品信息，并获取与所述n种目标商品中各目标商品对应的待推荐用户的行为信息；其中，所述待推荐用户的行为信息，包括所述待推荐用户的表情信息；生成所述n种目标商品中各目标商品的特征参数；其中，所述n种目标商品中一种目标商品的特征参数，为根据所述一种目标商品的商品信息、与所述一种目标商品对应的待推荐用户的行为信息，以及待推荐用户的用户信息生成的；分别将所述n种目标商品中各目标商品的特征参数输入用户动态兴趣模型，得到所述n种目标商品中各目标商品的喜好值；其中，所述用户动态兴趣模型包括根据商品的特征参数生成商品的喜好值的卷积神经网络模型；根据所述n种目标商品中各目标商品的喜好值，生成目标商品集合；其中，所述目标商品集合中包括至少一个目标商品；所述目标商品集合用于确定向所述待推荐用户推荐的商品。
第二方面，提供了一种商品推荐装置，其特征在于，所述装置包括获取单元、第一生成单元、喜好值计算单元及第二生成单元；所述获取单元，用于获取n种目标商品中各目标商品的商品信息，并获取与所述n种目标商品中各目标商品对应的待推荐用户的行为信息；其中，所述待推荐用户的行为信息，包括所述待推荐用户的表情信息；所述第一生成单元，用于在所述获取单元获取n种目标商品中各目标商品的商品信息，并获取与所述n种目标商品中各目标商品对应的待推荐用户的行为信息之后，生成所述n种目标商品中各目标商品的特征参数；其中，所述n种目标商品中一种目标商品的特征参数，为根据所述一种目标商品的商品信息、与所述一种目标商品对应的待推荐用户的行为信息，以及待推荐用户的用户信息生成的；所述喜好值计算单元，用于在所述第一生成单元生成所述n种目标商品中各目标商品的特征参数之后，分别将所述n种目标商品中各目标商品的特征参数输入用户动态兴趣模型，得到所述n种目标商品中各目标商品的喜好值；其中，所述用户动态兴趣模型包括根据商品的特征参数生成商品的喜好值的卷积神经网络模型；所述第二生成单元，用于在所述喜好值计算单元得到所述n种目标商品中各目标商品的喜好值之后，根据所述n种目标商品中各目标商品的喜好值，生成目标商品集合；其中，所述目标商品集合中包括至少一个目标商品；所述目标商品集合用于确定向所述待推荐用户推荐的商品。
第三方面，提供了一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当被计算机执行时使所述计算机执行如第一方面所述的商品推荐方法。
第四方面，提供了一种商品推荐装置，其特征在于，所述商品推荐装置包括处理器、存储器和通信接口；其中，所述通信接口用于所述商品推荐装置和其他设备或网络通信；所述存储器用于存储一个或多个程序，所述一个或多个程序包括计算机执行指令，当所述商品推荐装置运行时，所述处理器执行所述存储器存储的所述计算机执行指令，以使该商品推荐装置执行如第一方面所述的商品推荐方法。
本发明的实施例提供的一种商品推荐方法及装置，应用于购物平台，通过获取当前用户的关键点图像，并根据关键点图像中的整体结构及细节变化确定当前用户的情绪类型，从而根据当前用户的特征信息、当前用户的情绪类型以及当前显示商品的特征信息，确定当前用户对当前显示商品的喜好程值，若喜好值大于等于第一预设阈值，则向用户显示推荐的商品，能够基于当前用户关键点图像的整体结构和细节变化，准确的确定当前用户对当前显示商品的喜好，从而准确的确定出需要向用户推荐的商品，能够提高商品推荐的准确率。
附图说明
图1为本发明的实施例提供的一种商品推荐方法流程示意图一；
图2为本发明的实施例提供的一种商品推荐方法流程示意图二；
图3为本发明的实施例提供的一种商品推荐方法流程示意图三；
图4为本发明的实施例提供的一种卷积神经网络结构图一；
图5为本发明的实施例提供的一种卷积神经网络结构图二；
图6为本发明的实施例提供的一种卷积神经网络结构图三；
图7为本发明的实施例提供的一种卷积神经网络结构图四；
图8为本发明的实施例提供的一种卷积神经网络结构图五；
图9为本发明的实施例提供的一种商品推荐方法流程示意图四；
图10为本发明的实施例提供的一种商品推荐方法流程示意图五；
图11为本发明的实施例提供的一种商品推荐装置结构示意图一；
图12为本发明的实施例提供的一种商品推荐装置结构示意图二；
图13为本发明的实施例提供的一种商品推荐装置结构示意图三。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
在本发明的描述中，除非另有说明，“/”表示“或”的意思，例如，a/b可以表示a或b。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。此外，“至少一个”是指一个或多个，“多个”是指两个或两个以上。“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
以下，介绍本发明的发明构思：随着网络购物的全民化，用户在利用手机、计算机等终端设备在购物平台中浏览商品时，购物平台的后端设备会通过个性化推荐方法，向用户推荐一些用户可能感兴趣的商品，以方便用户查看，具体为：获取用户的历史浏览数据或当前浏览数据；根据历史浏览数据或当前浏览数据，对用户的偏好进行预测，根据用户的偏好，确定用户可能感兴趣的商品，进而由终端设备显示待推荐商品的信息。
基于上述技术，本发明发现，上述技术中存在如下问题：用户的浏览数据并不能直接反映出用户的真实喜好，即，根据历史浏览数据或当前浏览数据对用户的偏好进行预测，具有一定的片面性，进而导致向用户推荐的商品并不是用户真正感兴趣的商品。因此，如何提高向用户推荐商品的准确率，是个需要解决的技术问题。
针对上述技术问题，本发明中考虑到，目前的终端设备中都存在拍摄单元，如果能够在用户浏览商品的时候，通过终端设备的拍摄单元获取用户的微表情数据，通过微表情数据以及用户和商品的信息，构建一个用户喜好模型，这样，在用户登录购物平台的时候，获取用户的信息及商品候选集，确定用户对商品候选集中各商品的喜爱值，从而根据喜好值用户对当前商品的喜爱程度，向用户推荐商品，能够提高向用户推荐商品的准确率，从而解决上述技术问题。
基于上述发明构思，本发明实施例提供了一种商品推荐方法，应用于商品推荐装置100，如图1所示，该方法包括s201-s212：
s201、商品推荐装置100获取m组样本数据。
其中，m组样本数据中各组样本数据，分别包括：一次用户行为中，所对应商品的商品信息、所对应用户的用户信息以及所对应用户的行为信息。
其中，所对应用户的行为信息，包括所对应用户的表情信息。
具体的，商品推荐装置100可以根据任意一次用户行为的标识，从购物平台的数据库中获取m组样本数据。
需要说明的，一次用户行为，可以理解为任意一个用户在登录购物平台后，在浏览任意一个商品时的行为；商品信息，具体包括商品的标识、类别、价格等信息；用户信息，具体包括该用户的用户标识、年龄、性别、工作行业、消费等级、所在地区等信息，行为信息，包括该用户对该商品的浏览次数、是否收藏、购买次数、用户评分、表情信息等信息；表情信息，具体可以包括高兴、生气、不屑、害怕、难过、惊讶等信息。
需要说明的，任意一个用户的用户信息，可以由该用户在第一次登录购物平台进行注册时，保存至数据库。
可选的，如图2所示，本发明实施例提供的s201中，获取m组样本数据中任意一组样本数据中的表情信息，具体可以包括s2011-s2013：
s2011、商品推荐装置100获取目标用户行为中，第一用户的面部图像。
其中，目标用户行为，包括与m组样本数据中任一组样本数据所对应的用户行为；第一用户，包括与目标用户行为所对应的用户。
具体的，当商品推荐装置100检测到有终端设备与购物平台建立通信连接时，向终端设备发送目标视频数据获取指令。
其中，目标视频数据包括第一用户在浏览与目标用户行为所对应的商品时的视频数据。
需要说明的，商品推荐装置100在获取到目标视频数据后，将目标视频数据与终端设备显示的商品进行关联；其中，终端设备显示的商品即为与目标用户行为所对应的商品。
进一步的，商品推荐装置100在获取目标视频数据之后，基于开源计算机视觉库(opensourcecomputervisionlibrary，opencv)按照预设帧率将目标视频数据转换为多个图像，并从多个图像中查询第一用户的面部图像。
需要说明的，第一用户的面部图像包含有第一用户的多个面部关键点；第一用户的面部图像包含有完整的人脸头像，当多个图像中存在任一图像中未出现人脸头像或人脸头像被遮挡过多时，将该图像删除。
s2012、商品推荐装置100根据面部图像，生成关键点图像。
其中，关键点图像包括根据多个面部关键点，将面部图像裁切后的图像。
具体的，商品推荐装置100从第一用户的面部图像中确定多个面部关键点，并根据多个面部关键点，对面部图像进行裁切，以生成关键点图像。
可选的，如图3所示，本发明实施例提供的s2012，具体可以包括s20121-s20122：
s20121、商品推荐装置100获取第一用户的面部图像中的多个面部关键点。
具体的，商品推荐装置100利用人脸检测器和关键点描述器对面部图像进行人脸检测，获取人脸边界框及预设数量的面部关键点。
需要说明的，由于目标视频数据的采集环境(如光照、设备性能)随时在发生改变，因此，获取的面部图像中往往存在噪声。因此，为了保证后续对面部图像处理的精准性，在对面部图像进行人脸检测之前，商品推荐装置100可以对面部图像进行灰度化、图像增强及归一化处理，具体实现方式本发明不再赘述。
示例性的，多个面部关键点的数量可以为68个。
s20122、商品推荐装置100根据多个面部关键点，将面部图像进行裁切后，生成关键点图像。
其中，关键点图像包括上述实施例检测到的人脸边界及多个面部关键点。
s2013、商品推荐装置100利用弱监督双重注意力融合网络(weakly-superviseddual-attentionfusionnet，ws-dafnet)，根据关键点图像，确定第一用户的表情信息。
其中，ws-dafnet，用于根据关键点图像确定第一用户的第一表情数据，并根据关键点图像确定第一用户的第二表情数据，并根据第一表情数据和第二表情数据，生成第一用户的表情信息；其中，第一表情数据，用于反映第一用户的面部整体结构的表情数据，第二表情数据，用于反映第一用户的面部局部细节的表情数据。
具体的，商品推荐装置100在ws-dafnet中输入关键点图像，以及关键点图像所包含的微表情标签y＝[y1,y2,...,yc]t，从ws-dafnet输出一个相对鲁棒的微表情标签预测结果
其中，c表示微表情标签类数，yl为一个二值指示符，表示当标签l出现在关键点图像中时，yl＝1；若标签l未出现在关键点图像中时，则yl＝0。
进一步的，商品推荐装置100根据微表情标签预测结果，在面部动作编码系统(facialactioncodingsystem，facs)中查询第一用户的表情信息。
需要说明的，商品推荐装置100可以依据facs中定义的运动单元(actionunit，au)对关键点图像所包含的微表情标签进行描述。
示例性的，au1代表内侧眉毛上扬、au2代表外侧眉毛上扬，au12代表嘴角上扬，au24代表抿嘴。
可选的，如图4所示，本发明实施例提供的ws-dafnet包括整体化注意力网络(holisticattentionnet,hanet)，如图3所示，本发明实施例提供的s2013，具体包括s20131：
s20131、商品推荐装置100将关键点图像输入hanet，生成第一表情数据。
其中，如图5所示，hanet具体包括5组卷积层、3个全连接层及预定义注意力模块。
其中，预定义注意力模块包括第一注意力层及第二注意力层，第一注意力层的输入为5组卷积层中的第二组卷积层的输出，第一注意力层的输出为5组卷积层中的第四组卷积层的输入，第二注意力层的输入为5组卷积层中的第三组卷积层的输出，第二注意力层的输出为5组卷积层中的第四组卷积层的输入。
需要说明的，如图5所示，第二组卷积层为卷积层组2，第三组卷积层为卷积层组3，第四组卷积层为卷积层组4，第五组卷积层为卷积层组5。
其中，5组卷积层及3个全连接层用于进行卷积操作，预定义注意力模块用于根据注意力转换机制为关键点图像的不同区域分配注意力值。
示例性的，如图5所示，3个全连接层的节点数分别为4096，2048和12。
需要说明的，hanet是以卷积神经网络vgg-19为基础进行构建的；其中，预定义注意力模块，以跳跃连接的方式嵌入到hanet中。
具体的，商品推荐装置100将关键点图像输入到hanet，通过以下公式一对关键点图像进行处理，计算第一表情数据：
其中，
需要说明的，如图5所示，fconv(i)可以由卷积层组3或卷积层组4实现。
如图5所示，本发明实施例将上述预定义注意力模块应用于卷积层组3和卷积层组4以构建完整的hanet，即通过对面部图像i引入不同程度的注意力来指导网络学习面部图像的整体属性和整体空间布局，以及面部图像的多个子区域间的依赖关系；同时，还能使hanet避免直接处理整副关键点图像或直接将原始信息丢弃，能够区别对待不同的面部区域。
可选的，如图4所示，本发明实施例提供的ws-dafnet，还包括精细化注意力网络(detailedattentionnet,danet)以及决策融合网络(decisionfusionnet,dfnet)。
其中，danet包括弱监督语义感知模块(weakly-supervisedsemantic-awaremodule，ws-sm)、自适应通道校准模块(adaptivelychannelrecalibratedmodule,crm)以及独立子区域学习模块(independentlysub-regionlearningmodule,rlm)；ws-sm的输入为hanet的中间结果，ws-sm的输出为crm的输入，crm的输出为rlm的输入，rlm的输出为dfnet的输入。
需要说明的，如图4所示，danet是在hanet的基础上构建的，其目的在于能够独立的学习关键点图像中不同区域内更具判别力的特征。
如图3所示，本发明实施例提供的s2013，具体还可以包括s20132-s20136：
s20132、商品推荐装置100将目标视觉特征输入到ws-sm，生成第一特征图。
其中，目标视觉特征为由hanet根据关键点图像学习得到的，第一特征图包括关键点图像中微表情标签的全局视觉相关性及局部语义相关性。
需要说明的，如图4所示，目标视觉特征s是由hanet网络的'conv4_4'层中学习到的中间视觉特征，包含有关键点图像中的微表情标签。
示例性的，如图4所示，本实施例以224×224×3大小的关键点图像作为输入图像为例，目标视觉特征
具体的，商品推荐装置100将目标视觉特征输入ws-sm，以使得ws-sm根据以下公式二，为目标视觉特征中每个标签生成标签注意力值：
其中，fatt(·)为注意力估计器，z为经过fatt得到的非归一化的标签注意力值，c为所有微表情标签的种类个数，每个通道对应一个标签，s为目标视觉特征，θatt为目标视觉特征s与标签注意力值z之间由卷积滤波器产生的所有参数集合。
商品推荐装置100利用ws-sm，输入标签注意力值z，根据以下公式三，使用逻辑回归模型softmax函数对标签注意力值z进行空间归一化处理，以得到归一化的标签注意力图o：
其中，
需要说明的，如果微表情标签l存在于关键点图像中，则与该微表情标签相关的图像区域应被赋予更高的注意力值。
示例性的，如图6所示，注意力估计器fatt(·)可被模型化为3个卷积层，其中每个卷积层对应的卷积核大小依次为1×1×512，3×3×512和1×1×c，且在前两个卷积层之后，进行线性整流函数(rectifiedlinearunit，relu)的非线性操作。
需要说明的，由于注意力图的真实标注不可获取，因此ws-sm模块只能通过图像级弱监督的方式来学习注意力估计器fatt(s；θatt)。
商品推荐装置100利用ws-sm，输入标签注意力图o，根据以下公式四，为目标视觉特征加权：
其中，vl为加权目标视觉特征向量，si,j为目标视觉特征s在图像位置(i,j)处的视觉特征向量，
需要说明的，相较于所有微表情标签共享的目标视觉特征，由公式四得到的加权目标视觉特征向量vl与微表情标签l对应的图像区域更相关。
商品推荐装置100利用ws-sm，输入上述加权目标视觉特征向量vl，根据以下公式五，学习微表情标签特定的线性分类器，并用于评估微表情标签l的置信度：
其中，
ws-sm根据公式五，可依次得到所有微表情标签的中间置信度预测结果，表示为
在一种实现方式中，上述公式五可以以下公式六表示：
其中，
在具体实现过程中，如图6所示，为有效学习注意力图，在
如图6所示，商品推荐装置100利用ws-sm，通过将标签注意力图o与置信度图p进行逐元素相乘，然后在空间上进行求和池化操作，以得到标签的置信度预测结果
在一种实现方式中，在ws-sm弱监督训练过程中，商品推荐装置100利用ws-sm，根据以下公式七，通过最小化
其中，lossrefine用于测量微表情标签注意力图校正前后的差异，
商品推荐装置100利用ws-sm，根据以下公式八逐步计算细化后的注意力图，即第一特征图，用于后续处理：
其中，q为第一特征图，σ(p)＝1/(1+e-p)为sigmoid激活函数，p为置信度图。
需要说明的，经过上述过程，可将有关微表情标签的全局视觉相关性和局部语义相关性均嵌入到ws-sm的输出第一特征图q中。
s20133、商品推荐装置100将第一特征图输入到crm，生成第二特征图。
其中，第二特征图用于自适应地学习关键点图像中通道间非线性且非互斥的依赖关系。
图7示出了一种crm的网络结构图，crm旨在通过引入通道注意力机制来进一步研究通道间的相关性。
商品推荐装置100利用crm，输入由ws-sm输出的第一特征图，根据以下公式九，通过使用全局平均池化方法将第一特征图进行跨h×w空间维度压缩，生成通道描述符的集合
其中，d表示通道描述符的集合，
进一步的，商品推荐装置100为了利用上述融合后的信息，利用crm，输入通道描述符的集合，根据以下公式十，获取通道间的相关性：
g＝σ(w2·δ(w1·d))公式十
其中，g表示具有sigmoid激活函数的门控机制，δ(·)和σ(·)分别表示relu和sigmoid激活函数，
需要说明的，门控机制g通过三个隐藏层进行参数化，即一个具有参数w1的全连接层用于按压缩率r进行降维，一个非线性relu激活层，和另一个具有参数w2的全连接层用于同比例升维。
需要说明的，压缩率r是一个可学习的超参数。
示例性的，本发明实施例可将压缩率设定为r＝6。
商品推荐装置100利用crm，根据以下公式十一及公式十二，通过门控机制g校准输入第一特征图q，可得到crm输出的第二特征图
其中，
需要说明的，商品推荐装置100利用crm，根据公式十一及公式十二输出的第二特征图
s20134、商品推荐装置100将第二特征图输入到rlm，以使得rlm根据多个面部关键点，从第二特征图提取预设个数的子区域，并根据预设个数的子区域，生成第二表情数据。
其中，预设个数的子区域用于反映预设个数的局部细节变化。
图8示出了rlm的一种网络结构示意图，其作用在于为每个重要区域构建一个独立分支并在相应的分支上对每个子区域进行独立学习，以捕获更多特定的局部细节。
具体地，商品推荐装置100利用rlm，输入第二特征图，将第二特征图裁切为由多个面部关键点定义的预设个数的子区域。
示例性的，如图8所示，子区域的个数可以为20个，每个子区域的大小可以固定为3×3。
进一步，商品推荐装置100利用rlm，输入预设个数的子区域，以使得rlm在每个子区域上进行局部训练。
具体的，如图8所示，rlm中的每个子区域上采用一个上采样层、一个具有3×3×c核的卷积层以及节点数为50的全连接层，以得到每个子区域的中间输出。rlm将生成的多个中间输出串联形成一个全连接层，再经过两个节点数分别为512和12的连接层以匹配微表情识别任务，以得到rlm的输出第二表情数据，即为danet最终的预测输出。
示例性的，如图8所示，上述实施例以20个子区域为例，该全连接层的长度为1000。
s20135、商品推荐装置100将第一表情数据及第二表情数据输入到dfnet，生成第一用户的表情信息。
具体的，商品推荐装置100利用dfnet，输入第一表情数据及第二表情数据，根据以下公式十三，计算微表情标签预测结果：
其中，
需要说明的，对于加权因子α的设定，虽然可以在ws-dafnet的训练期间通过学习进行确定，也可以由运维人员进行设定，在实际应用中，也可采用更复杂的融合策略对加权因子α进行设定，本发明不作赘述。
示例性的，在ws-dafnet输出结果稳定的前提下，加权因子α可以设定为0.5。
在一种实现方式中，本发明实施例还提供了一种ws-dafnet的损失函数，如以下公式十四所示：
其中，
s20136、商品推荐装置100根据微表情标签预测结果，从facs中查询第一用户的表情信息。
具体的，商品推荐装置100在利用ws-dafnet确定当前用户的微表情数据之后，根据微表情数据与情绪类型间的对应关系判断情绪类型。
示例性的，在facs中情绪类型主要涉及六类，包括高兴、生气、不屑、害怕、难过和惊讶。它们之间的对应关系可以根据facs进行定义，例如，脸颊和嘴角同时上扬(au6+12)对应的情绪类型为高兴，眉毛上扬、眼睛睁大和嘴巴张开(au1+2+5+26)对应的情绪类型为惊讶等。
可选的，如图2所示，在s2011之后，本发明实施例提供的s201中，获取m组样本数据中任意一组样本数据中的商品信息、用户信息及除表情信息之外的行为信息，具体包括s2014-s2015：
s2014、商品推荐装置100将第一用户的面部图像与数据库中的预设图像进行对比。
其中，预设图像包括第一用户在购物平台注册时预留在数据库中的人脸图像。
s2015、若第一用户的面部图像与预设图像一致，则商品推荐装置100根据第一用户的用户标识，从数据库中查询与目标用户行为所对应商品的商品信息、所对应用户的用户信息及所对应用户除表情信息之外的行为信息。
s202、商品推荐装置100根据m组样本数据，生成m组特征参数。
可选的，如图9所示，本发明实施例提供的s202，具体可以包括：s2021-s2022：
s2021、商品推荐装置100将m组样本数据中各组样本数据进行标准化处理，生成m组标准化处理数据。
其中，标准化处理，包括将同一数据类型中的数据转换为预设标准格式。
其中，由于每一组样本数据中的样本数据具有不同数据类型，因此本研究针对不同数据类型使用不同标准化方法。
示例性的，对于当前用户的特征信息中所包含的性别数据，将其转化为1、-1和0，分别对应男、女和未知，对于常用地点数据也可将其根据地区编码进行转换。
在一种实现方式中，对于上述数样本据中存在的数值类信息，如不同用户对当前显示商品的评分，主要根据以下公式十五，采用改进的平均值最小-最大标准化进行处理：
其中，vnew为用户评分的标准值，vnew∈(-1,1)，vnew对用户的正负反馈有明确表示，voriginal为当前用户的用户评分，vmin为用户评分的最小值，vmax为用户评分的最大值，vavg为用户评分的平均值。
示例性的，若用户u1对当前显示商品i1的用户评分为7分，其评价平均分为5，用户评分最大值与最小值之差为9，则转化后的标准值等于2/9，为正反馈。
需要说明的，如果一种目标商品的商品信息、与一种目标商品对应的待推荐用户的行为信息，以及待推荐用户的用户信息中的任意一个参数无法获取，则该参数在经过标准化处理之后数值为0。
在一种实现方式中，本申请实施例提供的商品推荐方法，在对m组样本数据中各组样本数据进行标准化处理之前，还包括对m组样本数据中各组样本数据进行清洗、补充等处理。
需要说明的，商品推荐装置100可以结合概率和统计学原理对上述m组样本数据中各组样本数据进行清洗和补充，本发明不再赘述。
s2022、商品推荐装置100将m组标准化处理数据中各组标准化处理数据中的数据进行合并，生成m组特征参数。
具体的，m组特征参数中各组特征参数可以为一个数据集合，用于表示目标用户行为。
需要说明的，数据集合＝{目标用户行为标识，用户标识，商品标识，商品类别，商品价格，用户年龄，用户性别，……，浏览次数，购买次数，评分，表情信息}。
示例性的，数据集合＝{1,1,000001,28,-1,…,0.8,9,3,1}，其中，目标用户行为标识为1，用户标识为1，商品表示为000001，年龄为28，性别为-1，用户1对商品000001的评分为0.8，浏览次数为9，购买次数3次，情绪类别为1，表示高兴。
s203、商品推荐装置100利用m组特征参数，对预设神经网络模型进行训练，构建用户动态兴趣模型。
具体的，商品推荐装置100对m组特征参数中各组特征参数进行喜好值赋值。
其中，喜好值用于表示目标用户行为所对应的用户对目标用户行为所对应的商品的喜好程度。
进一步的，商品推荐装置100根据m组特征参数及m组特征参数中各组特征参数对应的喜好值，利用因子分解机(factorizationmachine，fm)分析各影响因素对各用户集合行为的作用，构建以下用户动态兴趣模型：
其中，w0为全局参偏差，wi为属性xi在所有属性中占的权重，wixi表示属性xi对用户喜好的影响，vij为属性xi与xj在所有属性中占的权重，vijxixj表示属性xi与xj共同作用对用户喜好的影响，xi为用户在第i个属性上的取值，xj为用户在第j个属性上的取值。
需要说明的，fm的核心思想是利用m组特征参数中各组特征参数中的数据，考虑单一属性及任意两个属性对用户喜好的影响，通过学习得到以上公式十六；模型构建的过程中，首先使用留一法，将用户数据集划分为训练集和测试集；其中，训练集就是通过对训练集中的数据(包括m组特征参数及m组特征参数中各组特征参数对应的喜好值)利用fm学习函数；测试集通过计算用户对商品喜好程度的预测值与真实评分矩阵的差别，检验函数f(x)的学习效果。
在一种实现方式中，构建用户动态兴趣模型的目的在于期望通过用户动态兴趣模型能够尽可能准确地预测用户对商品的喜好程度，即使上述f(x)与真实评分矩阵y之间的差最小，f(x)≈y。因此，为了避免在学习过程中发生过拟合，本发明实施例可以在损失函数中引入l2范数的正则化项，同时利用交替最小二乘法als进行函数求解，具体实施方式，本发明不再赘述。
s204、商品推荐装置100获取待推荐用户购买过的商品的商品信息。
具体的，在终端设备向购物平台发起登录请求时，商品推荐装置100获取登录请求所对应的待推荐用户的用户标识，并根据该用户标识，从数据库中查询该待推荐用户的历史购买记录，从而获取待推荐用户购买过的商品的商品信息。
s205、商品推荐装置100根据待推荐用户购买过的商品的商品信息，查询与待推荐用户购买过的商品相似度大于第一阈值的第一商品集合。
具体的，商品推荐装置100根据待推荐用户购买过的商品的商品信息，进行相似度计算，进而查询到相似度大于第一阈值的商品，组成第一商品集合。
需要说明的，上述相似度计算的方法，具体可以通过余弦相似度度量各商品特征向量间的相似度，再利用层次聚类的方法查询第一商品集合，但本发明并不仅限于通过上述方法获取第一商品集合。
s206、商品推荐装置100获取待推荐用户的用户特征信息。
其中，待推荐用户的用户特征信息中包括待推荐用户的用户信息以及待推荐用户的历史行为信息。
具体的，商品推荐装置100根据用户标识，从数据库中查询待推荐用户的用户信息及待推荐用户的历史行为信息。
需要说明的，历史行为信息包括待推荐用户在终端设备本次登录购物平台之前的行为信息。
s207、商品推荐装置100根据待推荐用户的用户信息及待推荐用户的历史行为信息，查找与待推荐用户相似度大于第二阈值的相似用户。
具体的，商品推荐装置100根据待推荐用户的用户特征信息，进行相似度计算，进而查询到相似度大于第二阈值的相似用户。
需要说明的，上述相似度计算的方法，具体可以通过余弦相似度度量各用户特征向量间的相似度，再利用层次聚类的方法查询相似用户，但本发明并不仅限于通过上述方法查询相似用户。
s208、商品推荐装置100查询相似用户购买过的第二商品集合。
具体的，商品推荐装置100根据相似用户的用户标识，从数据库中查询相似用户购买过的商品，进而组成第二商品集合。
s209、商品推荐装置100从第一商品集合和第二商品集合中，选择n种目标商品。
其中，n种目标商品，可以为第一商品集合与第二商品集合的交集。
在一种实现方式中，为了使商品推荐装置100为待推荐用户推荐更全面的商品，n种目标商品，也可以为第一商品集合和第二商品集合的并集。
s210、商品推荐装置100获取n种目标商品中各目标商品的商品信息，并获取与n种目标商品中各目标商品对应的待推荐用户的行为信息。
其中，待推荐用户的行为信息，包括待推荐用户的表情信息。
具体的，商品推荐装置100根据待推荐用户的用户标识及n种目标商品中各目标商品的商品信息，从数据库中查询待推荐用户对n种目标商品中各目标商品的行为信息。
可选的，如图10所示，本发明实施例提供的s210，具体可以包括s2101-s2103：
s2101、在终端设备与购物平台建立通信连接时，商品推荐装置100获取终端设备拍摄到的第一用户图像。
具体的，商品推荐装置100向终端设备发送拍摄指令，以使得终端设备在获取第一用户图像之后，将第一用户图像发送至商品推荐装置100。
s2102、在确定第一用户图像中的人脸图像与待推荐用户相匹配后，商品推荐装置100获取终端设备上显示第一目标商品时，终端设备拍摄到的第二用户图像。
其中，第一目标商品包括n种目标商品中的任一种目标商品。
具体的，商品推荐装置100将第一用户图像与待推荐用户在数据库中预留的预设图像进行对比，若匹配，则根据第一目标商品的商品信息及待推荐用户的用户信息，从数据库中查询第二用户图像。
s2103、商品推荐装置100根据第二用户图像，生成第一目标商品对应的待推荐用户的表情信息。
需要说明的，此步骤具体可以参照上述实施例中的s2012-s2013，此处不再赘述。
s211、商品推荐装置100生成n种目标商品中各目标商品的特征参数。
其中，n种目标商品中一种目标商品的特征参数，为根据一种目标商品的商品信息、与一种目标商品对应的待推荐用户的行为信息，以及待推荐用户的用户信息生成的。
需要说明的，此步骤具体可以参照上述实施例中的s202，此处不再赘述。
s212、商品推荐装置100分别将n种目标商品中各目标商品的特征参数输入用户动态兴趣模型，得到n种目标商品中各目标商品的喜好值。
其中，用户动态兴趣模型包括根据商品的特征参数生成商品的喜好值的卷积神经网络模型。
具体的，商品推荐装置100分别将n种目标商品中各目标商品的特征参数输入到用户动态兴趣模型中，利用上述公式十六，计算待推荐用户对n种目标商品中各目标商品的喜好值。
s213、商品推荐装置100根据n种目标商品中各目标商品的喜好值，生成目标商品集合。
其中，目标商品集合中包括至少一个目标商品。目标商品集合用于确定向待推荐用户推荐的商品。
具体的，商品推荐装置100将由用户动态兴趣模型计算得到的n个喜好值，按照喜好值大小进行排序，选择喜好值最大的前n个商品，生成目标商品集合。
本发明的实施例提供的一种商品推荐方法及装置，应用于购物平台，通过获取当前用户的关键点图像，并根据关键点图像中的整体结构及细节变化确定当前用户的情绪类型，从而根据当前用户的特征信息、当前用户的情绪类型以及当前显示商品的特征信息，确定当前用户对当前显示商品的喜好程值，若喜好值大于等于第一预设阈值，则向用户显示推荐的商品，能够基于当前用户关键点图像的整体结构和细节变化，准确的确定当前用户对当前显示商品的喜好，从而准确的确定出需要向用户推荐的商品，能够提高商品推荐的准确率。
本发明实施例可以根据上述方法示例对商品推荐装置100进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本发明实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，本发明实施例提供了上述实施例中所涉及的商品推荐装置100的一种可能的结构示意图，如图11所示，商品推荐装置100包括获取单元101、第一生成单元102、喜好值计算单元103及第二生成单元104。
获取单元101，用于获取n种目标商品中各目标商品的商品信息，并获取与n种目标商品中各目标商品对应的待推荐用户的行为信息。其中，待推荐用户的行为信息，包括待推荐用户的表情信息。
第一生成单元102，用于在获取单元101获取n种目标商品中各目标商品的商品信息，并获取与n种目标商品中各目标商品对应的待推荐用户的行为信息之后，生成n种目标商品中各目标商品的特征参数；其中，n种目标商品中一种目标商品的特征参数，为根据一种目标商品的商品信息、与一种目标商品对应的待推荐用户的行为信息，以及待推荐用户的用户信息生成的。
喜好值计算单元103，用于在第一生成单元102生成n种目标商品中各目标商品的特征参数之后，分别将n种目标商品中各目标商品的特征参数输入用户动态兴趣模型，得到n种目标商品中各目标商品的喜好值；其中，用户动态兴趣模型包括根据商品的特征参数生成商品的喜好值的卷积神经网络模型。
第二生成单元104，用于在喜好值计算单元103得到n种目标商品中各目标商品的喜好值之后，根据n种目标商品中各目标商品的喜好值，生成目标商品集合；其中，目标商品集合中包括至少一个目标商品；目标商品集合用于确定向待推荐用户推荐的商品。
可选的，如图12所示，本发明实施例提供的商品推荐装置100，还包括模型构建单元105。
获取单元101，还用于获取m组样本数据；其中，m组样本数据中各组样本数据，分别包括：一次用户行为中，所对应商品的商品信息、所对应用户的用户信息以及所对应用户的行为信息；其中，所对应用户的行为信息，包括所对应用户的表情信息。
第一生成单元102，还用于在获取单元101获取m组样本数据之后，根据m组样本数据，生成m组特征参数。
模型构建单元105，用于在第一生成单元102生成m组特征参数之后，利用m组特征参数，对预设神经网络模型进行训练，构建用户动态兴趣模型。
可选的，如图12所示，本发明实施例提供的获取单元101，具体包括第一获取子单元1011、第一生成子单元1012及控制子单元1013：
第一获取子单元1011，用于获取目标用户行为中，第一用户的面部图像；其中，目标用户行为，包括与m组样本数据中任一组样本数据所对应的用户行为；第一用户，包括与目标用户行为所对应的用户。
第一生成子单元1012，用于在第一获取子单元1011获取目标用户行为中，第一用户的面部图像之后，根据面部图像，生成关键点图像；其中，关键点图像包括根据多个面部关键点，将面部图像裁切后的图像。
控制子单元1013，用于在第一生成子单元1012生成关键点图像之后，利用弱监督双重注意力融合网络ws-dafnet，根据关键点图像，确定第一用户的表情信息；其中，ws-dafnet，用于根据关键点图像确定第一用户的第一表情数据，并根据关键点图像确定第一用户的第二表情数据，并根据第一表情数据和第二表情数据，生成第一用户的表情信息；其中，第一表情数据，用于反映第一用户的面部整体结构的表情数据，第二表情数据，用于反映第一用户的面部局部细节的表情数据。
可选的，本发明实施例提供的ws-dafnet包括整体化注意力网络hanet；其中，hanet具体包括5组卷积层、3个全连接层及预定义注意力模块；其中，预定义注意力模块包括第一注意力层及第二注意力层，第一注意力层的输入为5组卷积层中的第二组卷积层的输出，第一注意力层的输出为5组卷积层中的第四组卷积层的输入，第二注意力层的输入为5组卷积层中的第三组卷积层的输出，第二注意力层的输出为5组卷积层中的第四组卷积层的输入；5组卷积层及3个全连接层用于进行卷积操作，预定义注意力模块用于根据注意力转换机制为关键点图像的不同区域分配注意力值。
如图12所示，本发明实施例提供的控制子单元1013，具体用于将关键点图像输入hanet，生成第一表情数据。
可选的，本发明实施例提供的ws-dafnet还包括精细化注意力网络danet以及决策融合网络dfnet；其中，danet包括弱监督语义感知模块ws-sm、自适应通道校准模块crm以及独立子区域学习模块rlm；ws-sm的输入为hanet的中间结果，ws-sm的输出为crm的输入，crm的输出为rlm的输入，rlm的输出为dfnet的输入。
如图12所示，本发明实施例提供的控制子单元1013，具体还用于在将关键点图像输入hanet之后，将目标视觉特征输入到ws-sm，生成第一特征图；其中，目标视觉特征为由hanet根据关键点图像学习得到的，第一特征图包括关键点图像中微表情标签的全局视觉相关性及局部语义相关性。
控制子单元1013，具体还用于在生成第一特征图之后，将第一特征图输入到crm，生成第二特征图；其中，第二特征图用于自适应地学习关键点图像中通道间非线性且非互斥的依赖关系。
控制子单元1013，具体还用于在生成第二特征图之后，将第二特征图输入到rlm，以使得rlm根据多个面部关键点，从第二特征图提取预设个数的子区域，并根据预设个数的子区域，生成第二表情数据；其中，预设个数的子区域用于反映预设个数的局部细节变化。
控制子单元1013，具体还用于在生成第二表情数据之后，将第一表情数据及第二表情数据输入到dfnet，生成第一用户的表情信息。
可选的，如图12所示，本发明实施例提供的获取单元101，具体包括第二获取子单元1014、第二生成子单元1015。
第二获取子单元1014，用于在终端设备与购物平台建立通信连接时，获取终端设备拍摄到的第一用户图像。
第二获取子单元1014，还用于在获取终端设备拍摄到的第一用户图像之后，确定第一用户图像中的人脸图像与待推荐用户相匹配后，获取终端设备上显示第一目标商品时，终端设备拍摄到的第二用户图像；其中，第一目标商品包括n种目标商品中的任一种目标商品。
第二生成子单元1015，用于在第二获取子单元1014获取终端设备上显示第一目标商品时，终端设备拍摄到的第二用户图像之后，根据第二用户图像，生成第一目标商品对应的待推荐用户的表情信息。
可选的，本发明实施例提供的商品推荐装置100，具体还包括查询单元106及确定单元107。
获取单元101，还用于获取待推荐用户购买过的商品的商品信息。
查询单元106，用于在获取单元101获取待推荐用户购买过的商品的商品信息之后，根据待推荐用户购买过的商品的商品信息，查询与待推荐用户购买过的商品相似度大于第一阈值的第一商品集合。
获取单元101，还用于获取待推荐用户的用户特征信息；其中，待推荐用户的用户特征信息中包括待推荐用户的用户信息以及待推荐用户的历史行为信息。
查询单元106，还用于在获取单元101获取待推荐用户的用户特征信息之后，根据待推荐用户的用户特征信息，查找与待推荐用户相似度大于第二阈值的相似用户。
查询单元106，还用于在查询到相似用户之后，查询相似用户购买过的第二商品集合。
确定单元107，用于在查询单元106查询到第一商品集合及第二商品集合之后，从第一商品集合和第二商品集合中，选择n种目标商品。
图13示出了上述实施例中所涉及商品推荐装置100的又一种可能的结构示意图。该商品推荐装置100包括：存储器301、处理器302、通信接口303和总线304。存储器301用于存储装置的程序代码和数据；处理器302用于对装置的动作进行控制管理，例如，执行上述方法实施例中所示的方法流程中的各个步骤，和/或用于执行本文所描述的技术的其它过程；通信接口303用于支持该商品推荐装置100与其他网络或设备的通信。
其中，上述处理器302可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，单元和电路。该处理器可以是中央处理器，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，单元和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
存储器301可以包括易失性存储器，例如随机存取存储器；该存储器也可以包括非易失性存储器，例如只读存储器，快闪存储器，硬盘或固态硬盘；该存储器还可以包括上述种类的存储器的组合。
总线304可以是扩展工业标准结构(extendedindustrystandardarchitecture，eisa)总线等。总线304可以分为地址总线、数据总线、控制总线等。为便于表示，图13中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将装置的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。上述描述的控制器和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行该指令时，该计算机执行上述方法实施例所示的方法流程中的各个步骤。
本发明的实施例提供一种包含指令的计算机程序产品，当指令在计算机上运行时，使得计算机执行上述方法实施例中的商品推荐方法。
其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘。随机存取存储器(randomaccessmemory，ram)、只读存储器(read-onlymemory，rom)、可擦式可编程只读存储器(erasableprogrammablereadonlymemory，eprom)、寄存器、硬盘、光纤、便携式紧凑磁盘只读存储器(compactdiscread-onlymemory，cd-rom)、光存储器件、磁存储器件、或者上述的人以合适的组合、或者本领域数值的任何其他形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(applicationspecificintegratedcircuit，asic)中。在本发明实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
由于本发明的实施例中的商品推荐装置、计算机可读存储介质、计算机程序产品可以应用于上述方法，因此，其所能获得的技术效果也可参考上述方法实施例，本发明实施例在此不再赘述。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何在本发明揭露的技术范围内的变化或替换，都应涵盖在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！