一种物品的搭配方法以及相关设备与流程

本技术涉及人工智能领域，尤其涉及一种物品的搭配方法以及相关设备。

背景技术：

1、人工智能(artificial intelligence，ai)是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。随着人工智能技术的发展，利用人工智能进行物品搜索是常见的一个应用方式。

2、业界常见的物品搜索方案包括拍照搜索，具体的，用户可以对想要搜索的物品进行拍照，进而可以根据输入的图片，搜索相似的物品。

3、但技术人员在研究中发现，在大部分场景中，当用户存在搜索需求时，无法获取到该搜索需求的相似物品的图像，也即无法实现用户的搜索需求；对应的，用户往往能够获取到需要搜索的物品所要搭配的物品，例如想要搜索与一件上衣搭配的裤子。

技术实现思路

1、本技术实施例提供了一种物品的搭配方法以及相关设备，当用户输入的是复杂的待处理图像(也即包括至少两个物品的图像)时，依旧能够获取到与整个待处理图像具有匹配关系的一种目标类别的物品，大大扩展了本方案的应用场景，有利于提高本方案的用户粘度。

2、为解决上述技术问题，本技术实施例提供以下技术方案：

3、第一方面，本技术实施例提供一种物品的搭配方法，可将人工智能技术应用于物品搜索领域中，方法包括：客户设备获取用户输入的待处理图像，待处理图像中存在背景与至少两个物品；服务器或客户设备基于待处理图像的特征信息和待处理图像中至少两个物品的特征信息，通过第一神经网络获取与待处理图像具有匹配关系的一种目标类别的物品；客户设备向用户展示前述目标类别的物品。

4、本实现方式中，用户可以提供想要搜索的物品所使用的场景的图像(也即上述待处理图像)，则可以通过第一神经网络获取与整个待处理图像具有搭配关系的一个目标类别，进而向用户展示与一个目标类别对应的目标物品；通过前述方案，用户不仅可以通过提供待处理图像来搜索想要搭配的物品，且当用户输入的是复杂的待处理图像(也即包括至少两个物品的图像)时，依旧能够获取到与整个待处理图像具有匹配关系的一种目标类别的物品，大大扩展了本方案的应用场景，有利于提高本方案的用户粘度；此外，基于整个待处理图像的特征信息和待处理图像中物品的特征信息，确定与整个待处理图像具有搭配关系的一种目标类别，也即不仅考虑了整个待处理图像的信息，还充分考虑了待处理图像中的每个物体，有利于提高确定的目标类别的准确度。

5、在第一方面的一种可能实现方式中，方法还包括：服务器或客户设备将待处理图像输入第三神经网络，以通过第三神经网络对待处理图像进行特征提取，得到与待处理图像对应的目标特征信息，目标特征信息包括待处理图像中的至少两个物品的特征信息和待处理图像的特征信息。待处理图像的特征信息包括由背景和至少两个物品构成的整体的特征信息，也即待处理图像的特征信息指的是将该待处理图像视为一个整体，对搭配图像进行特征提取后得到的特征信息；作为示例，例如待处理图像的特征信息可以包括待处理图像的纹理信息、颜色信息、轮廓信息、风格信息、场景信息或其他类型的特征信息等；待处理图像中至少两个物品的特征信息也可以称为待处理图像的语义标签集合，待处理图像中至少两个物品的特征信息可以包括每个物品的属性信息，每个物品的属性信息包括如下任一种或多种信息：物品的类别、物品的颜色和物品在待处理图像中的位置信息；可选地，还可以包括每个物品的风格信息、物品的材质、物品的图案或其他特征信息。

6、本实现方式中，待处理图像的特征信息指的是将该待处理图像视为一个整体，对搭配图像进行特征提取后得到的特征信息，待处理图像中至少两个物品的特征信息可以包括每个物品的属性信息，进一步细化了待处理图像的特征信息和至少两个物品的特征信息的概念，有利于更清楚的区分待处理图像的特征信息和至少两个物品的特征信息；且每个物品的特征信息中包括物品的类别、物品的颜色、物品的风格、物品的材质或物品的图案等信息，在特征提取过程中充分考虑了待处理图像中的物体的信息，有利于提高确定的目标类别的准确度。

7、在第一方面的一种可能实现方式中，服务器或客户设备通过第一神经网络，基于待处理图像的特征信息和至少两个物品的特征信息，获取与待处理图像具有匹配关系的一种目标类别，包括：服务器或客户设备通过第一神经网络生成与待处理图像对应的m个候选意图，m为大于或等于2的整数，每个候选意图指示与待处理图像具有搭配关系的一种类别的物品；客户设备向用户展示m个候选意图，以获取与m个候选意图对应的反馈操作；客户设备根据针对m个候选意图的反馈操作，确定与待处理图像具有匹配关系的一种目标类别。其中，“反馈操作”可以为对m个候选意图中的一个候选意图的选择操作，或者，“反馈操作”也可以为用户手动输入新的搜索意图等。

8、本实现方式中，先通过第一神经网络生成m个候选意图，再基于用户针对m个候选意图输入的反馈操作，确定与待处理图像具有匹配关系的一种目标类别，也即采用交互式的方式对用户的搜索意图进行引导，有利于提高确定的目标类别的准确性。

9、在第一方面的一种可能实现方式中，方法还包括：客户设备获取用户输入的目标文本信息，该目标文本信息用于指示用户的搜索意图；服务器或客户设备将文本信息输入第四神经网络，以通过第四神经网络对文本信息进行特征提取，得到文本信息的特征信息。服务器或客户设备基于待处理图像的特征信息和至少两个物品的特征信息，通过第一神经网络获取与待处理图像具有匹配关系的一种目标类别，包括：将待处理图像的特征信息、至少两个物品的特征信息和文本信息的特征信息输入第一神经网络，以通过第一神经网络获取与待处理图像具有匹配关系的一种目标类别。

10、本实现方式中，还可以获取用户输入的目标文本信息，该目标文本信息用于指示用户的搜索意图，将目标特征信息和目标文本信息的特征信息一起输入第三神经网络中，也即在获取与待处理图像具有搭配关系的过程中，不仅可以充分获取待处理图像中的信息，还可以结合用于指示用户的搜索意图的文本信息，以进一步提高确定的候选意图的准确度。

11、在第一方面的一种可能实现方式中，客户设备通过第一神经网络获取与待处理图像具有搭配关系的一种目标类别的物品，包括：服务器通过第一神经网络获取与待处理图像具有搭配关系的n个候选物品，每个候选物品均为目标类别，n为大于1的整数；服务器通过第二神经网络生成与n个候选物品对应的目标评分，目标评分指示候选物品与待处理图像之间的匹配度，也即用于指示一个候选物品与待处理图像的搭配效果图的审美评分；服务器根据与n个候选物品对应的目标评分，从n个候选物品中选取k个目标物品，k为大于或等于1的整数。客户设备展示目标类别的物品包括：客户设备展示k个目标物品。

12、本实现方式中，通过神经网络生成与n个候选物品对应的评分，评分指示候选物品与待处理图像之间的匹配度；并根据每个候选物品与待处理图像之间的匹配度，从n个候选物品中选取最终展示给用户的目标物品。也即对候选物品与待处理图像的搭配美感进行量化评分，在选取目标物品的过程中考虑了搭配效果图美感，从而向用户提供的目标物品与待处理图像的搭配效果图会比较好看，有利于提高本方案的用户粘度。

13、在第一方面的一种可能实现方式中，通过第二神经网络生成与n个候选物品对应的目标评分，包括：将每个候选物品的图像、每个候选物品的语义标签、待处理图像以及待处理图像中的物品所对应的语义标签输入第二神经网络，得到第二神经网络输出的每个候选物品所对应的目标评分。待处理图像中的物品的语义标签也可以称为待处理图像中的物品的特征信息。候选物品的语义标签可以包括候选物品的至少一种属性信息，作为示例，例如候选物品的语义标签可以包括如下任一项或多项：候选物品的类别、候选物品的风格、候选物品的形状或候选物品的其它属性等等。

14、在第一方面的一种可能实现方式中，客户设备向用户展示目标类别的物品，包括：客户设备向用户展示目标类别的物品与待处理图像的搭配效果图。前述搭配效果图可以为纯图像格式、vr建模后的效果图、ar建模后的效果图或其他格式等等。可选地，客户设备还可以向用户展示每个目标类别的物品的如下任一种或多种信息：每个目标类别的物品的访问链接、名称、价格、目标评分或物品的其它类型的信息等，此处不做限定。

15、本实现方式中，向用户展示每个目标类别的物品与待处理图像的搭配效果图，从而用户可以更直观地体会到目标类别的物品应用于待处理图像中的搭配效果，有利于提高本方案的用户粘度。

16、第二方面，本技术实施例提供一种物品的搭配方法，可将人工智能技术应用于物品搜索领域中，方法包括：客户设备获取用户输入的待处理图像，待处理图像中存在背景与至少两个物品；接收服务器发送的与待处理图像具有搭配关系的一种目标类别的物品，目标类别的物品为服务器基于待处理图像的特征信息和至少两个物品的特征信息得到的；展示目标类别的物品。

17、在第二方面的一种可能实现方式中，图像的特征信息包括由背景和至少两个物品构成的整体的特征信息，至少两个物品的特征信息包括每个物品的属性信息，每个物品的属性信息包括如下任一种或多种信息：物品的类别、物品的颜色、物品的风格、物品的材质或物品的图案。

18、在第二方面的一种可能实现方式中，客户设备接收服务器发送的与待处理图像对应的m个候选意图，并向用户展示m个候选意图，m为大于或等于2的整数，每个候选意图指示与待处理图像具有搭配关系的一种类别的物品；客户设备获取与m个候选意图对应的反馈操作，并根据针对m个候选意图的反馈操作，确定与待处理图像具有匹配关系的一种目标类别，向服务器发送该目标类别。

19、本技术第二方面中，客户设备还可以用于执行第一方面以及第一方面的各个可能实现方式中客户设备执行的步骤，第二方面各个可能实现方式中步骤的具体实现方式、名词的含义以及所带来的有益效果，均可以参阅第一方面，此处不再赘述。

20、第三方面，本技术实施例提供一种物品的搭配方法，可将人工智能技术应用于物品搜索领域中，方法包括：服务器基于待处理图像的特征信息和至少两个物品的特征信息，通过第一神经网络获取与待处理图像具有匹配关系的一种目标类别，其中，待处理图像中存在背景和至少两个物品；服务器向客户设备发送目标类别的物品的信息。

21、在第三方面的一种可能实现方式中，服务器基于待处理图像的特征信息和至少两个物品的特征信息，通过第一神经网络获取与待处理图像具有匹配关系的一种目标类别，包括：服务器通过第一神经网络生成与待处理图像对应的m个候选意图，m为大于或等于2的整数，每个候选意图指示与待处理图像具有搭配关系的一种类别的物品；服务器向客户设备发送m个候选意图，m个候选意图用于供客户设备得到与待处理图像具有匹配关系的一种目标类别；接收客户设备发送的目标类别。

22、本技术第三方面中，服务器还可以用于执行第一方面以及第一方面的各个可能实现方式中服务器执行的步骤，第三方面各个可能实现方式中步骤的具体实现方式、名词的含义以及所带来的有益效果，均可以参阅第一方面，此处不再赘述。

23、第四方面，本技术实施例提供一种物品的搭配装置，可将人工智能技术应用于物品搜索领域中，物品的搭配装置应用于物品的搭配系统中的客户设备，物品的搭配系统还包括服务器，物品的搭配装置包括：获取模块，用于获取用户输入的图像，图像中存在背景与至少两个物品；接收模块，用于接收服务器发送的与图像具有搭配关系的一种目标类别的物品，目标类别的物品为服务器基于图像的特征信息和至少两个物品的特征信息得到的；展示模块，用于展示目标类别的物品。

24、本技术第四方面中，物品的搭配装置还可以用于执行第二方面以及第二方面的各个可能实现方式中客户设备执行的步骤，第四方面各个可能实现方式中步骤的具体实现方式、名词的含义以及所带来的有益效果，均可以参阅第二方面，此处不再赘述。

25、第五方面，本技术实施例提供一种物品的搭配装置，可将人工智能技术应用于物品搜索领域中，物品的搭配装置应用于物品的搭配系统中的服务器，物品的搭配系统还包括客户设备，物品的搭配装置包括：获取模块，用于基于图像的特征信息和至少两个物品的特征信息，通过第一神经网络获取与图像具有搭配关系的一种目标类别的物品，其中，图像中存在背景和至少两个物品；发送模块，用于向客户设备发送目标类别的物品的信息。

26、本技术第五方面中，物品的搭配装置还可以用于执行第三方面以及第三方面的各个可能实现方式中服务器执行的步骤，第五方面各个可能实现方式中步骤的具体实现方式、名词的含义以及所带来的有益效果，均可以参阅第三方面，此处不再赘述。

27、第六方面，本技术实施例提供了一种计算机程序产品，计算机程序产品包括程序，当该程序在计算机上运行时，使得计算机执行上述第二方面或第三方面所述的物品的搭配方法。

28、第七方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当该程序在计算机上运行时使得计算机执行上述第二方面或第三方面的物品的搭配方法。

29、第八方面，本技术实施例提供了一种客户设备，包括处理器和存储器，处理器与存储器耦合，存储器，用于存储程序；处理器，用于执行存储器中的程序，使得客户设备执行上述各个方面中客户设备执行的方法。

30、第九方面，本技术实施例提供了一种服务器，包括处理器和存储器，处理器与存储器耦合，存储器，用于存储程序；处理器，用于执行存储器中的程序，使得服务器执行上述各个方面中服务器执行的方法。

31、第十方面，本技术提供了一种芯片系统，该芯片系统包括处理器，用于支持终端设备或通信设备实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中，芯片系统还包括存储器，存储器，用于保存终端设备或通信设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。