用于改进的产品摄影、交互性和信息分发的先进技术的制作方法

相关申请的交叉引用

本申请要求2018年9月12日提交的美国专利申请no.16/129615的权益，其全部内容以引用方式并入本文。

技术实现要素：

在一些实施方式中，计算设备执行一种方法，其中，该计算设备获取产品的颜色校准目标的数字图像；获取产品的产品信息；至少部分地基于颜色校准目标的数字图像来确定图像调整信息；至少部分地基于图像调整信息来获取产品的数字图像；并将产品的图像数据和产品信息发送到后端产品计算机系统。颜色校准目标可以包括颜色校验表或灰度卡。获取产品的产品信息可以包括扫描图形代码，例如qr码或条形码，或经由短程射频通信从产品中获取信息。该方法可以进一步包括接收来自后端产品计算机系统的响应。该响应可包括另外的产品信息。

在一个实施方式中，颜色校准目标包括具有三个或更多个颜色区域的qr码。确定图像调整信息可以包括将颜色区域中的像素值(其可以在qr码内的预定位置和/或在不同形状的区域中)与期望的像素值进行比较，并基于该比较来调整一个或多个图像捕获参数。获取产品的产品信息可以包括从qr码提取产品信息。

在一个实施方式中，至少部分地基于图像调整信息来获取产品的数字图像包括：至少部分地基于图像调整信息来调整一个或多个图像捕获参数；并使用经调整的图像捕获参数来捕获产品的数字图像。

在一个实施方式中，产品是化妆品，并且其中产品信息包括化妆品的批次表征信息。

另外的实施方式包括说明性计算设备、计算机系统、制造系统和计算机可读介质。

本发明内容被提供用来以简化形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。该发明内容不旨在标识所要求保护的主题的关键特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图说明

本专利或申请文件包括至少一张以彩色执行的附图。根据要求提供必要的费用，专利局将提供带有彩色附图的本专利或专利申请公开的副本。

当结合附图时，通过参考下面的具体实施方式，由于本发明的前述方面和许多附带的优点将变得更加容易理解，故通过以下具体实施方式，本发明的前述方面和许多附带的优点将变得更好地领会。

图1是提供本发明的各种实施方式的示例性功能的高级概述的示意图；

图2是示出根据本发明的各个方面的客户端计算设备的示例实施方式的框图；

图3是根据本发明的各个方面的包括以颜色区域形式的颜色校准目标的qr码的示意图；

图4是示出根据本发明的各个方面的，响应于颜色校准的产品图像而获取定制的产品信息的方法的示例实施方式的流程图；和

图5是示出适合与本发明的实施方式一起使用的示例性计算设备的各方面的框图。

具体实施方式

有效地将个人护理产品(例如唇彩、唇釉或化妆品)与特定消费者相匹配的过程是一个复杂的过程。即使向消费者提供了关于特定颜色产品是否适合其肤色的专业的推荐，该推荐也基于该产品打算使用何种颜色(例如，基于产品的名称或其他标识符)，而不是消费者打算购买的特定产品的实际特性，其包括在制造过程中可能发生的任何变化。化妆品的生产过程对在一个批次与另一个批次之间的原材料和颜料分散的变化非常敏感，这导致最终产品的颜色、纹理和其他性能发生不可预测的变化。

尽管在某些情况下消费者能够在购买前校验实际产品，但是消费者对产品的看法将高度依赖于照明和其他环境条件。此外，产品的外观校验不足以检测产品的实际颜色与期望颜色相比的任何变化。虚拟“试用”应用程序会发生其他问题，这些应用程序试图为消费者提供尝试使用不同深浅或纹理的体验。这样的应用程序可以允许消费者将产品(例如唇釉)虚拟地涂抹到照片上，但是这些应用程序可能是有问题的。作为一个示例，这种应用程序再次基于产品打算采用何种颜色，而不是消费者将实际使用的特定产品的颜色，并且在制造过程期间可能已经发生了相应的变化。

图1是示出根据本发明的各个方面的系统的示例实施方式的框图，该示例实施方式帮助解决这些问题，同时还提供下面更详细描述的技术益处。如图所示，系统100包括允许最终用户响应于颜色校准的产品图像来获取定制的产品信息的部件。在一个实施方式中，系统100包括用于利用可以被消费者解码和使用的信息来对个人护理产品(例如，化妆品，指甲护理产品等)进行编码的系统。例如，消费者可以使用系统100来获取针对个人护理产品的定制产品信息，其可以在各种颜色、纹理等上是可用的。此类产品的非限制性示例包括眼线膏、唇彩、唇釉、彩妆和指甲油。这样的产品可能在颜色、纹理或其他特性方面具有期望的变化，以及在制造期间或制造后发生的意外变化。所描述的实施方式允许最终用户获取产品标识和批次信息(例如颜色、纹理、配方、货源信息等)以及实际产品的准确图像，以帮助使消费者与适合该消费者的产品相匹配，从而增强了消费者的体验。

系统100可以适合于实施以下动作，例如获取产品的产品信息(例如，产品标识符、批次信息等)；至少部分地基于产品的颜色校准目标的数字图像来确定图像调整信息；至少部分地基于图像调整信息来获取产品的数字图像；接收产品的图像数据和在后端产品计算机系统处的产品信息；并提供来自后端产品计算机系统的响应(例如，另外的产品信息、产品推荐等)。尽管示出和描述了与个人护理产品有关的一些方面以简洁地描述本发明的一个实施方式，但是在一些实施方式中，系统100可以处理与个人护理产品不同的产品。

如图所示，系统100包括后端产品计算机系统102，客户端计算设备104(例如，智能电话，平板计算机等)以及制造和标记系统110。这些部件中的每一个可以经由网络90彼此通信，其可以包括任何适当的通信技术，该通信技术包括但不限于有线技术，例如，dsl、以太网、光纤、usb和火线；无线技术，例如wifi、wimax、3g、4g、lte和蓝牙；以及因特网。

在一些实施方式中，用户可以使用客户端计算设备104来与系统100的其他部件进行交互。典型地，客户端计算设备104是移动计算设备，例如智能电话或平板计算设备。然而，可以使用能够经由网络90通信并呈现用户界面的任何其他合适类型的计算设备，包括但不限于台式计算设备、笔记本计算设备和智能手表。

在一些实施方式中，后端产品计算机系统102被配置为从制造和标记系统110接收信息，并使用所接收的信息来表征所制造的产品的特定批次。例如，可以在混合后在工厂罐中校验和/或自动分析批次的颜色和纹理特征，或者可以在混合之前校验和/或自动分析原材料。在一些实施方式中，后端产品计算机系统102将指令发送到制造和标记系统110，以使所选择的产品与产品信息(例如，产品标识符、批次信息(例如颜色信息、纹理信息、原材料组分/配方信息等)、原材料货源和可追溯性信息，可持续性和环境信息等)一起被编码(例如，使用图形代码，例如qr码或条形码)。此信息随后可以由消费者或其他实体(例如研究人员、工程师或质量控制技术人员)进行解码，以获取有关制成最终产品的批次的信息。后端产品计算机系统102被示出为与制造和标记系统110直接通信，这可以使用任何适当的有线或无线技术发生，然而在一些实施方式中，这种通信可以经由网络90发生。

如图所示，后端产品计算机系统102包括推荐引擎112、产品信息编码引擎116、产品数据存储器120和批处理数据存储器118。在一些实施方式中，推荐引擎112接收来自产品数据存储器120的产品信息以及来自客户端计算设备104的信息，并使用该信息来生成产品推荐。例如，客户端计算设备104可以提供从产品130(例如，化妆品产品，例如，唇釉、唇彩、眼影、粉底等)获取的产品信息和产品图像数据。作为响应，推荐引擎112可以使用该信息来开发或获取另外的产品信息或推荐(例如，其他产品、相似产品的其他深浅或样式等)以提供给客户端计算设备。在一个实施方式中，客户端计算设备104通过对产品上或产品中编码的信息进行解码来获取产品信息(例如，以图形代码132，例如条形码或qr码；或以近场通信(nfc)或射频识别(rfid)芯片)，并通过捕获产品的颜色校准图像来获取图像数据。下面进一步详细描述客户端计算设备104可以用来获取这种信息并将其提供给后端产品计算机系统102的技术。

在一些实施方式中，产品信息编码引擎116从产品数据存储器120和批处理数据存储器118接收产品信息，并使用该信息向制造和标记系统110提供编码指令。例如，在制造过程的第一阶段期间，制造和标记系统110可以使用成分的特定混合物来制备一批产品。该混合物的组分可以被记录和量化，并且该信息可以被存储并与批次数据存储器118中的特定批次的标识符相关联。在第二阶段，产品信息编码引擎116可以将命令发送到制造和标记系统110，其使系统110对产品上的此类信息进行编码(例如，以条形码或qr码)。

尽管为了便于说明将系统110示出为组合的制造和标记系统，但是应当理解，可以在单独的系统或子系统中提供制造、标记、包装或其他功能。另外，尽管本文中使用术语“标记”来描述说明性过程，其中信息被编码在可以贴在产品130或产品包装上的标签上，但是应当理解，不需要实际标签而是可以用产品130上的直接印刷或蚀刻，或产品或包装中或者产品或包装上的在电子产品上的电子部件(例如nfc或rfid芯片)上信息的数字编码来代替。

图2是示出根据本发明的各个方面的客户端计算设备104的示例实施方式的框图。在图2所示的示例中，客户端计算设备104包括照相机250和客户端应用程序260。客户端应用程序260包括用户界面276，该用户界面276可以包括交互功能，例如指南、教程、虚拟“试用”功能或产品开发技术。在一些实施方式中，该技术可以允许消费者尝试不同的外观，执行颜色匹配，将产品与其他产品进行比较，测试特性的变化(例如覆盖率、颜色、光洁度等)。在一个实施方式中，该产品的高度精确的成像和分析允许改进的产品推荐(例如，使客户的唇釉与推荐的眼影、腮红等匹配)，停产产品的颜色匹配，产品变化(例如，找到具有不同光洁度、覆盖率的精确匹配颜色)，等等。在一个实施方式中，在用户的计算设备(例如，智能电话，平板计算机等)上提供用户界面和相关技术。替代地，可以在某些其他计算设备(例如在销售点具有更大屏幕的设备)上提供所描述的功能，例如虚拟试用、推荐等。

在一个实施方式中，用户使用照相机250在产品130上捕获图形代码132的图像。照相机将图像数据提供给客户端应用程序260，客户端应用程序260执行图像预处理270以确定应如何处理图像数据。在一个实施方式中，确定图像数据以包括产品信息和颜色校准信息。在一个实施方式中，该信息一起被编码为qr码。替代地，可以单独地或以某种其他介质来提供该信息。

图3是根据本发明的各个方面的包括颜色校准目标的qr码132的示意图。在该示例中，qr码的颜色校准目标特征在qr码内的预定位置中包括多个颜色区域(在图3中以灰度表示)。在此示例中，qr码中的颜色与颜色校验表中出现的颜色匹配，用于摄影中的颜色校准。然而，应当理解，取决于例如期望的精度水平、产品的颜色等因素，也可以使用更少或另外的颜色。在一个实施方式中，qr码包括三种(例如，白色、黑色、灰色)或更多种颜色。因为每种颜色的位置是已知的，所以客户端应用程序260可以分析那些位置处的图像数据，以确定照相机250是否正在准确地捕获那些颜色，或者是否需要一些调整。

除预定位置之外或作为预定位置的替代，这些颜色区域可以由图像调整确定引擎274可以识别为与特定颜色或灰度相对应的形状来区分。在该示例中，蓝色区域的形状可以不同于黄色和红色区域的形状。还可以使用颜色区域相对于彼此的许多其他尺寸、形状、位置和布置。

在一个实施方式中，颜色区域可以用于向图像调整确定引擎274提供颜色校准信息的目的，同时也可以被理解为出于由代码阅读器272提取文本信息目的可以被忽略的点缀(例如，使用适当的纠错或过滤机制)。以这种方式，可以在qr码132的边界内添加颜色区域以提供颜色校准功能，而不会干扰qr码132对产品信息进行编码的能力。由代码提供的文本信息的量可以基于例如qr码的尺寸/分辨率、每个字符的位数、纠错级别等而变化。

替代地，可以以一些其他方式提供颜色校准信息。例如，nfc或rfid芯片，黑白条形码或黑白qr码可以用来对产品信息进行编码，并可以包括单独的颜色校准目标(例如，粘贴在产品或包装上的灰度卡或颜色校验表)可提供颜色校准信息。作为示例，可以将单独的颜色校准目标定位在图形代码附近(例如，在图形代码的上方、下方或左侧或右侧)，使得单一的图像捕获操作可以用于同时捕获颜色校准目标和图形代码的图像。

再次参考图2，客户端应用程序260可以使用图像预处理在包括图形代码132时识别图像数据。然后将图像数据提供给代码读取器272，代码读取器272从图形代码132中提取信息。在图2所示的示例中，提取的信息包括产品信息。提取的产品信息可以包括产品id，颜色，效果/光泽(例如，无光泽的、柔软的、缎面的、有光泽的、金属的)，光洁度(例如，持久、粉状、天鹅绒般)，覆盖率(例如，浅、中等、完全)，颜色强度，纹理(例如，光泽、乳脂状、液体、蜡、粉末、清漆)，珍珠大小(例如，小、中、大)，珍珠密度(例如，高、中、低)，珍珠色(例如，银色、金色、玫瑰色)，金属效果(例如，银色、蓝色、黑色、金色)，反射特性，金属颗粒，成分，批次信息等。在颜色或代码具有嵌入式颜色校准信息的情况下(例如图3所示的示例)，提取的信息还可以包括颜色校准信息。在这种情况下，代码读取器272可以将颜色校准信息提供给图像调整确定引擎274，图像调整确定引擎274然后可以确定照相机250是否正在准确捕获这些颜色，或者是否需要对照相机设置252中的图像捕获参数(例如，白平衡、曝光设置、色温等)或对环境条件(例如，照明、被拍摄物体的位置等)的调整。如果需要对图像捕获参数进行调整，则图像调整确定引擎274可以自动对照相机设置252进行一项或多项相应调整，或者提示用户经由用户界面276做出那些调整。如果需要对环境条件进行调整，则图像调整确定引擎274可以使用户界面276提示用户做出那些调整。

一旦做出确定的调整，用户就可以捕获产品本身的图像(例如唇釉，唇彩等)。该过程可以重复多次直至与实际的或期望的相同，以获得期望的精度水平。

然后可以将产品图像数据与产品信息(以及潜在的其他信息，例如用户id、设备id等)一起发送到通信模块278，以进行后续格式化并传输到后端产品计算机系统102。(为了便于说明，在图2中未示出客户端计算设备104的其他特征。下面参考图5提供对说明性计算设备的描述。)

在一个实施方式中，用户界面276提供虚拟的“试用”功能，该功能允许消费者虚拟地将该产品的实际特性应用于例如消费者的面部图像。该功能还可以提供虚拟地试用产品的变化(例如，不同的光洁度、纹理、色调等)的能力，或者提供虚拟试用图像的渲染中的变化。传输到后端计算机系统102的产品信息和图像数据可用于执行匿名分析，以例如监控消费者满意度或制造后随时间变化的最终产品的变化。发送到后端产品计算机系统102的产品信息可以包括提取的产品信息，其可以是单独的，或者可以与其他信息(例如可以经由用户界面276获取的特定产品的用户偏好或选定的变化)组合使用。分析(例如，与机器学习过程组合)可以帮助改善未来的采购和制造过程，并为客户提供自定义色调、纹理或其他特征方面的理想产品。

在一个说明性场景中，客户端计算设备104在捕获图像之前与后端产品计算机系统102建立通信。例如，响应于启动客户端应用程序260，或者响应于经由网络浏览器导航到与后端产品计算机系统102相关联的url，客户端计算设备104可以与后端产品计算机系统102建立通信。替代地，客户端计算设备104可以在捕获代码的图像之后建立与后端产品计算机系统102的通信。例如，代码可以包括与后端产品计算机系统102相关联的编码url，或用于(例如，从网站或应用市场)下载允许客户端计算设备104与后端产品计算机系统102建立通信的应用程序的编码指令。在这种场景下，代码读取器可以使移动计算设备导航到url或下载客户端应用程序260。

在系统100的部件内，或通过系统100的部件组合工作，实现了许多技术益处。例如，调整图像捕获参数和/或环境条件以捕获实际产品的准确图像的能力克服了以前的图像或视觉校验不准确的局限性，或者关于期望特性(例如颜色，纹理等)的不准确的假设。作为又一个示例，系统100允许该过程的某些方面由客户端计算设备104独立地进行，例如调整图像捕获参数以考虑产品图像将被捕获的位置中的照明和其他环境条件。通过将其他处理负担从客户端计算设备104移动到后端产品计算机系统102(其可以是较高供电且可靠的计算系统)，可以实现另外的益处，从而提高性能并保持电池寿命，用于由客户端计算设备104提供的功能。

通常，本文所用的词汇“引擎”是指以硬件或软件指令体现的逻辑，其可以用例如c、c++、cobol、java^tm、php、perl、html、css、javascript、vbscript、aspx、microsoft.net^tm等程控语言编写。引擎可以编译为可执行程序或以解释性程控语言编写。可以从其他引擎或自身调用软件引擎。通常，本文描述的引擎是指可以与其他引擎合并或可以划分为子引擎的逻辑模块。引擎可以存储在任何类型的计算机可读介质或计算机存储设备中，并且可以存储在一个或多个通用计算机上并由一个或多个通用计算机执行，从而创建被配置为提供引擎或其功能的专用计算机。

如本领域普通技术人员所理解的，本文所述的“数据存储器”可以是被配置为存储数据以供计算设备访问的任何合适的设备。数据存储器的一个示例是在一个或多个计算设备上执行并可通过高速网络访问的高度可靠的高速关系数据库管理系统(dbms)。数据存储器的另一个示例是键值存储器。然而，可以使用能够响应于查询而快速且可靠地提供所存储的数据的任何其他合适的存储技术和/或设备，并且该计算设备可以在本地而不是通过网络被访问，或者可以被提供为基于云的服务。数据存储还可以包括如下文进一步所述的以组织方式存储在计算机可读存储介质上的数据。本领域普通技术人员将认识到，在不脱离本发明的范围的情况下，本文描述的单一的数据存储器可以被组合成单一的数据存储器，和/或本文描述的单一数据存储器可以被分隔成多个数据存储器。

图4是示出了根据本发明的各个方面的，响应于颜色校准的产品图像而获取定制产品信息的方法的示例实施方式的流程图。尽管方法400的一些实施方式可以与任何类型的产品一起使用，但是方法400的一些实施方式特别适用于本文所述的化妆品。

方法400从开始框继续进行到框402，在框402处，客户端计算设备(例如，包括照相机的移动计算设备)获取产品的颜色校准目标的数字图像。该方法继续进行到框404，在框404处，客户端计算设备获取该产品的产品信息(例如，产品id、批次表征信息等)。在一些实施方式中，颜色校准目标可以与图形代码(例如本文所述的具有三种或更多种颜色的qr码)集成，使得在捕获qr码的图像和从qr码中提取信息的过程中执行如上所述的框402和404的步骤。在其他实施方式中，获取产品的产品信息包括经由一些其他图形代码或经由短程射频通信(例如，nfc或rfid通信)从产品获取信息。

该方法继续进行到框406，在框406处，客户端计算设备至少部分地基于颜色校准目标的数字图像来确定图像调整信息。例如，客户端计算设备可以将qr码或颜色校验表的颜色区域中预定位置处的捕获的像素值与期望像素值进行比较。客户端计算设备可以基于颜色校准目标的图像(例如，响应于上述比较)来自动调整照相机设置，例如白平衡、曝光设置、色温等，而无需进一步的用户干预。此方法的技术优势的一个示例是，针对在特定环境条件下拍摄特定产品的特定目的调整了照相机设置，从而促进了对实际产品颜色的更准确捕获。

该方法继续进行到框408，在框408处，客户端计算设备至少部分地基于图像调整信息来获取产品的数字图像(例如，唇釉，唇彩等)。该步骤可以包括例如使用如上所述的经调整的图像捕获参数来捕获产品的数字图像。该方法继续进行到框410，在框410处，客户端计算设备将产品的图像数据和产品信息传输到后端产品计算机系统。该方法继续进行到框412，在框412处，客户端计算设备接收来自后端产品计算机系统的响应。

然后，方法500继续进行到结束框并终止。

图5是示出适合与本发明的实施方式一起使用的示例性计算设备500的各方面的框图。尽管参考实施为网络上的设备的计算设备描述了图5，但是以下描述可适用于服务器、个人计算机、移动电话、智能电话、平板计算机、嵌入式计算设备以及可用于实施本发明的实施方式的部分的其他设备。而且，本领域普通技术人员和其他人员将认识到，计算设备500可以是任何数量的当前可用或尚未开发的设备中的任何一个。

在其最基本的配置中，计算设备500包括通过通信总线506连接的至少一个处理器502和系统内存504。根据设备的确切配置和类型，系统内存504可以是易失性或非易失性内存，例如只读内存(“rom”)、随机存取内存(“ram”)、eeprom、闪存或类似的存储技术。本领域普通技术人员和其他技术人员将认识到，系统内存504典型地存储处理器502可立即访问和/或当前正在对其进行操作的数据和/或程序模块。就这一点而言，通过支持指令的执行，处理器502可以用作计算设备500的计算中心。

如图5进一步所示，计算设备500可以包括网络接口510，该网络接口510包括用于在网络上与其他设备进行通信的一个或多个部件。本发明的实施方式可以访问利用网络接口510的基本服务以使用通用网络协议来进行通信。网络接口510还可以包括无线网络接口，该无线网络接口被配置为经由一个或多个无线通信协议(例如wifi、2g、3g、lte、wimax、蓝牙等)进行通信。

在图5所示的示例性实施方式中，计算设备500还包括存储介质508。但是，可以使用不包括用于将数据持久存储到本地存储介质的工具的计算设备来访问服务。因此，图5所示的存储介质508用虚线表示，以指示该存储介质508是可选的。无论如何，存储介质508可以是易失性的或非易失性的，可移动的或不可移动的，其使用能够存储信息的任何技术(例如但不限于硬盘驱动器、固态驱动器、cdrom、dvd或其他盘式存储器、盒式磁带、磁带、磁盘存储器等)来实施。

如本文所使用的，术语“计算机可读介质”包括以能够存储信息(例如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术实施的易失性和非易失性以及可移除和不可移除的介质。在这方面，图5中描绘的系统内存504和存储介质508仅是计算机可读介质的示例。在一个实施方式中，计算机可读介质可以用于存储数据以供程序使用。

计算设备(包括处理器502、系统内存504、通信总线506、存储介质508和网络接口510)的适当实施是已知的并且可商购。为了便于说明并且因为对于理解所要求保护的主题而言并不重要，所以图5未示出许多计算设备的一些典型部件。就这一点而言，计算设备500可以包括输入设备，例如键盘、小键盘、鼠标、麦克风、触摸输入设备、触摸屏、平板等。这样的输入设备可以通过有线或无线连接(包括rf、红外、串行、并行、蓝牙、usb或使用无线或物理连接的其他合适的连接协议)联接到计算设备500。类似地，计算设备500还可以包括输出设备，例如显示器、扬声器、打印机等。由于这些设备在本领域中是众所周知的，因此在此不再示出或描述它们。

尽管已经示出和描述了说明性实施方式，但是应当理解，可以在不脱离本发明的精神和范围的情况下做出各种变化。