不具有用户的先前信息的在线用户验证的制作方法

相关申请的交叉引用

本申请要求于2017年6月29日提交的标题为“不具有用户的先前信息的在线用户验证”的美国临时专利申请序列号no.62/526,979(目前正在申请中)的优先权，通过引用将其全部公开内容并入本文。

本公开通常涉及在线计算机系统，并且更具体地，涉及在不具有任何关于用户的先前知识的情况下验证用户。

背景技术：

使用在线计算机系统向用户提供信息、商品和服务的情况持续增长。通常需要验证在线系统的用户是该用户声称的用户。例如，在销售商品或服务的在线商店的环境中，通常需要验证购买商品的人是他或她声称的人。传统的系统通常需要在允许交易发生之前提供一些关于用户的知识。例如，可能要求用户为服务注册(例如，登记、创建账户等)，然后服务提供者必须存储有关用户的信息，以便在提供信息、商品或服务之前验证用户。

技术实现要素：

本发明的目的是在不具有关于用户的先前信息的情况下基于面部图像数据来验证用户。接收用户的用户名和面部图像。可以向一个或多个搜索引擎发出包括用户名的搜索查询。作为搜索查询结果返回的图像可以被过滤以确定候选图像集。候选图像集中的图像可以与用户的面部图像进行比较，以确定匹配的概率。如果存在匹配，则可以认为用户已验证。

附图说明

为了更好地理解本发明的主题，可以参考附图，其中：

图1是根据实施例的包括在不具有关于用户的先前知识的情况下验证用户的服务器的系统环境的框图。

图2是描述在不具有关于用户的先前知识的情况下验证用户的方法的流程图。

图3是可以在其上执行本发明主题的实施例的计算机系统的示例实施例的框图。

具体实施方式

在下面对示例实施例的详细描述中，参考了构成本发明一部分的附图，并且在附图中通过说明示出了可实施本发明主题的特定示例实施例。对这些实施例进行了足够详细的描述，以使本领域技术人员能够实施本发明主题，并且应当理解的是，可以利用其他实施例，并且可以在不脱离本发明主题的范围的情况下进行逻辑、机械、电气和其他改变。

下面的详细描述的一些部分是根据计算机存储器中数据位上的操作的算法和符号表示来呈现的。这些算法描述和表示是数据处理技术领域的技术人员用来最有效地将其工作的实质传达给本领域技术人员的方法。本文中的算法通常被认为是导致期望结果的自洽步骤序列。这些步骤是需要对物理量进行物理操作的步骤。通常(并非必然)，这些量以能够被存储、传输、组合、比较和以其他方式操纵的电或磁信号的形式出现。事实证明(主要是由于常用的原因)，有时将这些信号称为位、值、元素、符号、字符、项、数字等是方便的。然而，应当记住的是，所有这些和类似的术语都与适当的物理量相关联，并且只是适用于这些量的方便标签。除非在下面的讨论中另有明确说明，否则诸如“处理”或“运算”或“计算”或“确定”或“显示”等的术语是指计算机系统或类似计算设备的操作和处理，其将计算机系统的寄存器和存储器中表示为物理(例如，电)量的数据操作和转换为计算机系统存储器和寄存器或其它类似信息存储器中同样表示为物理量的其它数据。

对各种实施例的描述仅被解释为示例，并且不描述本发明主题的每个可能实例。可以使用现有或未来技术的组合来实施许多替代方案，这些技术仍属于权利要求的范围。因此，以下详细描述不是限制意义上的，并且本发明主题的范围仅由所附权利要求限定。

图1是根据实施例的包括在不具有关于用户的先前知识的情况下验证用户的服务器的系统环境100的框图。在一些方面，系统环境100包括服务器102、客户端计算设备106、一个或多个搜索引擎108a-108c(通常称为搜索引擎108)、以及任选的社交媒体站点110，所有这些都耦合到网络112。网络112可以是一个或多个有线和/或无线网络的任意组合。在一些实施例中，网络112可以包括因特网。

服务器102向网络112上的客户端提供一个或多个服务。服务器102可以包括可以销售商品或服务的购物站点或拍卖站点、提供信息服务的站点、或向网络112上的客户提供服务的任何其他站点。服务器102上的一些或全部服务可以在完成商品或服务的购买之前、或者在允许用户访问服务器102提供的信息或其他服务之前验证用户。验证组件104可以如本文所述验证用户。验证组件104可以被合并到向客户机提供服务的服务程序中，或者它可以是与服务程序通信的独立程序。

客户端计算设备106可以是具有至少一个处理器和存储器并且可以耦合到相机114的任何类型的设备。例如，客户端计算设备106可以是智能电话、笔记本电脑、平板计算机、台式计算机、服务器计算机、机顶盒、游戏控制台、物联网(iot)设备等。客户端计算设备106可以包括在线客户端应用116。在线客户端应用116可以是使用服务器102提供的服务的任何类型的应用。例如，在线客户端应用116可以是web浏览器或通过网络112访问服务器的智能电话上的应用。实施例不限于任何特定类型的在线客户端应用。相机114可以将图像数据捕获为单个图像和/或视频流。尽管在图1示为与客户端计算设备106集成，相机114可以在客户端计算设备106的外部，并且可以无线地或通过有线连接与客户端计算设备106通信。

搜索引擎108a-c可以是因特网或其他网络上可用的任何类型的搜索引擎。这些搜索引擎的示例包括谷歌(google)、必应(bing)、雅虎搜索(yahoo)、yandex、百度等。这些实施例不限于任何特定的搜索引擎。尽管图1中示出了三个搜索引擎108a-c，但是知晓本发明益处的本领域技术人员应当理解，在各种实施例中可以使用更多或更少的搜索引擎。

社交媒体站点110提供社交媒体服务。社交媒体站点可以允许用户创建并加入用户组，并且在用户之间共享和消费信息。社交媒体站点的示例包括脸书(facebook)、领英(linkedln)、googleplus、(推特)twitter等。这些实施例不限于任何特定的社交媒体站点。

在验证操作期间，用户向验证组件104提供名称以及由相机114拍摄的照片。该名称可用于检索用户的公开可用在线图像。验证组件可以确定检索到的图像和用户提供的照片之间的相似性。照片与检索到的一个或多个图像的这种相似性可用于确定用户声称是谁的可能性。下面参考图2提供关于系统环境100的操作的更多细节。

图2是描述在不具有关于用户的先前知识的情况下验证用户的方法的流程图。在一些方面，该方法可以构成由计算机可执行指令构成的计算机程序。通过参考流程图来描述该方法使本领域技术人员能够开发包括这种指令的这种程序，以在适当的处理器(从计算机可读介质执行指令的计算机的一个或多个处理器)上执行该方法。图2所示的方法包括系统环境100可以采取的动作，系统环境100包括执行本发明的示例实施例的服务器102的验证组件104。在一些方面，服务器102不具有也不使用关于用户的任何先前知识或信息。例如，用户不需要向服务器102注册、在服务器102上具有账户、或以其他方式在服务器102上存储关于用户的信息。

在框202处，发起对用户的验证。可以响应于用户从服务器102上的购物站点进行的购买、或者对来自站点或其他在线服务的信息或其他服务的请求发起验证。

在框204处，验证组件接收用户的用户名。另外，验证组件接收来自由用户的计算设备102的相机114拍摄的用户的照片的面部图像数据。在一些实施例中，服务器可以提示用户来拍摄照片。一些实施例可以验证面部图像数据包括面部的正面图像，并且图像存储和质量满足预定的或可配置的阈值。可以在viola，p.和jones，m.j.2004“鲁棒的实时人脸检测”《国际计算机视觉期刊》，57(2)(特此通过引用并入本文)中找到用于确定图像是否包含面部的正面图像的示例算法。

在框206处，验证组件向一个或多个搜索引擎发出包括在框204处提供的用户名的搜索请求。在一些实施例中，搜索请求提供搜索参数数据以将搜索结果限制为图像。此外，在一些实施例中，搜索请求提供搜索参数数据，以将搜索结果限制为与在框204处提供的用户名完全匹配。在一些实施例中，可以向一个或多个社交媒体站点发出搜索请求，而不是(或除了)向搜索引擎发出搜索请求。在一些实施例中，可以将搜索请求提供给单个搜索引擎。在替代实施例中，可以将搜索请求提供给多个搜索引擎，并且可以将来自多个搜索引擎的搜索结果合并并且删除重复。

在框208处，可以过滤搜索结果以确定候选图像集。在一些实施例中，可以过滤搜索结果以从搜索结果中移除不包含正面的图像。在进一步的实施例中，可以过滤搜索结果以移除恰好不包含一个正面的图像。人脸识别技术可用于确定图像是否要被过滤。在viola，p.和jones，m.j.的2004“鲁棒的实时人脸检测”(如上所述)、以及在rowley，h.a.，baluja，s.和kanade，t.的1998“基于神经网络的人脸检测”关于模式分析和机器智能的ieee学报(特此通过引用并入本文)中描述了这类技术。

可以过滤搜索结果以产生预定的或可配置数量的候选图像。例如，在一些实施例中，对搜索结果进行过滤以产生恰好具有一个正面的五个候选图像。如果少于五个图像，则可以将所有检测到人脸的图像都包含在候选图像中。过滤也可以基于图像的排序。例如，搜索引擎通常对搜索结果进行排序，并且按排序顺序呈现搜索结果。可以保留搜索引擎提供的图像的顺序，并且用作过滤处理的一部分。

在框210处，将在框204处接收到的面部图像数据与通过过滤搜索结果而产生的候选图像集中的面部图像进行比较以确定匹配。比较可以使用称为面部验证的技术，该技术确定一个图像中的面部与第二个图像中的面部属于同一个人的概率。在以下文献中描述了这些技术的算法，特此将其每一个都通过引用并入本文：taigman,y.,yang,m.,ranzato,m.a.和wolf,l.,2014deepface：“在人脸验证中缩小与人类水平性能的差距”，《计算机视觉与模式识别》ieee会议论文集；sun,y.,chen,y.,wang,x.和tang,x.,2014“联合身份验证的深度学习人脸表示”，《神经信息处理系统中的进展》；kumar,n.,berg,a.c.,belhumeur,p.n.和nayar,s.k.,2009年9月，“用于人脸验证的属性和明喻分类器”，《计算机视觉》，2009年ieee第12届国际会议。可以确定由用户拍摄的照片中的面部图像数据(在框204处接收)与在框208处确定为最相关的候选图像中的每一个之间的匹配分数。可以将匹配分数插入到匹配分数x的有序列表中，并且x可能是空的(即，在搜索引擎没有提供包含正面照片的图像作为结果的情况下)。例如，在候选集包括至多五个图像的实施例中，列表x将包括至多五个分数，每个候选图像一个分数。对于非空的情况，x＝{xi，…，xj}，其中1≤i≤j≤5。在这些实施例中，候选图像的分数反映了候选集中第i个检索到的图像中的面部和用户提供的照片中的面部是相同面部的概率。在一些实施例中，分数为0(零)意味着完全不相似，而分数为1(一)意味着相同的面部在两个图像中。0到1之间的分数表示图像之间的相似度，或者表示相同的面部在两个图像中的概率。

在一些实施例中，可以将候选图像集中的每一个的匹配分数组合成单个最终匹配分数。可以使用排名评估指标来确定最终匹配分数。例如，在一些实施例中，可以如jarvelin,k.和kekalainen,j.,2000年7月，“检索高度相关文档的ir评估方法”,第23届国际acmsigir信息检索研究与发展年会论文集(第41-48页，acm)(特此通过引用将其并入本文中)中所描述的那样确定标准化折扣累积增益(ndcg)。这种方法的特点是它考虑了匹配分数的顺序和分数，并且与返回的结果数无关。在一些实施例中，可以根据以下公式确定最终匹配分数：

其中，idgcp是从最优排名获得的理论最大折扣累计增益分数，即当所有匹配分数将是最优的(即等于1)时得到的分数。该最终分数也是介于0和1之间的概率，其中1表示在框204处获得的用户的照片中的面部与候选图像集中的面部匹配的总置信度。

在判定框212处，验证组件确定在框204处获得的用户的照片中的面部是否与候选图像集中的面部匹配。例如，验证组件可以确定最终匹配分数是否高于阈值。匹配分数超过0.5指示关于用户身份的置信度。阈值的选择通常基于如果确定虚假匹配时身份欺诈的影响与如果选择过度限制阈值时错过机会的成本之间的权衡。

如上所述，一些实施例基于每个图像的分数来确定最终分数。然而，在替代实施例中，如果候选图像集中的单个图像具有足够高的匹配分数，则可以确定匹配。

如果最终匹配分数超过阈值，则该方法前进到框214以指示用户被验证。也就是说，用户就是他或她声称的人。如果最终匹配分数不超过阈值，则该方法前进到框216以指示无法验证用户。

替代实施例中的变体

以上提供了一些实施例的方面。现在将呈现替代实施例的其它方面。

用户可能有常见的名称(例如，johnsmith)，或者与名人或其他知名人士(例如，michaeljordan)共享名称。在这种情况下，可以向搜索查询添加其他参数，以缩小返回的结果。例如，搜索查询可以包括可用的人口统计数据。因此，搜索查询可以包括用户的位置数据。此外，搜索查询可以包括性别、年龄或其它数据(如果可用或由用户提供)。

此外，用户可以尝试通过拍摄其他人的照片而不是拍摄他们自己的照片来模仿另一个人。在一些实施例中，验证组件可以利用技术来检测照片是由用户拍摄的，并且不是从照片重建的。在标题为“用户身份验证的图像分析”的美国专利9,202,105、以及wu,h.y.,rubinstein,m.,shih，e.，guttag，j.，durand，f.和freeman,w.,2012“用于揭示世界中微小变化的欧拉视频放大”中描述了这种技术。如果系统检测到提供的图像数据不是实际用户的图像数据(即，用户对另一个人的照片拍摄了照片)，则验证操作可以指示用户未被验证。

从上面可以看出，本文描述的系统和方法可以提供更有效的方法来验证用户是他或她所声称的用户。本文描述的一些实施例的系统和方法允许由服务器计算机(诸如web商店)在不需要服务器计算机维护存储和其他基础设施来存储注册数据和图像数据的情况下来验证用户。对于用户来说，本文描述的一些实施例的系统和方法也可以更有效，因为用户只需要提供名称和照片以便被验证，用户不需要创建账户或向服务器计算机注册。此外，实施例可以通过提供即使在用户以前没有向一方提供验证相关数据的情况下也验证用户的方法来改进验证技术。用户无需通过费力或不方便的登记处理来进行验证。

图3是可以在其上执行本发明主题的实施例的计算机系统300的示例实施例的框图。图3的描述旨在提供可与其结合实施本发明的适当计算机硬件和适当计算环境的简要的、通用的描述。在一些实施例中，在由计算机执行的计算机可执行指令(诸如程序模块)的一般上下文中描述本发明主题。一般来说，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。

此外，本领域技术人员应当理解的是，本发明可与其他计算机系统配置一起实施，包括手持设备、多处理器系统、基于微处理器或可编程消费电子产品、智能电话、网络pc、小型计算机、大型机等。本发明的实施例也可以在通过通信网络链接的i/o远程处理设备执行任务的分布式计算机环境中实施。在分布式计算环境中，程序模块可以位于本地和远程存储器存储设备中。

参考图3，将示例实施例扩展到计算机系统300的示例形式的机器中，在计算机系统300中，可以执行用于使机器执行本文讨论的任何一种或多种方法的指令。在替代示例实施例中，机器作为独立设备运行，或者可以连接(例如，联网)到其他机器。在网络部署中，机器可以在服务器-客户机网络环境中以服务器或客户机的身份运行，或者在对等(或分布式)网络环境中以对等机的身份运行。此外，虽然仅示出单个机器，但术语“机器”还应被视为包括单独或联合执行指令集(或多个指令集)以执行本文所讨论的任何一种或多种方法的任何机器的集合。

示例计算机系统300可以包括处理器302(例如，中央处理单元(cpu)、图形处理单元(gpu)或两者)、主存储器304和静态存储器306，它们通过总线308彼此通信。计算机系统300还可以包括视频显示单元310(例如，液晶显示器(lcd)或阴极射线管(crt))。在示例实施例中，计算机系统300还包括字母数字输入设备312(例如，键盘)、用户界面(ui)导航设备或光标控制设备314(例如，鼠标)、磁盘驱动单元316、信号生成设备318(例如，扬声器)和网络接口设备320中的一个或多个。

磁盘驱动单元316包括机器可读介质322，其上存储有实施本文所述的方法或功能的任何一种或多种的、或由本文所述的方法或功能的任何一种或多种使用的一组或多组指令324和数据结构(例如，软件指令)。在计算机系统300执行指令324期间，指令324也可以完全或至少部分地驻留在主存储器304内或处理器302内，主存储器304和处理器302也构成机器可读介质。

虽然机器可读介质322在示例实施例中被示为单个介质，但是术语“机器可读介质”可以包括存储一个或多个指令的单个介质或多个介质(例如，集中式或分布式数据库，或相关联的缓存和服务器)。术语“机器可读介质”还应被视为包括任何有形介质，该有形介质能够存储、编码或携带供机器执行、并且使机器执行本发明实施例的任何一种或多种方法的代码，或者能够存储、编码，或携带由此类指令使用或与此类指令相关联的数据结构。因此，术语“机器可读存储介质”应被视为包括但不限于能够以非暂时方式存储信息的固态存储器、以及光学和磁性介质，即能够存储信息的介质。机器可读介质的具体示例包括非易失性存储器，例如包括半导体存储器设备(例如，可擦除的可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)和闪存设备)；磁盘，诸如内部硬盘和可移动磁盘；磁光盘；以及cd-rom和dvd-rom盘。

还可以使用信号传输介质通过网络接口设备320并利用许多已知传输协议(例如，ftp、http)中的任何一个来在通信网络326上发送或接收指令324。通信网络的示例包括局域网(lan)、广域网(wan)、因特网、移动电话网络、普通电话(pots)网络和无线数据网络(例如，wifi和wimax网络)。术语“机器可读信号介质”应被视为包括能够存储、编码或携带用于机器执行的指令的任何暂时性无形介质，并且包括数字或模拟通信信号或其他无形介质，以促进此类软件的通信。

尽管已经参考具体的示例实施例描述了本发明主题的概述，但是可以在不脱离本发明实施例的更广泛的精神和范围的情况下对这些实施例进行各种修改和改变。如果事实上公开了不止一个发明或发明概念，则仅仅为了方便、并且不意图主动将本申请的范围限制到任何单个发明或发明概念，可以通过术语“发明”在本文中单独或集体地提及本发明主题的这些实施例。

从上述描述显而易见的是，本发明主题的一些方面不受本文所示示例的特定细节的限制，因此可以预期本领域技术人员将进行其他修改和应用、或做出其等效体。因此，意图使权利要求应当涵盖所有不背离本发明主题的精神和范围的修改和应用。因此，本发明的主题显然仅受以下权利要求及其等效体的限制。

提供摘要以符合37c.f.r.§1.72(b)，以允许读者能够快速确定本技术公开的性质和要点。在知晓摘要将不用于限制权利要求的范围的情况下提交摘要。