利用瞳孔跟踪提供广告的设备和方法与流程

本发明涉及一种通过瞳孔跟踪提供广告以针对显示画面中所包含的各种对象当中的用户有意地注视的对象提供促销内容的设备和方法。

背景技术：

近来，已开发出广告解决方案技术以在用户通过嵌入有2D相机或更多的智能TV、包括平板的智能电话、笔记本等观看视频时提供链接至包含在视频中的产品的广告。即，当消费者注视包含在视频中的特定产品并且需要该产品的广告和详细信息的曝露时，提供相关信息。此服务可链接至产品供应商的广告页面、与背景音乐有关的页面、与产品关联的SNS通信渠道等。

上述广告解决方案技术是跟踪人的面部中的瞳孔并且提供产品的详细信息的形式的服务。该广告服务常常通过无意的瞳孔跟踪而生成错误的结果并且还犯了频繁地曝露非期望的信息的错误。即，由于即使在非用户期望的情况下也通过瞳孔跟踪提供产品信息，这可导致曝露不必要的信息的令人不快的结果。

技术实现要素：

技术问题

本发明的一个目的在于在显示器中选择对象时提供关于利用通过瞳孔跟踪创建的瞳孔跟踪点与利用指点工具创建的方向点二者根据用户的意图选择的对象的信息。

本发明的另一目的在于通过经由简单注视和手势向观看视频的用户提供产品的广告和详细信息来使广告效果最大化并且促使购买活动。

技术方案

为了实现上述目的，根据本发明的使用瞳孔跟踪的广告提供设备包括：选择位置指定单元，其被配置为利用通过跟踪用户的瞳孔而创建的瞳孔跟踪点以及与用户的方向对应的方向点二者来指定显示画面内的选择位置；目标确定单元，其被配置为确定所述显示画面内的对象当中的与所述选择位置对应的目标对象；以及广告提供单元，其被配置为根据用户的响应提供与所述目标对象对应的促销内容。

在此设备中，所述选择位置指定单元还可被配置为利用连接瞳孔跟踪点和方向点的直线与显示画面相交的点来指定选择位置。

在此设备中，所述选择位置指定单元还可被配置为根据通过瞳孔跟踪识别的瞳孔的数量，从两个瞳孔之间的中心点或者两个瞳孔中所识别的瞳孔创建瞳孔跟踪点。

在此设备中，所述选择位置指定单元还可被配置为从用户用来指示选择位置的指点工具的尖端创建方向点。

在此设备中，所述选择位置指定单元还可被配置为利用连接瞳孔跟踪点和方向点的直线与显示画面相交达预定时间的点来指定选择位置。

在此设备中，当连接瞳孔跟踪点和方向点的直线偏离显示画面时，所述选择位置指定单元还可被配置为通过显示器来示出所述直线的偏离方向。

在此设备中，所述广告提供单元可包括利用方向点的移动来确定用户的响应的用户响应解释单元。

在此设备中，所述广告提供单元还可包括广告数据库，该广告数据库用于存储与显示画面中的各个对象对应的促销内容。

另外，根据本发明的使用瞳孔跟踪的广告提供方法包括以下步骤：利用通过跟踪用户的瞳孔而创建的瞳孔跟踪点以及与用户的方向对应的方向点二者来指定显示画面内的选择位置；确定所述显示画面内的对象当中的与所述选择位置对应的目标对象；以及根据用户的响应提供与所述目标对象对应的促销内容。

在此方法中，指定选择位置的步骤可包括利用连接瞳孔跟踪点和方向点的直线与显示画面相交的点来指定选择位置。

在此方法中，指定选择位置的步骤可包括根据通过瞳孔跟踪识别的瞳孔的数量，从两个瞳孔之间的中心点或者两个瞳孔中所识别的瞳孔创建瞳孔跟踪点。

在此方法中，指定选择位置的步骤可包括从用户用来指示选择位置的指点工具的尖端创建方向点。

在此方法中，指定选择位置的步骤可包括利用连接瞳孔跟踪点和方向点的直线与显示画面相交达预定时间的点来指定选择位置。

在此方法中，当连接瞳孔跟踪点和方向点的直线偏离显示画面时，指定选择位置的步骤可包括通过显示器来示出直线的偏离方向。

在此方法中，提供促销内容的步骤可包括利用方向点的移动来确定用户的响应的步骤。

在此方法中，提供促销内容的步骤可包括存储与显示画面中的各个对象对应的促销内容的步骤。

有益效果

根据本发明，通过针对显示画面中的对象当中的用户期望的对象提供促销内容，可防止由无差别的瞳孔跟踪导致曝露不必要的信息。

另外，根据本发明，通过经由简单注视和手势向观看视频的用户提供广告和产品的详细信息，可使广告效果最大化并且促使购买活动。

附图说明

图1是示出根据本发明的实施方式的使用瞳孔跟踪的广告提供设备的框图。

图2是示出根据本发明的实施方式的广告提供单元的示图。

图3是示出根据本发明的实施方式的使用瞳孔跟踪的广告提供处理的示图。

图4至图7是示出根据本发明的实施方式的根据瞳孔跟踪利用瞳孔跟踪点和方向点来确定目标对象的方法的示图。

图8是示出根据本发明的实施方式的使用瞳孔跟踪的广告提供方法的流程图。

具体实施方式

以下，将参照附图描述本发明的实施方式。在本公开中，熟知技术或元件可不详细描述或示出，以避免使本发明的主题模糊。另外，贯穿整个附图，相同或相似的标号始终指代对应特征。

以下描述和附图中所使用的术语和词语不限于书面含义，而是仅被发明人用来使得能够清楚和一致地理解本发明。因此，对于本领域技术人员而言应该显而易见的是，本发明的示例性实施方式的以下描述仅是出于例示目的而提供，而非为了限制如所附权利要求书及其等同物限定的本发明。本公开的各种实施方式中所使用的表达“第一”、“第二”等可修饰这些实施方式的各种元件，但是不限制对应元件。上述表达不限制元件的顺序和/或重要性，而是可用于将一个元件与其它元件相区分。

图1是示出根据本发明的实施方式的使用瞳孔跟踪的广告提供设备的框图。

参照图1，根据本发明的实施方式的使用瞳孔跟踪的广告提供设备100可包括选择位置指定单元110、目标对象确定单元120和广告提供单元130。

选择位置指定单元110可利用通过跟踪用户的瞳孔而创建的瞳孔跟踪点以及与用户的方向对应的方向点二者来指定显示画面内的选择位置。例如，瞳孔跟踪点可以是通过瞳孔跟踪识别的用户的两个瞳孔之间的中心点。如果仅通过瞳孔跟踪识别出右瞳孔和左瞳孔中的一个，则所识别的瞳孔可用于创建瞳孔跟踪点。另外，方向点可以是由用户拿着指示显示画面中的对象的指点工具或者用户的手指。

选择位置可利用连接瞳孔跟踪点和方向点的直线与显示画面相交的点来指定。例如，当用户利用指点工具注视显示画面上的特定对象时，瞳孔跟踪点、方向点和显示画面上的对象可全部排列在一条直线上。因此，当瞳孔跟踪点与方向点之间的连线延伸，然后与显示画面在特定点处相交时，该点可被指定为选择位置。

根据通过瞳孔跟踪识别的瞳孔的数量，瞳孔跟踪点可利用两个瞳孔之间的中心点或者两个瞳孔当中的任一个识别的瞳孔来创建。例如，如果当利用嵌入显示器中的相机执行瞳孔跟踪时仅识别出右瞳孔和左瞳孔中的一个，则所识别的瞳孔可用作瞳孔跟踪点，然后被连接至方向点。

方向点可利用用户用来指示选择位置的指点工具的尖端来创建。例如，用户可使用诸如他/她的手指或笔的指点工具来指示显示画面上的对象。用于指示的这种手指或笔的尖端可用于创建方向点。

选择位置可仅利用连接瞳孔跟踪点和方向点的直线与显示画面相交达预定时间的点来指定。例如，当用户意图通过指点工具指示显示画面上的特定对象时，用户在指示期望的对象之前可能无意中看到并略过任何其它对象。在这种情况下，可能提供不期望的信息。因此，仅当期望的对象被指示达预定时间时，对应点可被指定为选择位置。

如果连接瞳孔跟踪点和方向点的直线偏离显示画面，则可通过显示器示出直线的偏离方向。例如，由于即使当用户注视其它地方时也通过跟踪用户的瞳孔来指定选择位置，所以连接瞳孔跟踪点和方向点的直线未能到达显示画面。在这种情况下，可通过显示器示出直线的偏离方向，使得用户可调节直线与显示画面相交的点。

目标确定单元120可确定显示画面内的对象当中的与选择位置对应的目标对象。例如，目标确定单元可识别显示画面中的指定的选择位置的坐标，然后确定位于所识别的坐标处的对象。如果在选择位置处不存在对象，则可提供指导消息，使得用户可指定任何其它选择位置。另外，如果针对位于选择位置处的对象不存在促销内容，则目标确定单元可向用户告知没有与目标对象关联的信息并且指导用户指定其它选择位置。

作为对用户的响应的答复，广告提供单元130可提供与目标对象对应的促销内容。例如，如果在显示画面中确定任何目标对象，则广告提供单元可将显示画面停止一会儿，并且关于是否提供目标对象的广告或详细信息询问用户。

此时，广告提供单元可利用方向点的移动来确定用户的响应。例如，当用户的手指或笔在任何方向上移动时，因此产生的变化可施加于方向点。各个变化被映射至与用户的响应关联的特定命令。因此，当识别出特定变化时，可执行与该变化对应的特定命令。

显示画面中的各个对象可具有存储的促销内容。例如，关于正在显示的图像中所包含的各种对象中的每一个，可从销售与各个对象对应的产品的销售商提供相关广告。这些广告可被存储在广告数据库中，并且在用户确定目标对象并且请求提供广告时可被检索然后提供。如果不存在目标对象的广告，则广告提供单元可通过互联网来利用任何外部服务搜索并提供目标对象的详细信息等。

如上文所讨论的，使用瞳孔跟踪的广告提供设备100可针对显示画面内的由用户有意地指示的产品提供促销内容，从而使广告效果最大化并且还促使购买活动。

图2是示出根据本发明的实施方式的广告提供单元的示图。

参照图2，根据本发明的实施方式的广告提供单元130可包括用户响应解释单元210和广告数据库220。

用户响应解释单元210可利用方向点的移动来确定用户的响应。例如，当用户的手指或笔在任何方向上移动时，因此产生的变化可施加于方向点。各个变化被映射至与用户的响应关联的特定命令。因此，当识别出特定变化时，可执行与该变化对应的特定命令。

广告数据库220可存储与显示画面中的各个对象对应的促销内容。例如，关于正在显示的图像中所包含的各种对象中的每一个，可从销售与各个对象对应的产品的销售商提供相关广告。这些广告可被存储在广告数据库中，并且在用户确定目标对象并且请求提供广告时可被检索然后提供。如果不存在目标对象的广告，则可通过互联网来利用任何外部服务搜索并提供目标对象的详细信息等。

图3是示出根据本发明的实施方式的使用瞳孔跟踪的广告提供处理的示图。

参照图3，在根据本发明的实施方式的使用瞳孔跟踪的广告提供处理中，正在通过智能TV观看视频的用户可注视包含在视频中的对象当中的期望的对象，以接收促销内容。

当用户注视显示画面中的对象时，可利用嵌入显示装置中的相机来识别用户的瞳孔。然后，所识别的瞳孔之间的中心点可被确定为瞳孔跟踪点310。如果用户仅用一只眼注视对象，则注视眼的一个瞳孔可被确定为瞳孔跟踪点310。

用户可使用指点工具以指示显示画面中的特定对象。可利用指点工具的尖端创建方向点320。然后，可通过将瞳孔跟踪点310和方向点320连接来创建连线330。

连线330可延伸，然后与显示画面在特定点处相交，该点可被指定为选择位置。与选择位置对应的特定对象可被确定为目标对象340。

当确定目标对象340时，可向用户提供关于是否向用户提供目标对象340的广告和详细信息的询问。然后，用户可通过移动指点工具来对询问做出响应。例如，用户可将他或她的手指或笔在任何方向上移动，以将因此产生的变化施加于方向点320。各个变化被映射至与用户的响应关联的特定命令。因此，当识别出特定变化时，可执行与该变化对应的特定命令。

作为对用户的响应的答复，可通过智能TV提供目标对象340的促销内容。例如，对于期望看到目标对象的广告然后购买目标对象的用户，可提供关于销售目标对象的商场的信息。另外，可提供目标对象的价格信息或者购买者的评论以促使用户购买目标对象。

图4至图7是示出根据本发明的实施方式的根据瞳孔跟踪利用瞳孔跟踪点和方向点来确定目标对象的方法的示图。

参照图4至图7，根据本发明的实施方式的根据瞳孔跟踪利用瞳孔跟踪点和方向点来确定目标对象的方法可根据瞳孔跟踪角度或所识别的瞳孔的数量具有一些情况。

图4是示出当用户向前注视显示画面上的目标对象时确定目标对象的方法的示图。

在图4中，A和B可分别指示用户的左瞳孔和右瞳孔，C可指示诸如用户的指尖或笔尖的方向点。A、B和C可通过瞳孔跟踪和运动识别来创建并且形成三角形的顶点。由两个顶点A和B形成的边的中心点(即，用户的两个瞳孔之间的中心点)可被确定为瞳孔跟踪点。

另外，瞳孔跟踪点(由两个顶点A和B形成的边的中心点)可连接至方向点(另一顶点C)，从而创建连线。连线与显示画面相交的点可被指定为选择位置。

另外，显示画面中的各种对象当中的与选择位置对应的特定对象可被确定为目标对象。

图5是示出在向左注视目标对象的情况下确定目标对象的方法的示图，图6是示出在向右注视目标对象的情况下确定目标对象的方法的示图。

图7是示出在通过瞳孔跟踪仅识别出用户的两个瞳孔中的一个瞳孔的情况下确定目标对象的方法的示图。

在这种情况下，A可以是用户的右瞳孔和左瞳孔中的一个。

由于仅识别出一个瞳孔，所以瞳孔跟踪点可以是所识别的瞳孔的中心。因此，连接瞳孔跟踪点A和方向点C的连线与显示画面相交的点可被指定为选择位置，并且与选择位置对应的对象也被确定为目标对象。

图8是示出根据本发明的实施方式的使用瞳孔跟踪的广告提供方法的流程图。

参照图8，根据本发明的实施方式的使用瞳孔跟踪的广告提供方法可利用通过跟踪用户的瞳孔而创建的瞳孔跟踪点以及与用户的方向对应的方向点二者来指定显示画面内的选择位置(S810)。例如，瞳孔跟踪点可以是通过瞳孔跟踪识别的用户的两个瞳孔之间的中心点。如果仅通过瞳孔跟踪识别出右瞳孔和左瞳孔中的一个，则所识别的瞳孔可用于创建瞳孔跟踪点。另外，方向点可以是由用户拿着指示显示画面中的对象的指点工具或者用户的手指。

选择位置可利用连接瞳孔跟踪点和方向点的直线与显示画面相交的点来指定。例如，当用户利用指点工具注视显示画面上的特定对象时，瞳孔跟踪点、方向点和显示画面上的对象可全部排列在一条直线上。因此，当瞳孔跟踪点与方向点之间的连线延伸，然后与显示画面在特定点处相交时，该点可被指定为选择位置。

根据通过瞳孔跟踪识别的瞳孔的数量，瞳孔跟踪点可利用两个瞳孔之间的中心点或者两个瞳孔当中的任何识别的瞳孔来创建。例如，如果当利用嵌入显示器中的相机执行瞳孔跟踪时仅识别出右瞳孔和左瞳孔中的一个，则所识别的瞳孔可用作瞳孔跟踪点，然后被连接至方向点。

方向点可利用用户用来指示选择位置的指点工具的尖端来创建。例如，用户可使用诸如他/她的手指或笔的指点工具来指示显示画面上的对象。用于指示的这种手指或笔的尖端可用于创建方向点。

选择位置可仅利用连接瞳孔跟踪点和方向点的直线与显示画面相交达预定时间的点来指定。例如，当用户意图通过指点工具指示显示画面上的特定对象时，用户在指示期望的对象之前可能无意中看到并略过任何其它对象。在这种情况下，可能提供不期望的信息。因此，仅当期望的对象被指示达预定时间时，对应点可被指定为选择位置。

如果连接瞳孔跟踪点和方向点的直线偏离显示画面，则可通过显示器示出直线的偏离方向。例如，由于即使当用户注视其它地方时也通过跟踪用户的瞳孔来指定选择位置，所以连接瞳孔跟踪点和方向点的直线未能到达显示画面。在这种情况下，可通过显示器示出直线的偏离方向，使得用户可调节直线与显示画面相交的点。

另外，根据本发明的实施方式的使用瞳孔跟踪的广告提供方法可确定显示画面内的对象当中的与选择位置对应的目标对象(S820)。例如，可识别显示画面中的指定的选择位置的坐标，然后确定位于所识别的坐标处的对象。如果在选择位置处不存在对象，则可提供指导消息，使得用户可指定任何其它选择位置。另外，如果针对位于选择位置处的对象不存在促销内容，则可向用户告知没有与目标对象关联的信息并且指导用户指定其它选择位置。

另外，作为对用户的响应的答复，根据本发明的实施方式的使用瞳孔跟踪的广告提供方法可提供与目标对象对应的促销内容。例如，如果在显示画面中确定任何目标对象，则广告提供单元可将显示画面停止一会儿，并且关于是否提供目标对象的广告或详细信息询问用户。

此时，广告提供单元可利用方向点的移动来确定用户的响应。例如，当用户的手指或笔在任何方向上移动时，因此产生的变化可施加于方向点。各个变化被映射至与用户的响应关联的特定命令。因此，当识别出特定变化时，可执行与该变化对应的特定命令。

显示画面中的各个对象可具有存储的促销内容。例如，关于正在显示的图像中所包含的各种对象中的每一个，可从销售与各个对象对应的产品的销售商提供相关广告。这些广告可被存储在广告数据库中，并且在用户确定目标对象并且请求提供广告时可被检索然后提供。如果不存在目标对象的广告，则广告提供单元可通过互联网来利用任何外部服务搜索并提供目标对象的详细信息等。

如上文所讨论的，使用瞳孔跟踪的广告提供方法可针对显示画面中的对象当中的用户期望的对象提供促销内容，从而防止由无差别的瞳孔跟踪导致曝露不必要的信息。

根据本发明的使用瞳孔跟踪的广告提供方法可按照可通过各种计算装置来执行然后被记录在计算机可读存储介质中的程序命令的形式来实现。计算机可读存储介质可包括程序命令、数据文件、数据结构等(单独地或组合)。记录在介质中的程序命令可针对本发明专门地设计和配置，或者是计算机软件领域中熟知并可用的。记录有适合于存储计算机程序命令语言和数据的计算机可读存储介质包括诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM和DVD的光学介质、诸如软光盘的磁光介质以及诸如ROM、RAM和闪存的半导体存储器。处理器和存储器可由专用逻辑电路来补偿或与之集成。程序命令可包括可在计算机中利用解释器执行的高级语言代码以及由编译器形成的机器代码。上述硬件装置可被配置为作为一个或更多个软件模块操作以便执行本发明的操作，反之亦然。

尽管参照其示例性实施方式具体地示出和描述了本发明，本领域技术人员将理解，在不脱离如所附权利要求书限定的本发明的精神和范围的情况下，可对其进行各种形式和细节上的改变。

工业实用性

根据本发明，可利用通过跟踪用户的瞳孔而创建的瞳孔跟踪点以及与用户的方向对应的方向点二者来指定显示画面内的选择位置，在显示画面内的对象当中确定与选择位置对应的目标对象，并且根据用户的响应提供与目标对象对应的促销内容。另外，可向正在通过智能TV或智能电话观看视频的用户提供期望的产品的广告和详细信息，因此使产品的广告效果最大化。