用于提供用户反馈的方法和设备与流程

本公开涉及用于协助用户进行个人装束(grooming)活动的方法和设备。

背景技术：

现有技术教导了许多用于提供刷牙活动反馈的系统，包括向用户提供表明口腔的特定区域是否已经被充分或足够洗刷的指示。已经提出了用于监测刷牙活动的各种系统，包括使用位于牙刷上或牙刷中的传感器(如加速度计)的系统，以及使用照相机和图像跟踪系统观察用户采用的刷擦方位和刷擦角度的系统。

有人提出了用于向用户就刷牙质量和程度提供视觉反馈的各种显示系统。向用户显示这种视觉反馈时会出现各种问题。在刷擦期间，牙刷或其他装置上的显示通常不在用户的视线范围内，因此这种显示对于提供连续的实时反馈可能是次优的，原因在于，用户需要停止刷擦活动或将目光从镜子移开去观察这种显示。

已经有人提出了一些称为“智能镜”的镜显示系统，它们不仅以传统方式反映用户图像，而且将显示屏组合在镜面下方以将图像显示在其上。使用照相机模块和处理器定位用户的眼睛，确定用户的视线(即，注视方向)。镜显示系统旨在，在显示屏的某方位上形成图像或其他数字内容，该方位相对于用户视线，与用户正在注视的镜平面后方的被反映物体的实际方位重合。为使图像保持在用户视线或注视方向上，要将显示图像定位在x-y空间中(水平和垂直定位)，对于这种定位，会出现准确性问题；鉴于用户会注视远远地在镜平面后面的z-空间中的实际图像(深度定位)，显示图像或其他数字内容不聚焦于用户，因此也会出现问题。

技术实现要素：

在一方面，本发明力图克服这类问题。在另一方面，本发明力图提供一种可供选择的方法和设备，用于例如在进行个人装束活动(如，刷牙)时向用户提供反馈。

根据一方面，本发明提供一种在个人装束活动期间向用户提供视觉反馈的方法，其包括：

确定所述用户身体的目标区域的方位；

监测所述用户的个人装束活动，确定至少一项与所述用户的个人装束活动相关的反馈；

确定所述用户身体上用于对表示所述项反馈的信息进行视觉投影的相关位置；

将所述信息投影到所述用户身体上的所述相关位置上。

所述个人装束活动可包括刷牙，所述至少一项反馈可包括表示口腔的多个刷擦区域刷擦充分或不充分的程度。所述反馈信息视觉投影可包括，在所述用户面部上与所述刷擦区域对应的方位上给出表示刷擦程度的视觉指示。

监测所述个人装束活动可包括，跟踪牙刷相对于所述用户口腔的方位、运动和/或方向。跟踪所述牙刷的方位、运动和/或方向可包括，探测所述牙刷上的标记或图案。跟踪所述牙刷的方位、运动和/或方向可包括，从嵌入在所述牙刷上或牙刷中的加速度计或其他运动传感器接收传感数据。所述反馈可包括，将色码块、线或其他形状的光投影到所述口腔的正在刷擦或已实施刷擦的区域，表示所述区域刷擦的充分程度。所述刷擦反馈可将牙齿表面分成若干区域，所述若干区域包括上齿和下齿，可选地包括前齿排、左齿排和右齿排；将分别用于各区域的所述色码块、线或其他形状的光投影到左面颊、右面颊和口腔前部、唇线上方或下方。所述投影的反馈信息可包括与所述刷牙活动的不同参数对应的多级信息，所述不同参数用颜色编码，在时间、空间上分离，或用投影的文字、数字或符号区分。所述不同参数包括刷擦时间、刷擦方位、刷擦技术的正确性、刷擦期间所施加的压力这些参数中的两个或更多个。

该方法还可包括：确定所述用户眼睛的方位；以及，排除或防止所述投影信息的投影光到达与已确定的所述用户眼睛方位对应的区域。所述方法还可包括：连续实时执行前述步骤，使所述相关位置与所述用户身体的所述目标区域的跟踪方位在空间上保持相关联。

所述个人装束活动可包括牙齿护理活动、皮肤护理活动和头发护理活动中的一种。所述个人装束活动可包括刷牙。所述至少一项反馈可包括，表示所述口腔的多个刷擦区域刷擦充分或不充分的程度。所述反馈信息视觉投影可包括，在所述用户面部上与所述刷擦区域对应的方位上给出表示刷擦程度的视觉指示。所述个人装束活动可包括涂抹至少一种护肤品。所述至少一项反馈可包括，表示(i)涂抹所述或更多所述护肤品的用户面部目标区域，或(ii)已涂抹的产品量。所述个人装束活动可包括头发护理活动。所述至少一项反馈可包括下列反馈中的至少一个：(i)表示用于涂抹产品或使用器具的目标头发区域；(ii)表示产品涂抹过量或器具使用过度的头发区域。

所述个人装束活动的监测可包括：将诊断电磁辐射引导到所述用户身体上，从其接收响应信号；使所述响应信号与所述用户身体的所述跟踪方位相关联；以及，基于所述响应信号确定一项反馈。所述个人装束活动的监测可包括，使用图像分析来确定所述用户和/或进行个人装束活动的牙刷的运动模式。

上述步骤可通过智能手机或相互无线通信的智能手机和投影仪来执行。

所述目标区域可以是所述用户头部的至少一部分。

根据另一方面，本发明提供一种用于在个人装束活动期间向用户提供视觉反馈的设备，所述设备包括：

照相机，其被配置成确定所述用户身体的目标区域的方位；

活动监测模块，其被配置成监测所述用户的个人装束活动；

反馈模块，其被配置成确定至少一项与所述用户个人装束活动相关的反馈，确定所述用户身体上用于对表示所述项反馈的信息进行视觉投影的相关位置；

投影控制模块，其被配置成将输出提供给投影仪，以将所述信息投影到所述用户身体上的所述相关位置上。

根据另一方面，本发明提供一种用于在刷牙期间给用户提供视觉反馈的设备，该设备包括：

照相机，其被配置成确定所述用户身体的目标区域的方位；

活动监测模块，其被配置成监测所述用户的刷牙活动；

反馈模块，其被配置成确定至少一项与所述用户刷牙活动相关的反馈，确定所述用户身体上用于对表示所述项反馈的信息进行视觉投影的相关位置，所述至少一项反馈包括表示口腔的多个刷擦区域刷擦充分或不充分的程度；

投影控制模块，其被配置成将输出提供给投影仪，以将所述信息视觉投影到所述用户身体上的所述相关位置上；用于视觉投影的所述反馈信息包括表示刷擦程度的视觉指示，其用于投影到所述用户面部上与所述刷擦区域对应的方位上。

所述活动监测模块可被配置成跟踪牙刷相对于所述用户口腔的方位、运动和/或方向。所述活动跟踪模块可被配置成探测所述牙刷上的标记或图案。所述活动跟踪模块可被配置成从嵌入在所述牙刷上或牙刷中的加速度计或其他运动传感器接收传感数据。所述投影控制模块可被配置成提供包括投影数据的反馈，以将色码块、线或其他形状的光投影到所述口腔的正在刷擦或已实施刷擦的区域，表示所述区域刷擦的充分程度。所述投影控制模块被配置成提供刷擦反馈，所述刷擦反馈将牙齿表面分成若干区域，所述若干区域包括上齿和下齿，可选地包括前齿排、左齿排和右齿排；用于各区域的所述色码块、线或其他形状的光被投影到左面颊、右面颊和口腔前部、唇线上方或下方。所述反馈模块被配置成提供反馈信息，所述反馈信息包括与所述刷牙活动的不同参数对应的多级信息，所述不同参数用颜色编码，在时间、空间上分离，或用投影的文字或数字或符号区分。所述不同参数包括刷擦时间、刷擦方位、刷擦技术的正确性、刷擦期间所施加的压力这些参数中的两个或更多个。

所述设备还可包括用于确定所述用户眼睛的方位的传感器，和阻挡模块，所述阻挡模块被配置成防止投影仪投影的光到达与所述确定的用户眼睛方位对应的区域。所述活动模块可包括用于确定所述用户刷牙模式的牙刷运动传感装置。所述反馈模块可被配置成确定面部上与具有所述刷牙模式的区域对应的一个或多个部分，以投影反馈。

所述设备还可包括诊断装置，其被配置成将诊断电磁辐射引导到所述用户身体上，接收表示所述用户身体的至少一部分的状态的响应信号，其中所述反馈模块被配置成基于所述响应信号确定至少一项反馈。所述活动监测模块可被配置成，使用所述照相机的图像信号监测所述个人装束活动。所述照相机、所述活动监测模块和/或所述反馈模块可设置在智能手机内。所述设备可集成到镜子中。所述设备还可包括投影仪，所述投影仪被配置成接收所述投影控制模块的所述输出，将所述信息投影到用户身体上的所述相关位置上。

附图说明

现在参照附图，通过实例描述本发明的实施例，附图如下：

图1示出了用于在个人装束活动期间向用户提供视觉反馈的设备的示意性透视图；

图2示出了图1中的设备各部件的示意性原理框图；

图3示出了由图1中的设备所执行的各功能的流程图。

具体实施方式

图1示出了视觉反馈系统。用户1位于镜子2前面，以进行某种个人装束活动。表述“个人装束活动”旨在包括牙齿护理活动、皮肤护理活动、头发护理活动以及涂抹化妆品、美容或医疗产品的活动。这类个人装束活动的实例可包括刷牙、清牙垢或清洁牙间隙、梳头、发型设计或涂抹头发产品、皮肤治疗或化妆。

视觉反馈系统5包括照相机6、反馈装置7和投影仪8。照相机6被配置成确定/跟踪用户身体的至少一部分(如，头部)的方位。反馈装置7被配置成确定至少一项与用户个人装束活动相关的反馈，确定用户身体上把表示所述项反馈的信息视觉投影到其上的相关位置。投影仪8被配置成将信息投影到用户身体上的相关位置上。

在许多实例中，在用户头部上或对用户头部进行个人装束活动，投影仪8被配置成将信息投影到头部上。这尤其适用于针对刷牙活动、头发护理活动(包括发型设计)和面部护理产品涂抹，给出反馈。

照相机6、反馈装置7和投影仪8可集成到单个独立的外壳中，或可集成到镜子2的框架中。在另一种可能的布置中，照相机6和反馈装置7可以在智能手机中实现，智能手机可以位于靠近镜子2或形成镜子2的一部分的搁架、壁架或其他支撑结构上。还可以这样设想：投影仪8可单独设置，例如可通过使用任何合适的通信通道(如，使用蓝牙、wifi或nfc通道的无线通信)，与实现照相机和反馈装置的智能手机通信。在另一个实例中，智能手机可组合能将所需的反馈信息投影到用户身体上的微投影仪系统。文中使用的表述“照相机”旨在包括，能提供表示用户身体相关部位的空间位置的信息、适于跟踪其变化方位的任何成像装置。

图2示出了反馈装置7中实现的各种功能的示意性原理框图。

方位跟踪模块10被配置成，通过通信通道11从照相机6或其他成像/跟踪装置接收图像数据，确定用户身体的目标区域的方位。目标区域可包括用户身体上正在进行个人装束活动的区域。因此，对于牙齿护理活动，目标区域包括口腔区域。

活动监测模块12被配置为监测目标区域中的个人装束活动。在一些实例中，可通过分析经由通信通道13从照相机6传送的图像来监测个人装束活动。图像分析可包括监测用户或用户持有的器具的运动模式。例如，通过探测牙刷上的特定标记或图案，能相对于用户头部的方位，跟踪牙刷相对于用户口腔的方位、运动或方向。

在其他实例中，可使用从其他类型的传感器(如，嵌入在牙刷上或牙刷中的加速度计或其他运动传感器14)接收到的数据，来监测个人装束活动。加速度计或其他运动传感器14可通过任何合适的通信通道15，如无线通道，将数据提供给活动监测器。现有技术中公知的各种系统，使用加速度计数据跟踪牙刷在牙齿不同表面上和口腔中的不同方位上的运动，由此计算出口腔中不同位置的刷擦彻底程度。这样，可给出刷牙进程的反馈。

其他传感器16可用于通过通信通道17，将涉及个人装束活动的数据提供给活动监测器。例如，可布置红外线传感器或其他热成像装置，来探测例如吹风机或头发设计器具(如，烫发钳或头发夹直器)正施加到身体某部位上的热量。这样，可给出关于头发加热过度或充足的反馈。其他传感器可集成到用于个人装束活动的器具或涂抹器中或上。

在另一个实例中，传感器16可包括有源传感器，用于将诊断电磁辐射引导到用户身体的目标区域以收集电磁响应信号，该电磁响应信号可表示用户身体(如，皮肤)的特性或其上所使用的产品的特性。将使这些响应信号与用户身体的跟踪方位相关联，以便能基于此提供反馈。在一个实例中，传感器16可被配置成，确定产品涂抹深度、产品涂抹颜色、或能表示产品涂抹质量或数量的一些其他物理参数。这样，可就正在涂抹的化妆品或医疗产品的涂抹深度、一致性或均匀性给出反馈。传感器16可包括其他类型的传感器，如有源传感器，用于从用户身体所反射的周围光线收集电磁响应信号。其他类型的传感器16可包括用于映射用户身体目标区域的特性的高光谱成像传感器。

反馈模块18被配置成，根据活动监测模块12的输出，确定适于传送给用户的一项或多项反馈，并确定用户身体上应该把每项反馈传送至其上的合适方位。在提供牙齿护理反馈的实例中，反馈例如可包括将色码块、线或其他形状的光传送至口腔的正在刷擦或已实施刷擦的每个区域。典型的刷擦反馈可将牙齿表面划分为若干区域，例如上齿和下齿，其中每个区域可细分为前牙排、左牙排和右牙排，这些牙排可进一步细分为舌(舌侧)面、颊(颊侧)面和咬合面。例如，可通过将色光或光图案分别投影到左面颊、右面颊和口腔前部、唇线上方或下方，来表示这些特定区域和/或表面中的一些或全部。绿色投影光区域可表示选定区域的刷擦充分或充足；红色投影光区域可表示选定区域未完成刷擦；黄褐色投影光区域可表示选定区域完成的刷擦不充分。可设想表示刷擦程度的其他指示信号。可连续投影这些指示信号，表示将被刷擦的下一牙齿区域，显示每个区域的任务依次完成时的颜色变化。例如，反馈指示信号还可以或可供选择地包括刷牙是否正用力过猛的信息，如，施加过大的压力或漏刷牙齿表面的某些部分。一般而言，投影的反馈信息可包括与个人装束活动的不同参数对应的多级信息，所述不同参数可以用颜色编码，在时间、空间上分离，或以其他方式(如，通过投影的文字、数字或符号)区分。这样，可同时或几乎同时提供多项涉及监测的装束活动的反馈，每项反馈对应于装束活动的不同监测参数，如，刷擦时间、刷擦方位、刷擦技术的正确性等。

类似地，在将化妆品或医疗产品涂抹到面部的实例中，投影的颜色或其他视觉内容可用于表示产品涂抹量充分或不充分的区域。在涂抹化妆品的实例中，投影光区域可表示涂抹的颜色不一致或不在用户指定的首选颜色范围内的区域。反馈项目可包括，表示已涂抹的产品量或产品涂抹量不足的区域的任何标示。产品可包括化妆品、面霜、防晒/防紫外线产品和护肤品。如果产品本身是肉眼看不见的，反馈就特别有效，因而，有助于用户确保合适的涂抹覆盖范围。

在头发护理活动的实例中，反馈项目可包括，表示用于涂抹产品或使用器具的目标头发区域，和/或表示产品涂抹过量或器具使用过度(如，吹风机、卷发器或直发器加热过度，如前所述；和/或将热度图投影到头发上)的头发区域。

反馈装置7还包括投影控制模块20，其被配置成通过通信线路19，控制投影仪8将反馈项目投影引导到用户身体上的上述相关位置上。

反馈装置7优选被配置成，连续实时跟踪用户身体的目标区域的方位，连续实时更新相关位置的方位，以基于用户身体的方位投影反馈。这样，用于投影的相关位置与用户身体目标区域的跟踪方位在空间上保持相关联。在这方面，反馈装置7可执行动态投影映射系统，该系统适于确保在用户身体运动期间将反馈项目投影到相关位置上，因而确保在用户身体上的相关位置运动期间将反馈项目投影到相关位置上。在许多情况下，正在进行个人装束活动的目标区域将与待投影反馈信息的相关位置相同、在该相关位置范围内、或靠近该相关位置。这有助于确保用户的注视方向和用户的眼睛焦点，对监测个人装束活动和给出的反馈信息是最优的。相较于单独提供的显示远离用户正常视线或实际显示不在用户眼睛焦点平面上的现有反馈系统，这具有相当大的优势。

反馈装置7还可被配置成，使方位跟踪模块10确定(优选连续或几乎连续更新)用户眼睛的当前方位，确保能防止投影仪8将光投影到用户眼睛中。这可通过下述方法来实现：确定与已确定的眼睛方位对应的移动排除区域或投影遮挡区域(其可包括重叠部分/保护部分的边缘或半影)，防止投影控制模块20指示投影仪8投影到其中；同时能将反馈信息连续投影到投影遮挡区域之外。这样，防止用户在个人装束活动期间，甚至在靠近眼睛的面部区域进行这类装束活动时目眩或注意力分散。

可自动或通过用户输入的方式识别用户身体的目标区域。例如，反馈装置可被配置成，确定用户视线，推断出正在关注的身体部分，和/或探测与此相关的用户(如，臂部或手部)运动模式，从而能让该装置通过使用模板匹配算法推断出具体的个人装束活动。然后能基于识别的个人装束活动给出反馈。可供选择地，例如可通过致动与反馈装置7通信的装束装置(如，牙刷)来识别目标区域。然后，牙刷活动的探测可用于将目标区域自动确定为口腔区域。在另一实例中，可要求用户从输入装置(如，用户的智能手机)上的菜单选择个人装束活动，然后将确定跟踪的目标区域。

用户通过镜子注视其身体，可容易观察到投影的视觉反馈。由于用户是通过用镜子注视身体的目标区域(如，头部)来专注于个人装束活动的，因此，反馈信息将自动与用户注视方向一致，也聚焦于用户眼睛，原因是反馈信息通常位于与目标区域相同的焦平面上或靠近该焦平面。动态的遮挡功能跟踪用户的眼睛，用于光投影，因此确保了用户的眼睛总是被投影的反馈图像挡住。

相较于上述“智能镜”处理手段，另一优点是，所述系统不需要与镜子集成的显示面板，因为反馈显示是通过将光投影到用户上来实现的。这使得该系统向后兼容用户的普通浴室镜，不需要专门的镜硬件。可通过将成本低的微型投影仪和照相机系统设置在现有的镜子旁边或安装在其附近，来实现该系统，所需的硬件(或至少其大部分)可组合到用户的智能手机中。

图3示出了由反馈装置7执行的各功能的流程图。从照相机接收用于提供给方位跟踪模块10的图像数据(方框101)。识别个人装束活动(方框102)，可通过分析从照相机6接收到的图像数据，或通过分析从一个或多个其他传感器14,16接收到的数据，或通过设置在个人装束器具(如，电动牙刷)内的特定传感器14,16，或通过接收表示用户预期活动的用户输入，来执行该识别步骤。识别用户身体上与已识别的个人装束活动相关的目标区域(方框103)。将会意识到，例如，如果根据正在跟踪其运动的用户身体区域推断个人装束活动，那么，识别个人装束活动和识别目标区域的功能可同时执行或逆序执行。例如，可通过活动监测模块12，例如从加速度计14或其他运动传感器、红外线传感器16或其他热成像装置、电磁辐射传感器16(无源或有源)或高光谱成像传感器16，接收其他传感器信息(方框104)。接收所述的各种输入，监测个人装束活动的进程(方框105)。可运行活动监测模块12，来确定一项或多项基于个人装束活动进程提供给用户的视觉反馈(方框106)。这种反馈例如可包括，表示刷牙活动已充分或不充分完成的用户口腔区域的视觉指示。然后确定用于投影视觉反馈信息的相关位置，如，用户面部上的方位(如，对于上面的牙刷实例，为面颊或嘴唇上方/下方)(方框107)。通过根据从照相机6接收到的图像进行动态映射，然后确定用户身体上的相关位置的当前方位(方框108)，将视觉反馈信息投影到相关位置上(方框109)。在个人装束活动期间，连续或几乎连续执行该过程，如图所示，循环返回到方框101。因此，反馈装置能运行个人装束活动进程监测、用于投影反馈的位置的方位确定和待传送的投影反馈更新的自校正回路。与此同时，该系统可被配置成，实时确定用户眼睛方位(方框110)，使用该信息阻止将任何视觉反馈投影到与用户眼睛对应的区域内(方框111)，以防止用户在个人装束期间目眩或分散注意力。方框110和方框111所示的功能也可在连续或几乎连续的执行循环上。

在本说明书全文中，表述“模块”旨在包括，可包含正在通用或自定义处理器上执行的计算机代码、或如专用集成电路上实现该功能的硬件机器。

本说明书已经描述了基于个人装束活动监测的各种类型视觉反馈。装束活动监测用作提供装束活动反馈的基础，可通过多种方式执行，如，图像分析，使用加速度计或运动传感器、和基于学习的系统跟踪方位；运动传感器包括，如文献wo2018/065373中所述的基于磁场的传感系统；所述基于学习的系统得出将方位信息映射到运动信息上的用户特定统计模型，然后可使用该模型根据传感到的运动信息提供(如，牙刷的)方位信息，如文献wo2018/065372中所述。其他实例在技术娴熟人员能触及的范围内，可使用这类方法的组合。

文中使用的表述“跟踪”和“跟踪”旨在包括这样的情况：用户例如可以正在镜子前面运动，从而正有规律地确定用户的新方位；也可包括如下情况：用户在镜子前面相对静止，从而正有规律地确认用户的同一方位。

其他实施例在所附的权利要求书的范围内，这是出于特定目的而设计的。