用于调节皮肤损伤检测模型的装置和方法与流程

本发明的实施例大体上涉及皮肤损伤的检测和用于皮肤损伤检测的模型的改进。

背景技术：

1、在皮肤护理领域中，皮肤损伤(诸如丘疹、斑点、皮疹、斑疹、结节等)的检测是期望的特征，使得个体可以处理皮肤损伤或对受影响的区域施加额外的护理。皮肤损伤的早期检测可以允许采取预防措施，使得可以最小化由损伤引起的对皮肤的困扰。检测模型是已知的，并且可以使用传统的照相机技术来分析用户的区域并检测任何皮肤损伤。然而，这种检测模型的精度通常很低，导致不准确的检测结果。这可以降低用户对检测模型的信任。

2、因此，希望改进用于检测皮肤损伤的检测模型的输出。即，期望改进皮肤损伤检测模型的结果，使得可以为用户改进检测结果的准确性。

技术实现思路

1、本发明由独立权利要求限定。在从属权利要求中限定了优选实施例。

2、根据第一方面的实施例，提供了一种用于调节皮肤损伤检测模型的装置，所述装置包括处理器和存储器，所述处理器被配置为：接收与用户相关联的用户数据；接收所述皮肤损伤检测模型的输出；根据所述用户数据修改所述皮肤损伤检测模型的输出，以向所述用户提供指示皮肤损伤检测的经修改的输出；以及输出所述经修改的输出。

3、因此，用户的信息可以用于修改检测模型的输出，从而可以改进用于检测皮肤损伤的检测模型的整体性能。检测模型的经改变结果是针对用户定制的，因此可以提高由该设备提供的皮肤损伤检测的准确性。也就是说，由于检测模型的结果被改变为更适合于用户，所以可以通过使用与用户相关联的信息来修改检测模型的输出，来提高给定用户的皮肤损伤检测的感知准确度。还可以通过提高结果相对于用户的准确性来增强用户对检测的信任。

4、检测模型可以是用于皮肤损伤检测的任何模型，例如在皮肤护理领域中发现的那些。检测模型也可以被称为自动检测模型，并且可以是人工智能(ai)模型。这种模型在本领域中是已知的，并且分析数据以检测皮肤损伤。例如，检测模型可以获取用户的图像数据，并且可以对所获取的图像数据执行处理以检测一个或多个皮肤损伤。该设备可以获取用户的图像(例如，经由与该设备相关联或包括在该设备中的照相机)，并且可以将该图像作为输入提供给皮肤损伤检测模型。该图像可以被称为评估数据。检测模型的结果可以被提供为检测到的皮肤损伤和相关联的概率分数(即检测的置信度分数)的列表。可以在用户的图像上提供结果，使得用户可以看到检测到的皮肤损伤的位置。

5、该装置可以包括一个或多个处理器，并且该装置的处理可以由单个处理器或由多个处理器组合来执行。因此，单个处理器可以执行该装置的一个或多个处理。存储器和一个或多个处理器例如经由总线可通信地连接。该一个或多个处理器可以存储和检索来自存储器的信息，例如当执行该设备的处理时生成的中间数据。

6、用户可以是作为皮肤损伤检测模型的对象的个人。例如，用户可以是在诸如智能电话的用户设备上使用皮肤损伤检测应用的个人。用户数据可以是关于用户的信息，其与评估由检测模型检测到的皮肤损伤有关。经修改的输出可以是经修改的检测结果。即，经修改的输出是根据用户数据修改的模块的检测结果，使得经修改的检测结果针对用户定制。

7、用户数据可以包括以下中的一项或多项：用户的已知的皮肤特征；用户的已知的皮肤损伤；用户的注意区域；用户对皮肤损伤类型的偏好。即，用户数据可以包括关于用户的已知皮肤特征的信息；用户已知的皮肤损伤；用户的注意区域；用户对皮肤损伤类型的偏好，或其任何组合。因此，用户数据可以包括用于修改检测模型的输出的适当信息。例如，用户数据可以包括识别用户的已知皮肤特征(例如，痣或疤痕)的信息和/或可以包括识别用户的注意区域(例如，用户易于获得斑点的面部区域)的信息。这种信息可能影响用户对检测模型结果的解释，因此与调节结果有关。

8、用户数据可以包括以下中的一项或多项：用户的已知的皮肤特征的位置；用户的已知皮肤损伤的位置；以及用户的注意区域的位置。因此，用户数据可以包括特征和/或区域的标识以及所述特征或区域的位置。该位置可以被提供为坐标，例如用户图像的坐标(或坐标范围)。

9、用户的已知皮肤特征可以包括以下中的一项或多项：痣、疤痕、胎记、雀斑和斑疹。即，用户的已知皮肤特征可包括痣、疤痕、胎记、雀斑、斑疹或其任何组合。用户已知的皮肤损伤可以是用户知道的皮肤损伤，例如丘疹。例如，用户可能希望忽略特定的皮肤损伤，因此该皮肤损伤不应该被包括在经修改的输出中或者应该被提供低分数。

10、该信息可以指示用户关于他们关心的皮肤损伤类型的偏好，从而指示他们更喜欢被通知的皮肤损伤类型。因此，用户数据可以包括这样的信息，使得可以修改检测模型的输出以反映该偏好。可以将偏好提供为排名列表。例如，用户数据可以指示他们更喜欢了解丘疹而不是斑疹，和/或更喜欢检测斑疹而不是结节。

11、注意区域可以是用户感兴趣的区域，例如易于皮肤损伤的区域，或者被认为对用户重要的区域，例如面部。注意区域也可以被称为重要区域、优先区域和/或评估区域。用户可以在用户数据中识别注意区域。可替代地或另外地，可以经由与该装置相关联的照相机来自动捕获关注区域并且将其作为用户数据(的一部分)提供给该装置。例如，面部识别可用于识别用户的注意区域。

12、皮肤损伤检测模型的输出可以包括检测到的皮肤损伤的位置。皮肤损伤检测模型的输出还可以包括与检测到的皮肤损伤相关联的概率分数。因此，检测模型的输出可以识别检测到的皮肤损伤的位置和/或置信度分数。可以检测多个皮肤损伤，并且输出可以包括与一个或多个检测到的皮肤损伤相关联的位置和/或概率分数。概率分数表示检测模型在确定所检测的特征是皮肤损伤时的置信度分数。该位置可以被提供为坐标，例如检测到皮肤损伤的用户图像的坐标(或坐标范围)。用户数据的位置和/或检测到的皮肤损伤的位置可以从用户的采集图像(或一系列图像)中确定/提取。

13、经修改的输出可以包括一个或多个检测到的皮肤损伤。经修改的输出还可以包括每个检测到的皮肤损伤的伴随检测分数。即，经修改的输出可以包括检测到的皮肤损伤和皮肤损伤的检测分数。经修改的输出还可以包括检测到的皮肤损伤的位置。检测分数可以反映检测模型相对于用户数据的概率分数的修改。因此，检测分数可以提供所检测的皮肤损伤的等级，其反映用户数据，即用户的偏好和皮肤特征。

14、例如，检测分数可以是0和10之间(包括0和10)的任何整数或分数。例如，检测分数为0可以意味着检测到的损伤被从经修改的输出中排除；检测分数为1表示重要性等级低；并且检测分数10可以指示高重要性等级。“重要性”可以涉及对用户的重要性，即用户的优先级。

15、皮肤损伤检测模型的输出可以包括检测到的皮肤损伤的位置。用户数据可以包括用户的已知皮肤特征的位置。处理器可以被配置为通过将检测到的皮肤损伤的位置与用户的已知皮肤特征的位置进行比较来修改皮肤损伤检测模型的输出。即，可以交叉参考检测到的皮肤损伤的位置和已知的皮肤特征，并相应地修改皮肤损伤检测模型的输出。通过比较位置，可以确定用户的皮肤特征已经被检测模型错误地识别为皮肤损伤，和/或检测到的皮肤损伤已经为用户所知。因此可以修改输出以排除检测到的特征或给予其低检测分数。由于可以识别和去除错误的检测，因此可以改进检测模型的结果。

16、因此，处理器可以被配置成响应于检测到的皮肤损伤的位置对应于用户的已知皮肤特征的位置而从经修改的输出中排除检测到的皮肤损伤。即，如果检测到的皮肤损伤的位置与已知的皮肤特征匹配或重合，则可以丢弃检测到的皮肤损伤，使得其不包括在经修改的输出中。可替换地，检测到的皮肤损伤可以被给予低检测分数以反映位置彼此对应，并且检测到的皮肤损伤可能是已知的皮肤特征，即皮肤特征被检测模型错误地识别为皮肤损伤。彼此对应的位置可以意味着它们重合、匹配、重叠和/或在彼此的预定距离内。当位置对应时，通过丢弃检测到的皮肤损伤或给予它低的检测分数，经修改的输出可能更准确，这是因为错误的检测将被过滤。

17、皮肤损伤检测模型的输出可以包括检测到的皮肤损伤的位置。用户数据可以包括用户注意区域的位置。处理器可以被配置为通过将检测到的皮肤损伤的位置与用户的注意区域的位置进行比较来修改皮肤损伤检测模型的输出。即，可以交叉参考所检测的皮肤损伤和注意区域的位置，并相应地修改皮肤损伤检测模型的输出。通过比较位置，可以确定检测到的皮肤损伤存在于已被识别为作为对用户重要区域的区域中。因此可以修改输出以反映这一点，并且因此可以为用户改进检测模型的结果。

18、处理器可以被配置为响应于检测到的皮肤损伤的位置对应于用户的注意区域的位置，在经修改的输出中提供对检测到的皮肤损伤的强调。即，如果检测到的皮肤损伤的位置与注意区域匹配或重合，则可以强调检测到的皮肤损伤，以便指示损伤位于对用户重要的区域中。可替换地或附加地，检测到的皮肤损伤可以被给予高检测分数以反映该位置对应于注意区域。彼此对应的位置可以意味着它们重合、匹配、重叠和/或在彼此的预定距离内。当位置对应时，通过强调检测到的皮肤损伤或给予其高检测分数，经修改的输出可与用户更相关。例如，可以在用户的图像上提供强调，诸如通过突出显示检测到的皮肤损伤。可以为用户显示图像。

19、皮肤损伤检测模型的输出可以包括多个检测到的皮肤损伤。处理器可以被配置为根据用户数据过滤多个皮肤损伤。即，可以使用用户数据来过滤检测模型的结果，使得可以去除检测到的在低重要性区域(即，非关注区域)中的皮肤损伤，可以去除已知的皮肤特征，可以去除已知的皮肤损伤，和/或可以去除对用户具有低重要性的皮肤损伤类型。

20、所述处理器可经配置以将所接收的用户数据存储在存储器设备中。因此，用户数据可以存储在存储器设备中并从存储器设备接收。处理器可以被配置为在皮肤损伤检测模型的输出的后续修改中检索所存储的用户数据。也就是说，用户数据可以由用户在初始处理期间提供并存储在存储器设备中。在后续过程中，处理器可从存储器设备检索用户数据，使得用户不必再次提供信息。因此可以改进用户的负担。存储器设备可以是该装置的存储器，或者可以是可通信地连接到该装置的另一存储器设备，例如联网或云服务器。

21、皮肤损伤检测模型的输出可以包括检测到的皮肤损伤的概率分数。处理器可以被配置为通过根据用户数据加权概率分数来修改皮肤损伤检测模型的输出，以在经修改的输出中提供修改的概率分数。因此可以调整概率分数以反映用户数据。例如，可以将根据用户数据确定可能是已知皮肤特征的检测到的皮肤损伤的概率加权为低分数。相反，位于注意区域中的检测到的皮肤损伤可以用高分值加权。因此，加权可以反映用户的偏好和特征。

22、处理器可以被配置为确定修改的概率分数是否超过预定阈值。处理器可以被配置为响应于修改的概率分数超过预定阈值而生成警报。处理器可以被配置为输出警报。因此，如果修改的概率分数大于预定阈值，则可以生成警报并输出给用户。例如，可以警告用户在对用户重要的区域中检测到的皮肤损伤，使得用户可以采取行动，例如通过处理检测到的皮肤损伤。警报可以是例如经由用户设备提供给用户的视觉通知和/或音频通知。例如，可以将警报提供为用户图像上的可视化，例如粗体和/或高亮，以获得用户的注意。因此，可以将检测到的皮肤损伤通知给用户，这些皮肤损伤很可能被认为是非常重要的。

23、该设备还可以向用户提供关于检测到的皮肤损伤的推荐。例如，可以向用户提供处理推荐。用户可以取消警告和/或推荐，和/或例如从因特网请求进一步的信息。例如，该设备可以经由用户接口接收指令以解除警报并搜索针对所检测到的皮肤损伤的类型的处理建议。

24、可以从以下各项中的一项或多项接收用户数据：存储器设备；与所述用户相关联并且可通信地连接到所述装置的用户设备；所述装置的用户接口；可通信地连接到所述装置的成像设备；以及所述装置的音频输入。用户数据还可以从包括照相机的另一设备接收，该照相机捕获用户的眼睛注视或用户在他/她的脸上触摸的地方。因此，用户数据可以由用户输入，和/或可以从存储器中检索。该装置可以包括被配置为从用户接收输入信息的输入设备，并且可以从输入信息中提取用户数据。

25、处理器可以被配置为获取用户的图像。处理器可以被配置为从用户接收输入信息。处理器可以被配置为根据从用户接收的输入信息从用户的图像中提取用户数据。也就是说，可以获取用户的图像，并且用户可以提供能够从图像获取用户数据的输入信息。例如，用户可以通过用户接口标注图像。根据用户输入的标注(例如，触摸屏上的触摸操作)，可以从图像中提取注意区域和/或已知的皮肤特征。

26、换句话说，可以获取用户的图像，并且可以接收用户标注图像的用户输入，以便提供用户数据。标注可以在显示图像的显示设备或用户接口上执行，并且用户提供输入(例如，经由触摸屏和/或语音控制)以识别评估区域和/或已知的皮肤特征。用户数据可以从用户自己的捕获图像的标注中获取，例如，经由设备或可通信地连接到设备的另一设备的用户接口(例如，引导用户接口gui)和显示器标注。因此，用户数据可以作为图像数据提供或从图像数据中提取。

27、该装置可以获取用户的面部图像，并执行面部图像的面部对齐以标准化面部图像。标准化的面部图像可以作为输入提供给皮肤损伤检测模型。

28、该装置可以获取用户的面部图像，并将面部图像作为输入提供给皮肤损伤检测模型。该装置可以对从皮肤损伤检测模型输出的面部图像执行面部对齐，以标准化输出的面部图像。

29、用户数据可以包括用户的面部图像。皮肤损伤检测模型的输出可以包括用户的分析的面部图像。该处理器可以将所分析的该用户的面部图像与该用户的面部图像对齐；以及用面部图像中的用户的所识别的已知特征或用户的所识别的评估区域来过滤所分析的面部图像中的所检测的皮肤损伤。

30、经修改的输出可以被输出到以下各项中的一项或多项：装置的显示设备；以及所述装置的发射器。也就是说，该装置可以包括被配置为显示经修改的输出的显示设备，和/或该装置可以包括被配置为发送经修改的输出的发射器。发射器可以将输出发送到可通信地连接到该装置的用户设备。因此，可以将该信息呈现给用户或者将该信息发送到另一设备以呈现给用户。

31、处理器可以被配置为根据经修改的输出生成用户接口的屏幕。即，经修改的输出可以作为用户接口(gui)的屏幕提供给用户。处理器可以生成多个屏幕以向用户提供检测结果。例如，可以生成gui的单独屏幕以识别每个检测到的皮肤损伤。如果根据用户数据修改皮肤损伤检测模型的输出(例如，从检测结果中排除已知特征)，则需要生成更少的gui屏幕并将其呈现给用户。因此可以提高装置的效率。

32、根据第二方面的实施例，提供了一种调节皮肤损伤检测模型的方法，该方法包括：接收与用户相关联的用户数据；接收所述皮肤损伤检测模型的输出；根据所述用户数据修改所述皮肤损伤检测模型的输出，以为所述用户提供指示皮肤损伤检测的经修改的输出；以及输出所述经修改的输出。该方法可以是计算机实现的。

33、根据第三方面的实施例，提供了一种计算机程序，其在被执行时执行调节皮肤损伤检测模型的方法，所述方法包括：接收与用户相关联的用户数据；接收所述皮肤损伤检测模型的输出；根据所述用户数据修改所述皮肤损伤检测模型的输出，以为所述用户提供指示皮肤损伤检测的经修改的输出；以及输出所述经修改的输出。该方法可以是计算机实现的。

34、方法和计算机程序方面的特征和子特征可以应用于装置方面，反之亦然。

35、根据本发明第四方面的实施例，提供了一种存储如上所述的计算机程序的非暂时性计算机可读介质。

36、根据本发明的第五方面的实施例，提供了一种系统，包括：用户接口，用于接收用户输入的用户数据；用于检测用户的皮肤损伤的皮肤损伤检测模型；用于向用户显示输出信息的显示器；以及装置，装置被配置为：接收与用户相关联的用户数据；接收所述皮肤损伤检测模型的输出；根据所述用户数据修改所述皮肤损伤检测模型的输出，以向所述用户提供指示皮肤损伤检测的经修改的输出；以及将经修改的输出输出到所述显示器。

37、根据本发明优选实施例的装置或计算机程序可以包括方法方面的任何组合。根据其他实施例的方法或计算机程序可以被描述为计算机实现的，因为它们需要处理和存储能力。

38、根据优选实施例的装置被描述为被配置或布置成或简单地“执行”某些功能。这种配置或布置可以通过使用硬件或中间件或任何其他合适的系统。在优选实施例中，配置或安排由软件实现。

39、因此，根据一个方面，提供了一种程序，当将该程序加载到至少一个计算机上时，该程序将该计算机配置成成为根据前述设备定义中的任一项或其任何组合的设备。

40、根据另一方面，提供了一种程序，该程序在被加载到该至少一个计算机上时将该至少一个计算机配置成执行根据以上方法定义中的任一项或其任何组合的方法步骤。

41、通常，计算机可以包括被配置或布置为提供所定义的功能的所列出的元件。例如，该计算机可以包括存储器、处理器和网络接口。

42、本发明可以在数字电子电路中实现，或者在计算机硬件、固件、软件或它们的组合中实现。本发明可以实现为计算机程序或计算机程序产品，即有形地包含在非暂时性信息载体中的计算机程序，例如，在机器可读存储设备中或在传播的信号中，用于由一个或多个硬件模块执行或控制其操作。

43、计算机程序可以是独立程序，计算机程序部分或超过一个计算机程序的形式，且可以任何形式的编程语言(包含经编译或解译的语言)编写，且其可以任何形式部署，包含作为独立程序或作为模块、组件、子例程或适合用于数据处理环境中的其它单元。计算机程序可以被部署为在一个站点处的一个模块或多个模块上执行，或者分布在多个站点上并通过通信网络互连。

44、本发明的方法步骤可以由执行计算机程序的一个或多个可编程处理器来执行，以通过对输入数据进行操作并生成输出来执行本发明的功能。本发明的装置可以实现为编程硬件或专用逻辑电路，包括例如fpga(现场可编程门阵列)或asic(专用集成电路)。

45、例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是耦合到用于存储指令和数据的一个或多个存储器设备的用于执行指令的处理器。

46、根据特定实施例描述本发明。其它实施例在以下权利要求的范围内。例如，本发明的步骤可以以不同的顺序执行并且仍然实现期望的结果。

47、已经使用术语“存储器”、“处理器”等描述了本发明的元件。本领域技术人员将理解，这样的术语和它们的等同物可以指系统的在空间上分离但组合以提供所定义的功能的部分。同样，系统的相同物理部分可以提供所定义的功能中的两个或更多个。

48、例如，单独定义的装置可以适当地使用相同的存储器和/或处理器来实现。