处理图像以进行皮肤分析和可视化皮肤分析的系统和方法与流程

本技术涉及使用神经网络的图像处理和皮肤病学。更具体地，本技术涉及处理图像以确定皮肤状况严重程度分析和可视化皮肤分析的系统和方法。

背景技术：

1、准确的皮肤分析在医学和化妆品领域都是重要的领域。寻常痤疮是一种常见的皮肤科疾病，85％的人在一生中的某个阶段受到影响[15]。已经努力通过对患者图像进行评分来系统地评估痤疮的严重程度。已经建立了标准系统，如全球痤疮严重程度表，以基于病变大小、密度、类型和分布通过整数评估每个患者或图像的痤疮分数。

2、诸如面部图像的图像以由图像的像素表示的编码方式呈现寻常痤疮(皮肤状况)。希望提供一种计算机实施的方法、计算设备和其他方面，其使用深度学习来执行或能够执行基于图像的自动诊断以从图像解码寻常痤疮的存在和/或严重程度。还希望处理这种图像以可视化(例如，通过修改源图像)皮肤分析。

技术实现思路

1、提供了处理与皮肤分析相关的图像的系统和方法。根据一个实施例，基于学习的模型通过使用深度神经网络(例如，卷积神经网络(cnn))执行皮肤病学评估。根据一个实施例，训练和评估cnn模型，其中问题被表述为具有仅整数标签的回归任务。在一个实施例中，引入了辅助分类任务(例如，包括性别和种族预测)以提高性能。在一个实施例中，与训练的深度神经网络模型相关联地使用其他图像处理技术，以可视化原始图像上的结果。结果表明，突出皮肤状况(例如，痤疮)影响区域的结果可视化也可以为模型提供清晰的解释。在一个实施例中，对源图像进行多个(k)数据增强，以产生k个增强图像以供处理。从处理k个增强图像产生的激活掩模(例如热图)用于定义最终图以可视化皮肤分析。

2、根据一个实施例，提供了一种皮肤诊断设备，包括提供耦合到存储单元的处理单元的电路，以配置皮肤诊断设备，以提供：皮肤分析单元，用于使用包括用于图像分类的回归器和分类器的深度神经网络对图像的像素进行分类，以生成针对皮肤状况的皮肤诊断。

3、在一个实施例中，处理单元和存储单元进一步配置皮肤诊断设备以提供可视化单元来注释图像以可视化皮肤诊断。

4、在一个实施例中，处理单元和存储单元进一步配置皮肤诊断设备以响应于皮肤诊断提供推荐单元，以推荐针对皮肤状况的产品。

5、在一个实施例中，处理单元和存储单元进一步配置皮肤诊断设备以提供用于购买针对皮肤状况的产品的电子商务界面。

6、在一个实施例中，皮肤诊断包括在对图像上的皮肤状况的严重程度进行分类的尺度上的整数值。在一个实施例中，深度神经网络被配置为接收归一化的面部图像作为输入，并输出表示在尺度上所有可能的整数值的概率分布的向量，并应用激活函数以确定皮肤诊断的整数值。

7、在一个实施例中，深度神经网络进一步配置有辅助任务，以确定种族预测和性别预测中的一个或两者。

8、在一个实施例中，深度神经网络包括用于图像分类的适配网络，适配网络适于生成皮肤诊断。

9、在一个实施例中，深度神经网络包括用于图像处理的卷积神经网络(cnn)。在一个实施例中，cnn包括作为编码器的残差网络，该残差网络在最终完全连接层之前具有全局池化操作，该最终完全连接层被配置为生成回归器和分类器输出。

10、在一个实施例中，深度神经网络是用组合损失函数训练的，该组合损失函数组合了回归器损失函数和分类器损失函数。在一个实施例中，组合损失函数符合等式：

11、

12、其中：

13、和分别是均方误差(mse)、交叉熵误差(ce)、性别预测和种族预测函数；以及

14、λmse,λce,λ性别和λ种族是权重因子。

15、在一个实施例中，使用包括来自用户移动设备的自拍图像的面部图像数据的数据集来训练深度神经网络。

16、在一个实施例中，深度神经网络被配置为生成热图，以可视化与图像相关联的皮肤诊断。在一个实施例中，深度神经网络被配置为应用类激活图(cam)技术来生成热图。

17、在一个实施例中，图像包括来自用户移动设备的自拍图像。

18、在一个实施例中，诊断设备包括个人使用的计算设备和经由通信网络提供皮肤诊断服务的服务器中的一个。在一个实施例中，个人使用的计算设备包括智能手机、平板电脑、膝上型计算机、个人计算机或具有或耦合到相机的其他计算设备中的一个。

19、在一个实施例中，推荐单元提供响应于皮肤诊断的治疗产品选择器，以获得产品推荐和治疗计划推荐中的至少一个。

20、在一个实施例中，处理单元和存储单元配置皮肤诊断设备以提供图像获取功能以接收图像。

21、在一个实施例中，皮肤状况是寻常痤疮。

22、在一个实施例中，提供了一种计算机实施的皮肤诊断方法，包括：接收图像并使用深度神经网络处理图像，深度神经网络被配置为对图像像素进行分类以确定针对皮肤状况的皮肤诊断，其中，深度神经被配置为回归器和分类器以确定皮肤诊断；以及可视化与图像相关联的皮肤诊断。

23、在一个实施例中，提供了一种计算机实施的方法，包括：接收皮肤的图像；使用被配置为产生皮肤分析结果和激活掩模的深度神经网络处理图像，以可视化与图像相关联的皮肤分析结果；以及提供激活掩模和显示的图像。在一个实施例中，处理图像包括：对图像执行多个(k)数据增强，以产生k个增强图像，以供深度神经网络进行处理；以及通过深度神经网络处理k个增强图像以产生k个激活掩模，并由此定义最终激活掩模。在一个实施例中，k个激活掩模和最终激活掩模包括热图。在一个实施例中，深度神经网络使用grad-cam技术产生相应的k个激活掩模。在一个实施例中，使用求平均值由k个激活掩模定义最终激活掩模。在一个实施例中，将阈值应用于来自求平均值的k个激活掩模的消除值。在一个实施例中，2<＝k<＝20。在一个实施例中，该方法包括在执行k个数据增强之前对皮肤的图像进行归一化。在一个实施例中，k个数据增强每个包括从仿射变换和水平翻转操作中随机选择的一个增强。在一个实施例中，该方法包括响应于皮肤分析结果提供产品推荐。在一个实施例中，该方法包括提供用于购买一个或多个产品的电子商务界面，该界面响应于产品推荐。在一个实施例中，产品推荐与用于使用推荐产品的治疗计划相关联。在一个实施例中，深度神经网络被配置为分析针对皮肤状况的图像。在一个实施例中，皮肤状况是寻常痤疮。在一个实施例中，深度神经网络包括卷积神经网络(cnn)。在一个实施例中，提供了一种包括电路的计算设备，该电路配置计算设备以执行前述任何实施例中的方法。

24、在一个实施例中，提供了一种方法，包括：训练卷积神经网络(cnn)，该卷积神经网络被配置为对图像的像素进行分类以确定皮肤诊断，其中：cnn包括用于图像分类的深度神经网络，该深度神经网络被配置为生成皮肤诊断；cnn被配置为回归器和分类器以确定皮肤诊断；以及使用包括来自用户移动设备的自拍图像的面部图像数据的数据集来训练cnn。

25、这些和其他方面对于本领域的普通技术人员将是显而易见的。对于任何计算设备相关方面，提供了相应的方法方面和相应的计算机程序产品方面，其中(非暂时性)存储设备存储指令，当由计算设备的处理单元执行时，该指令配置计算设备以执行方法方面。