人工智慧云端肤质与皮肤病灶识别方法及其系统与流程

1.本发明涉及一种肤质及皮肤病灶检测技术，尤其涉及一种人工智慧云端肤质与皮肤病灶识别方法及其系统。


背景技术：

2.一般来说，皮肤科医生除了从外观判断皮肤状况之外，还会通过问诊来综合判断皮肤是否出现异常状况。通过外观及问诊结果，医生可以初步判断皮肤的状态。举例来说，若皮肤上的痣在一段时间内明显变大或有异常凸起，则有可能是病变的前兆。一旦发生病变便需要花费时间治疗而造成身体的负担，因此提早发现病情以及时进行治疗是避免受苦的最好方法。
3.然而，目前皮肤变化状态均需通过医生的专业判断，一般用户容易忽略皮肤的改变，且难以自己初步判断皮肤是否出现异常状况。因此，如何有效且明确地得知皮肤状况，是本领域技术人员所欲解决的问题之一。


技术实现要素：

4.有鉴于此，本发明提供一种人工智慧云端肤质与皮肤病灶识别方法及其系统，其可同时考量皮肤图像及用户回答问题的内容，通过皮肤图像及用户参数决定皮肤识别结果。
5.本发明提供一种人工智慧云端肤质与皮肤病灶识别系统，包括电子装置及服务器。电子装置取得提取图像及多个用户参数。服务器连接所述电子装置，所述服务器包括存储装置及处理器。存储装置存储多个模块。处理器耦接所述存储装置，存取并执行存储于所述存储装置的所述多个模块，所述多个模块包括信息接收模块、特征矢量取得模块、肤质参数取得模块及肤质识别模块。信息接收模块接收所述提取图像及所述多个用户参数；特征矢量取得模块取得所述提取图像的第一特征矢量，并计算所述多个用户参数的第二特征矢量；肤质参数取得模块根据所述第一特征矢量及所述第二特征矢量取得关联于肤质参数的输出结果；以及肤质识别模块根据所述输出结果决定对应于所述提取图像的肤质识别结果。
6.在本发明的一实施例中，上述特征矢量取得模块取得所述提取图像的所述第一特征矢量的运作包括：利用机器学习模型取得所述提取图像的所述第一特征矢量。
7.在本发明的一实施例中，上述特征矢量取得模块计算所述多个用户参数的所述第二特征矢量的运作包括：利用矢量表示各所述多个用户参数；将矢量化的各所述多个用户参数合并并输入至机器学习模型的全连接层以取得所述第二特征矢量。
8.在本发明的一实施例中，上述多个用户参数包括性别参数、年龄参数、患部面积大小、时间参数或患部变化参数的组合。
9.在本发明的一实施例中，上述肤质参数取得模块根据所述第一特征矢量及所述第二特征矢量取得关联于所述肤质参数的所述输出结果的运作包括：合并所述第一特征矢量
及所述第二特征矢量以取得合并矢量；以及输入所述合并矢量至机器学习模型的全连接层以取得所述输出结果，其中所述输出结果关联于所述肤质参数的目标机率。
10.在本发明的一实施例中，上述肤质识别模块根据所述肤质参数决定对应于所述提取图像的所述肤质识别结果的运作包括：根据所述输出结果决定对应于所述提取图像的所述肤质识别结果。
11.在本发明的一实施例中，上述机器学习模型包括卷积神经网络或深度神经网络。
12.本发明提供一种人工智慧云端肤质与皮肤病灶识别方法，适用于具有处理器的服务器，所述方法包括下列步骤：接收提取图像及多个用户参数；取得所述提取图像的第一特征矢量，并计算所述多个用户参数的第二特征矢量；根据所述第一特征矢量及所述第二特征矢量取得关联于肤质参数的输出结果；以及根据所述输出结果决定对应于所述提取图像的肤质识别结果。
13.为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
14.图1示出本发明一实施例的人工智慧云端肤质与皮肤病灶识别系统的示意图；
15.图2示出本发明一实施例的电子装置及服务器的元件方块图；
16.图3示出本发明一实施例的人工智慧云端肤质与皮肤病灶识别方法的流程图；
17.图4示出本发明一实施例的人工智慧云端肤质与皮肤病灶识别方法的流程图。
具体实施方式
18.现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同元件符号在附图和描述中用来表示相同或相似部分。
19.本发明同时考量皮肤图像及用户回答问题的内容，利用机器学习模型取得皮肤图像的特征矢量，并计算用户参数的特征矢量。接着根据皮肤图像的特征矢量及用户参数的特征矢量取得关联于肤质参数的输出结果以决定皮肤识别结果。藉此，可同时考量皮肤图像及用户回答问题的内容来决定皮肤病灶或肤质的识别结果。
20.本发明的部份实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部份，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的权利要求中的方法以及人工智慧云端肤质与皮肤病灶识别系统的范例。
21.图1示出本发明一实施例的人工智慧云端肤质与皮肤病灶识别系统的示意图。参照图1，人工智慧云端肤质与皮肤病灶识别系统1至少包括但不仅限于电子装置10及服务器20。其中服务器20可分别与多个电子装置10连接。
22.图2示出本发明一实施例的电子装置及服务器的元件方块图。参照图2，电子装置10可包括但不仅限于通信通信装置11、处理器12及存储装置13。电子装置10例如是具备运算功能的智能手机、平板电脑、便携式电脑、个人电脑或其他装置，本发明不在此限制。服务器20可包括但不仅限于通信通信装置21、处理器22及存储装置23。服务器20例如是电脑主机、远端服务器、后台主机或其他装置，本发明不在此限制。
23.通信通信装置11及通信通信装置21可以是支援诸如第三代(3g)、第四代(4g)、第五代(5g)或更后世代行动通信、wi-fi、乙太网络、光纤网络等通信收发器，以连线至互联网。服务器20通过通信通信装置21与电子装置10的通信通信装置11通信连接以与电子装置10互相传输数据。
24.处理器12耦接通信通信装置11及存储装置13，处理器22耦接通信通信装置21及存储装置23，并且处理器12及处理器22可以分别存取并执行存储于存储装置13及存储装置23的多个模块。在不同实施例中，处理器12及处理器22可以分别例如是中央处理单元(central processing unit，cpu)，或是其他可编程的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digital signal processor，dsp)、可编程控制器、特殊应用集成电路(application specific integrated circuits，asic)、可编程逻辑装置(programmable logic device，pld)或其他类似装置或这些装置的组合，本发明不在此限制。
25.存储装置13及存储装置23例如是任何型态的固定式或可移动式随机存取存储器(random access memory，ram)、只读存储器(read-only memory，rom)、快闪存储器(flash memory)、硬盘或类似元件或上述元件的组合而用以存储可分别由处理器12及处理器22执行的程序。于本实施例中，存储装置23用于存储缓冲的或永久的数据、软件模块(例如，信息接收模块231、特征矢量取得模块232、肤质参数取得模块233及肤质识别模块234等)等数据或档案，且其详细内容待后续实施例详述。
26.图3示出本发明一实施例的人工智慧云端肤质与皮肤病灶识别方法的流程图。请同时参照图2及图3，本实施例的方法适用于上述人工智慧云端肤质与皮肤病灶识别系统1，以下即搭配电子装置10及服务器20的各项装置及元件说明本实施例的人工智慧云端肤质与皮肤病灶识别方法的详细步骤。本技术领域人员应可理解，上述存储在服务器20的软件模块不一定要在服务器20上执行，也可以是下载并存储至电子装置10的存储装置13中，而由电子装置10执行所述软件模块进行人工智慧云端肤质与皮肤病灶识别方法。
27.首先，处理器22存取并执行信息接收模块231以接收提取图像及多个用户参数(步骤s301)。其中，提取图像及各用户参数可以由服务器20中的通信通信装置21自电子装置10接收。在一实施例中，提取图像及多个用户参数先由电子装置10取得。详细而言，电子装置10耦接于图像来源装置(未示出)并且从图像来源装置取得提取图像。图像来源装置可以是配置于电子装置10的相机，也可以是存储装置13、外接的存储卡或远端服务器等用以存储图像的装置，本发明不在此限制。也就是说，用户例如是操作电子装置10通过相机拍摄图像，或者是操作从装置中取得先前拍摄好的图像，并且将选择好的图像传输至服务器20作为提取图像供后续操作使用。
28.此外，服务器20会提供多个问题要求用户回答，当用户通过电子装置10回答这些问题后，回答的结果将传输至服务器20作为用户参数供后续操作使用。其中，用户例如是通过电子装置10显示的一用户界面来回答问题，用户界面可以是通信软件的聊天室、网页、语音助理或其他可供互动功能的软件界面，本发明不在此限制。
29.接着，处理器22存取并执行特征矢量取得模块232以取得提取图像的第一特征矢量，并计算多个用户参数的第二特征矢量(步骤s302)。
30.详细而言，为了取得提取图像的第一特征矢量，处理器22先通过皮肤病变图像样
本及用户参数样本训练机器学习模型内各层的参数值。在一实施例中，上述机器学习模型例如是利用类神经网络(neural network)等技术所建构的机器学习模型，以类神经网络为例，其输入层与输出层之间是由众多的神经元和链接组成，其中可包含多个隐藏层(hidden layer)，各层节点(神经元)的数目不定，可使用数目较多的节点以增强该类神经网络的强健性。在本实施例中，机器学习模型例如是卷积神经网络(convolutional neural network，cnn)或深度神经网络(deep neural networks，dnn)，本发明不在此限制。以卷积神经网络为例，可以将皮肤病变图像所对应的参数数值作为机器学习模型的输入至卷积神经网络，并利用反向传递(backward propagation)进行训练以利用最后的目标函数(loss/cost function)来进行各层参数的更新，而可训练学习模型内各层的参数值，其中例如是以误差均方和(mean square error)当作目标函数。其中，各皮肤病变图像样本可以是用现有的resnet50、inceptionv3等卷积神经网络模型架构来训练。
31.接着可将图像输入至训练好的机器学习模型来取得图像特征。在一实施例中，特征矢量取得模块232利用机器学习模型取得提取图像的第一特征矢量。也就是说，在训练机器学习模型后，处理器22将提取图像输入至训练好的机器学习模型，并且提取提取图像的第一特征矢量。
32.另一方面，特征矢量取得模块232还会计算多个用户参数的第二特征矢量。其中，特征矢量取得模块232例如是利用矢量表示各用户参数，将矢量化的各用户参数合并并输入至机器学习模型的全连接层(fully connected layer)以取得第二特征矢量。其中，合并后的矢量化的各用户参数的维度与问题数量和问题内部的选项有关。
33.详细而言，特征矢量取得模块232会将服务器20从电子装置10接收到的用户参数使用指示函数(indicator function)来编码。举例而言，若问题是用户的性别，当用户回答性别为男，则产生矢量(1,0,0)；当用户回答性别为女，则产生矢量(0,1,0)；当用户不想回答性别，则产生矢量(0,0,1)。在编码完所有用户参数之后，特征矢量取得模块232会将编码完的各用户参数合并以取得合并矢量，并将合并后的合并矢量输入至全连接层来进行杂交并输出n维的矢量。其中，全连接层会考量各用户参数彼此之间的交互作用而产生出矢量维度比原先各用户参数的矢量维度还多的第二特征矢量，例如，输入16维度的矢量至全连接层可以产生256维度的矢量。在一实施例中，多个用户参数包括性别参数、年龄参数、患部面积大小、时间参数或患部变化参数其中之一或其组合。
34.接着，处理器22存取并执行肤质参数取得模块233以根据第一特征矢量及第二特征矢量取得关联于肤质参数的输出结果(步骤s303)。其中，肤质参数取得模块233合并第一特征矢量及第二特征矢量以取得合并矢量，并且输入合并矢量至机器学习模型的全连接层以取得输出结果，其中输出结果关联于肤质参数的目标机率。在一实施例中，由于通过机器学习模型取得的第一特征矢量得到可能是二维结构的图片，因此可以先将第一特征矢量转换成一维空间的矢量后再与第二特征矢量合并产生合并矢量。
35.详细而言，肤质参数取得模块233会合并特征矢量取得模块232取得的提取图像的第一特征矢量以及从多个用户参数计算出的第二特征矢量，并将第一特征矢量及第二特征矢量合并为合并矢量。接着，肤质参数取得模块233将合并矢量输入至全连接层，并在输出层(output layer)产生输出结果。其中输出结果的数量与想分类(classification)的输出结果数目有关，假设最终希望输出结果分为两个类别(例如：皮肤无状况与皮肤有状况)，则
在输出层有两个输出类别的肤质参数，本发明不在此限制输出类别的数量。最终合并矢量输入至全连接层会转化成各个输出类别的机率(介于0到1之间)。在本实施例中，肤质参数例如是“痣”、“青春痘”或“肤况”等不同组输出类别中分别分为“恶变风险较低的痣/恶变风险较高的痣”、“青春痘/非青春痘”或“肤况好/肤况不好”等不同的分类，并且输出结果关联于各组输出类别中各肤质参数的目标机率。
36.最后，处理器22存取并执行肤质识别模块234以根据输出结果决定对应于提取图像的肤质识别结果(步骤s304)。其中，肤质识别模块234根据输出结果决定对应于提取图像的肤质识别结果。详细而言，输出结果中机率最大的即是最有可能的类别。
37.基于上述，本发明的实施例在输入图像至机器学习模型取得图像的特征矢量，并利用全连接层计算出用户参数的矢量后，将两者矢量合并作为数据输入机器学习模型的全连接层，并通过全连接层产生输出结果。也就是说，本发明除了考虑图片的信息以外，还同时考虑非图片信息，通过建立能够同时考虑图片及非图片信息的机器学习模型，以更真实地模拟临床判断肤质的情境并使模型精准度提高。
38.以下实施例以“痣”为例，其中输出类别“痣”分为“恶变风险较低的痣”与“恶变风险较高的痣”两个肤质参数，并且在本实施例中，使用卷积神经网络作为机器学习模型的范例。图4示出本发明一实施例的人工智慧云端肤质与皮肤病灶识别方法的流程图。请参照图4，首先，处理器22接收提取图像及多个用户参数(步骤s401)。在本实施例中，用户利用电子装置10拍摄或从电子装置10选取提取图像，提取图像的图片大小例如是按照现有的卷积神经网络的输入格式与尺寸设置为224x224，因此提取图像可以表示为(224,224,3)的矩阵，其中3代表rgb颜色的位阶。并且用户回答服务器20提供的多个问题，其中问题例如是包括“性别(男,女,不想回答)”、“年龄(20岁以下,21～40岁,41-65岁,66岁以上)”、“患部面积(小于等于0.6厘米,大于0.6厘米)”、“存在时间(小于等于1年,大于1年且小于2年,大于2年,没注意)”或“患部变化(最近一个月有变化,最近一个月无变化,没注意)”的组合。处理器22接收由电子装置10传输的提取图像及多个用户参数。
39.接着，处理器22利用卷积神经网络取得提取图像的第一特征矢量(步骤s4021)。并且处理器22计算多个用户参数的第二特征矢量(步骤s4022)。其中，处理器22将提取图像输入至训练好的卷积神经网络来取得提取图像的第一特征矢量，其中卷积神经网络系利用关于“痣”的图像来训练。并且服务器20接收用户的回答后，处理器22将回答编码为矢量，例如在本实施例中，若用户回答为男、20岁以下、小于等于0.6厘米、小于等于1年、最近一个月有变化，则矢量化的回答为性别(1,0,0)、年龄(1,0,0,0)、患部面积(1,0)、存在时间(1,0,0,0)及患部变化(1,0,0)。接着，处理器22在维度上合并矢量化的各多个用户参数以取得合并矢量，并且处理器22输入合并矢量至机器学习模型的全连接层以取得第二特征矢量。
40.接着，处理器22合并第一特征矢量及第二特征矢量以取得合并矢量(步骤s403)。接着，处理器22输入合并矢量至卷积神经网络的全连接层以取得输出结果(步骤s404)。在本实施例中，处理器22对第一特征矢量及第二特征矢量在维度上进行合并以取得合并矢量，并且输入合并矢量至卷积神经网络的全连接层以取得输出结果，其中输出结果关联于输出类别“痣”中两个肤质参数“恶变风险较低的痣/恶变风险较高的痣”分别的目标机率。
41.最后，处理器22根据输出结果决定对应于提取图像的肤质识别结果(步骤s405)。在本实施例中，输出结果中若肤质参数“恶变风险较低的痣”的机率大则决定提取图像中包
括恶变风险较低的痣，若肤质参数“恶变风险较高的痣”的机率大则决定提取图像中包括恶变风险较高的痣。
42.在另一实施例中，若卷积神经网络系利用“青春痘”等其他关于病灶的图像或是“肤况”等关于肤质的图像来训练，并且针对“青春痘”或“肤况”等病灶或肤质提出不同的用于判断病灶或肤质的问题作为用户参数，则本发明的系统及方法建立的模型可用于协助判断“青春痘”、“肤况”或其他的病灶或肤质的图像是否符合特定病灶或肤质的状态。
43.在另一实施例中，本发明实施例提供的人工智慧云端肤质与皮肤病灶识别方法所建立的人工智慧云端肤质与皮肤病灶识别模型，可利用反向传递进行训练以利用最后的目标函数来进行各层参数的更新，以使模型的识别精准度提高。
44.综上所述，本发明提供的人工智慧云端肤质与皮肤病灶识别方法及其系统可同时考量皮肤图像及用户回答问题的内容，在输入图像至机器学习模型取得图像的特征矢量，并利用全连接层计算出用户参数的矢量后，将图像的特征矢量及用户参数的矢量合并作为数据输入机器学习模型的全连接层，并通过全连接层产生输出结果。藉此，可根据皮肤图像的特征矢量及用户参数的特征矢量取得各肤质参数的机率以决定病灶或肤质的识别结果。也就是说，本发明除了考虑图片的信息以外，还同时考虑非图片信息，通过建立能够同时考虑图片及非图片信息的机器学习模型，以更真实地模拟临床判断病灶或肤质时以患部状态及问答结果判断的情境来使模型精准度提高。
45.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。