特征提取方法、生物对象部位的状态识别方法及电子设备与流程

本申请涉及数据处理领域，具体而言，涉及一种特征提取方法、生物对象部位的状态识别方法及电子设备。

背景技术：

1、目前针对用户皮肤状态的识别方法，通常是通过采集用户皮肤的影像数据实现的。但是，影像数据反映的是某个时刻用户的皮肤状态，而用户真正的皮肤状态还会受到用户的个人情况、皮损的发展进程、日晒时间长等影响，导致通过影像数据对皮肤状态进行识别的准确率较低。

2、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本申请实施例提供了一种特征提取方法、生物对象部位的状态识别方法及电子设备，以至少解决相关技术中通过影像数据对皮肤状态进行识别的准确率较低的技术问题。

2、根据本申请实施例的一个方面，提供了一种特征提取方法，包括：获取生物对象的多模态数据，其中，多模态数据至少包括：图像数据和文本数据，图像数据是通过图像传感器和/或光学仪器对生物对象的目标部位进行图像采集得到的图像，文本数据是对生物对象和目标部位在预设时间段内的状态进行描述的数据；分别对图像数据和文本数据进行特征提取，得到图像数据的全局特征和局部特征，以及文本数据的全局特征；对图像数据的全局特征和局部特征，以及文本数据的全局特征进行特征融合，得到多模态数据的多模态特征。

3、根据本申请实施例的另一方面，提供了一种生物对象部位的状态识别方法，包括：获取生物对象的多模态数据，其中，多模态数据至少包括：图像数据和文本数据，图像数据是通过图像传感器和/或光学仪器对生物对象的目标部位进行图像采集得到的图像，文本数据是对生物对象和目标部位在预设时间段内的状态进行描述的数据；分别对图像数据和文本数据进行特征提取，得到图像数据的全局特征和局部特征，以及文本数据的全局特征；对图像数据的全局特征和局部特征，以及文本数据的全局特征进行特征融合，得到多模态数据的多模态特征；基于多模态特征对目标部位的状态进行识别，得到目标部位的状态识别结果。

4、根据本申请实施例的另一方面，还提供了一种生物对象部位的状态识别方法，包括：响应作用于操作界面上的输入指令，在操作界面上显示生物对象的多模态数据，其中，多模态数据至少包括：图像数据和文本数据，图像数据是通过图像传感器和/或光学仪器对生物对象的目标部位进行图像采集得到的图像，文本数据是对生物对象和目标部位在预设时间段内的状态进行描述的数据；响应作用于操作界面上的分类指令，在操作界面上显示目标部位的状态识别结果，其中，状态识别结果是基于多模态数据的多模态特征对目标部位的状态进行识别得到的，多模态特征是图像数据的全局特征和局部特征，以及文本数据的全局特征进行特征融合得到的，图像数据的全局特征和局部特征是对图像数据进行特征提取得到的，文本数据的全局特征是对文本数据进行特征提取得到的。

5、根据本申请实施例的另一方面，还提供了另一种生物对象部位的状态识别方法，包括：在虚拟现实vr设备或增强现实ar设备的呈现画面上展示生物对象的多模态数据，其中，多模态数据至少包括：图像数据和文本数据，图像数据是通过图像传感器和/或光学仪器对生物对象的目标部位进行图像采集得到的图像，文本数据是对生物对象和目标部位在预设时间段内的状态进行描述的数据；分别对图像数据和文本数据进行特征提取，得到图像数据的全局特征和局部特征，以及文本数据的全局特征；对图像数据的全局特征和局部特征，以及文本数据的全局特征进行特征融合，得到多模态数据的多模态特征；基于多模态特征对目标部位的状态进行识别，得到目标部位的状态识别结果；驱动vr设备或ar设备渲染展示状态识别结果。

6、根据本申请实施例的另一方面，还提供了又一种生物对象部位的状态识别方法，包括：通过调用第一接口获取生物对象的多模态数据，其中，第一接口包括第一参数，第一参数的参数值为多模态数据，多模态数据至少包括：图像数据和文本数据，图像数据是通过图像传感器和/或光学仪器对生物对象的目标部位进行图像采集得到的图像，文本数据是对生物对象和目标部位在预设时间段内的状态进行描述的数据；分别对图像数据和文本数据进行特征提取，得到图像数据的全局特征和局部特征，以及文本数据的全局特征；对图像数据的全局特征和局部特征，以及文本数据的全局特征进行特征融合，得到多模态数据的多模态特征；基于多模态特征对目标部位的状态进行识别，得到目标部位的状态识别结果；通过调用第二接口输出状态识别结果，其中，第二接口包括第二参数，第二参数的参数值为状态识别结果。

7、根据本申请实施例的另一方面，还提供了一种电子设备，包括：存储器，存储有可执行程序；处理器，用于运行程序，其中，程序运行时执行上述中任意一项的方法。

8、根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，该计算机可读存储介质包括存储的可执行程序，其中，在可执行程序运行时控制计算机可读存储介质所在设备执行上述中任意一项的方法。

9、在本申请实施例中，通过获取生物对象的多模态数据，其中，多模态数据至少包括：图像数据和文本数据，图像数据是通过图像传感器和/或光学仪器对生物对象的目标部位进行图像采集得到的图像，文本数据是对生物对象和目标部位在预设时间段内的状态进行描述的数据；分别对图像数据和文本数据进行特征提取，得到图像数据的全局特征和局部特征，以及文本数据的全局特征；对图像数据的全局特征和局部特征，以及文本数据的全局特征进行特征融合，得到多模态数据的多模态特征。容易注意到的是，多模态数据不仅包含图像数据，还包含文本数据，通过对多模态数据进行特征提取和特征融合来获取多模态特征，从而融合后的多模态特征可以准确表征用户的皮肤状态，使得利用融合后的多模态特征来进行皮肤状态的识别的准确度较高，达到了提高对皮肤状态进行识别的准确率，进而解决了相关技术中通过影像数据对皮肤状态进行识别的准确率较低的技术问题。

10、容易注意到的是，上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释，并不构成对本申请的限定。

技术特征：

1.一种特征提取方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在所述图像数据包括通过所述图像传感器采集到的第一图像的情况下，对所述图像数据进行特征提取，得到所述图像数据的全局特征和局部特征，包括：

3.根据权利要求2所述的方法，其特征在于，对所述第一图像进行全局编码，得到第一全局编码，包括：

4.根据权利要求3所述的方法，其特征在于，确定所述第一图像中的至少一个目标图像块，包括：

5.根据权利要求2所述的方法，其特征在于，对所述至少一个目标图像块进行局部编码，得到第一局部编码，包括：

6.根据权利要求2所述的方法，其特征在于，对所述第一全局编码和所述第一局部编码进行融合，得到所述第一全局特征和所述第一局部特征，包括：

7.根据权利要求1所述的方法，其特征在于，在所述图像数据包括通过所述光学仪器采集到的第二图像的情况下，对所述图像数据进行特征提取，得到所述图像数据的全局特征和局部特征，包括：

8.根据权利要求7所述的方法，其特征在于，对所述多个第二图像块进行特征提取，得到所述多个第二图像块的图像块编码，包括：

9.根据权利要求1所述的方法，其特征在于，在所述图像数据包括通过所述图像传感器采集到的第一图像，和通过所述光学仪器采集到的第二图像的情况下，对所述图像数据的全局特征和局部特征，以及所述文本数据的全局特征进行特征融合，得到所述多模态数据的多模态特征，包括：

10.一种生物对象部位的状态识别方法，其特征在于，包括：

11.一种生物对象部位的状态识别方法，其特征在于，包括：

12.一种生物对象部位的状态识别方法，其特征在于，包括：

13.一种生物对象部位的状态识别方法，其特征在于，包括：

14.一种电子设备，其特征在于，包括：

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的可执行程序，其中，在所述可执行程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至12中任意一项所述的方法。

技术总结
本申请公开了一种特征提取方法、生物对象部位的状态识别方法及电子设备。其中，该方法包括：获取生物对象的多模态数据，其中，多模态数据至少包括：图像数据和文本数据，图像数据是通过图像传感器和/或光学仪器对生物对象的目标部位进行图像采集得到的图像，文本数据是对生物对象和目标部位在预设时间段内的状态进行描述的数据；分别对图像数据和文本数据进行特征提取，得到图像数据的全局特征和局部特征，以及文本数据的全局特征；对图像数据的全局特征和局部特征，以及文本数据的全局特征进行特征融合，得到多模态数据的多模态特征。本申请解决了相关技术中通过影像数据对皮肤状态进行识别的准确率较低的技术问题。

技术研发人员：许静,黄凯,赵爽,王宇,高远,刘伟,周彦捷,吕乐
受保护的技术使用者：阿里巴巴达摩院（杭州）科技有限公司
技术研发日：
技术公布日：2024/1/14