1.一种基于深度学习与多模态数据融合的厨师服装穿戴实时检测方法,其特征在于,包括:
2.如权利要求1所述的一种基于深度学习与多模态数据融合的厨师服装穿戴实时检测方法,其特征在于,通过数据采集步骤获取rgb图像、深度图像和热成像数据等多模态原始数据,从三个不同的视角捕获环境信息,每个摄像头都提供了不同类型的数据,这些数据提供了物体的形状、纹理、颜色和温度信息。
3.如权利要求2所述的一种基于深度学习与多模态数据融合的厨师服装穿戴实时检测方法,其特征在于,采用数据预处理与增强技术对图像数据进行处理,其中包括随机旋转、随机裁剪和色彩扭曲;
4.如权利要求3所述的一种基于深度学习与多模态数据融合的厨师服装穿戴实时检测方法,其特征在于,通过3d-cnn模型对每种模态数据进行特征提取,并将这些特征合并,形成一个综合特征;
5.如权利要求4所述的一种基于深度学习与多模态数据融合的厨师服装穿戴实时检测方法,其特征在于,基于合并后的特征,全连接层用于分类预测,确定厨师是否正确穿戴服装;
6.如权利要求5所述的一种基于深度学习与多模态数据融合的厨师服装穿戴实时检测方法,其特征在于,采用shap工具对模型进行解释。