灯光控制方法、装置、电子设备和存储介质与流程

1.本发明涉及智能控制技术领域，尤其涉及一种灯光控制方法、装置、电子设备和存储介质。


背景技术：

2.随着社会发展，产品生产方式越来越智能化。其中，在轮毂生产车间，车间中不同位置有着不同的灯光位置服务需求。特别是在某些特定的场景下，员工无法通过手动接触来控制灯光效果。因此，现代轮毂生产车间急需一种智能控制灯光的方式。


技术实现要素：

3.为解决轮毂生产车间无法智能对灯光进行控制的技术问题，本发明实施例提供一种灯光控制方法、装置、电子设备和存储介质。
4.本发明实施例的技术方案是这样实现的：本发明实施例提供了一种灯光控制方法，方法包括：分别获取通过光学摄像头进行拍摄采集的光学特征图和通过红外阵列传感器进行扫描采集的热力图；对所述光学特征图和所述热力图进行识别，确定用户的动作姿态；根据所述动作姿态确定所述用户的控制指令；根据所述控制指令对灯光进行控制。
5.上述方案中，所述光学摄像头和所述红外阵列传感器设置于同一位置区域，所述位置区域以相同的角度相同的距离进行拍摄或扫描。
6.上述方案中，所述对所述光学特征图和所述热力图进行识别，确定用户的动作姿态包括：获取所述光学特征图的拍摄时间和所述热力图的扫描时间；根据所述光学特征图的拍摄时间和所述热力图的扫描时间的时间戳，将所述光学特征图和所述热力图对齐；对对齐后的所述光学特征图和所述热力图进行识别，确定用户的动作姿态。
7.上述方案中，所述将所述光学特征图和所述热力图对齐包括：对所述光学特征图进行关键点标注；将标注后的所述光学特征图与所述热力图基于时间戳进行对齐。
8.上述方案中，所述对对齐后的所述光学特征图和所述热力图进行识别，确定用户的动作姿态包括：对对齐后的所述光学特征图和所述热力图进行融合，获得融合后的图像数据；对所述融合后的图像数据利用神经网络模型进行识别，确定用户的动作姿态。
9.上述方案中，所述对所述融合后的图像数据利用神经网络模型进行识别，确定用户的动作姿态包括：
对所述融合后的图像数据进行卷积处理，获得第一数据；对所述第一数据进行反卷积处理，获得第二数据；对所述第二数据进行识别处理，获得线性向量；根据所述线性向量确定用户的动作姿态。
10.上述方案中，所述根据所述控制指令对灯光进行控制包括：根据所述控制指令确定控制信息，所述控制信息包括以下至少之一：灯光强度、开关状态和照射位置；根据所述控制信息对灯光进行控制。
11.本发明实施例还提供了一种灯光控制装置，灯光控制装置包括：获取模块，用于分别获取通过光学摄像头进行拍摄采集的光学特征图和通过红外阵列传感器进行扫描采集的热力图；识别模块，用于对所述光学特征图和所述热力图进行识别，确定用户的动作姿态；确定模块，用于根据所述动作姿态确定所述用户的控制指令；控制模块，用于根据所述控制指令对灯光进行控制。
12.本发明实施例还提供了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，处理器用于运行计算机程序时，执行上述任一方法的步骤。
13.本发明实施例还提供了一种存储介质，存储介质中存储有计算机程序，计算机程序被处理器执行时，实现上述任一方法的步骤。
14.本发明实施例提供的灯光控制方法、装置、电子设备和存储介质，分别获取通过光学摄像头进行拍摄采集的光学特征图和通过红外阵列传感器进行扫描采集的热力图；对所述光学特征图和所述热力图进行识别，确定用户的动作姿态；根据所述动作姿态确定所述用户的控制指令；根据所述控制指令对灯光进行控制。采用本发明提供的方案能实现基于光学摄像头和红外阵列传感器来识别用户的动作姿态，并根据用户的动作姿态进行灯光的控制，无需用户手动接触控制，识别精度高。
附图说明
15.图1为本发明实施例灯光控制方法的流程示意图；图2为本发明应用实施例系统工作流程示意图；图3为本发明应用实施例标注位置示意图；图4为本发明应用实施例神经网络模型处理过程示意图；图5为本发明应用实施例统计结果示意图；图6为本发明实施例灯光控制装置的结构示意图；图7为本发明实施例计算机设备的内部结构图。
具体实施方式
16.下面将结合附图及实施例对本发明作进一步详细的描述。
17.本发明实施例提供了一种灯光控制方法，如图1所示，该方法包括：步骤101：分别获取通过光学摄像头进行拍摄采集的光学特征图和通过红外阵列
传感器进行扫描采集的热力图；步骤102：对所述光学特征图和所述热力图进行识别，确定用户的动作姿态；步骤103：根据所述动作姿态确定所述用户的控制指令；步骤104：根据所述控制指令对灯光进行控制。
18.具体地，本实施例可适用于轮毂生产车间的灯光控制。
19.这里，光学摄像头可为高清光学摄像头或超清光学摄像头。
20.实际应用时，通过该光学摄像头对用户进行拍摄，获取能显示用户人体姿态的光学特征图。通过该红外阵列传感器对用户进行远程扫描，获得能显示用户人体姿态的热力图。基于上述的光学特征图和热力图来进行用户控制指令的识别。
21.这里，用户的不同的人体姿态表征用户的不同控制指令。人体姿态与控制指令的对应关系可以预先进行设定，具体人体姿态与控制指令的对应关系可以根据情况进行设定。例如，可以设定用户上下抬起手臂表示开灯；用户踢腿表示关灯等。
22.进一步地，为准备地识别用户的动作以对灯光进行控制，这里，可将所述光学摄像头和所述红外阵列传感器设置于同一位置区域，所述位置区域以相同的角度相同的距离进行拍摄或扫描。
23.实际应用时，由于光学摄像头识别，存在障碍物遮挡而无法识别的情况，而红外阵列传感器识别存在热力图识别不准确的问题，因此，本技术采用光学摄像头和红外阵列传感器联合进行识别，能避免光学摄像头由于障碍物遮挡而引起的无法识别的情况，也能避免红外阵列传感器识别识别精度低的问题。将光学摄像头和红外阵列传感器联合进行识别，即能保证识别精度，同时也能避免障碍物遮挡无法识别。
24.由于本技术采用光学摄像头和红外阵列传感器联合进行识别，因此，为保证识别效果，需保证光学摄像头和红外阵列传感器位于同一位置区域。即保证光学摄像头和红外阵列传感器对用户的人体姿态进行采集时，是以相同的角度相同的距离进行采集，避免识别误差，提高识别精度。
25.进一步地，在一实施例中，所述对所述光学特征图和所述热力图进行识别，确定用户的动作姿态包括：获取所述光学特征图的拍摄时间和所述热力图的扫描时间；根据所述光学特征图的拍摄时间和所述热力图的扫描时间的时间戳，将所述光学特征图和所述热力图对齐；对对齐后的所述光学特征图和所述热力图进行识别，确定用户的动作姿态。
26.这里，由于摄像头采集和红外阵列传感器采集的时间频率可以不同，因此，为降低误差，可根据光学特征图的拍摄时间和所述热力图的扫描时间，利用时间戳，对光学特征图和所述热力图进行对齐，对对齐后的光学特征图和热力图进行识别，确定用户的动作姿态。
27.进一步地，在一实施例中，所述将所述光学特征图和所述热力图对齐包括：对所述光学特征图进行关键点标注；将标注后的所述光学特征图与所述热力图基于时间戳进行对齐。
28.实际应用时，可对光学特征图中的用户的18个特征点进行标注。具体18个特征点为右目、左目、右耳、左耳、鼻、首、右肩、左肩、右手首、右肘、左肘、左手首、右腰、左腰、右膝、左膝、右足首、左足首。
29.对光学特征图进行标注，可进一步提高对人体姿态的识别精度。这里，可采用标注软件进行标注。
30.进一步地，在一实施例中，所述对对齐后的所述光学特征图和所述热力图进行识别，确定用户的动作姿态包括：对对齐后的所述光学特征图和所述热力图进行融合，获得融合后的图像数据；对所述融合后的图像数据利用神经网络模型进行识别，确定用户的动作姿态。
31.这里，将光学特征图和热力图对齐后，可将光学特征图和热力图进行融合，将融合后的图像数据进行识别，识别用户的动作姿态。
32.具体地，在一实施例中，所述对所述融合后的图像数据利用神经网络模型进行识别，确定用户的动作姿态包括：对所述融合后的图像数据进行卷积处理，获得第一数据；对所述第一数据进行反卷积处理，获得第二数据；对所述第二数据进行识别处理，获得线性向量；根据所述线性向量确定用户的动作姿态。
33.这里，采用卷积处理和反卷积处理，可有助于特征的提取，避免提取特征不足、提取特征过小而导致无法识别或识别错误的技术问题。
34.进一步地，在一实施例中，所述根据所述控制指令对灯光进行控制包括：根据所述控制指令确定控制信息，所述控制信息包括以下至少之一：灯光强度、开关状态和照射位置；根据所述控制信息对灯光进行控制。
35.这里，可将控制指令分为强度控制姿态指令、开关控制姿态指令、位置控制姿态指令。
36.当所述控制指令为强度控制姿态指令时，根据该强度控制姿态指令控制灯光强度；当所述控制指令为开关控制姿态指令时，根据该开关控制姿态指令控制灯光的开启或关闭；当所述控制指令为位置控制姿态指令时，根据该位置控制姿态指令控制灯光的照射位置。
37.本发明实施例提供的灯光控制方法，分别获取通过光学摄像头进行拍摄采集的光学特征图和通过红外阵列传感器进行扫描采集的热力图；对所述光学特征图和所述热力图进行识别，确定用户的动作姿态；根据所述动作姿态确定所述用户的控制指令；根据所述控制指令对灯光进行控制。采用本发明提供的方案能实现基于光学摄像头和红外阵列传感器来识别用户的动作姿态，并根据用户的动作姿态进行灯光的控制，无需用户手动接触控制，识别精度高。
38.下面结合应用实施例对本发明再作进一步详细的描述。
39.为了解决轮毂生产车间中灯光定位与灯光开关、强度的控制，本应用实施例利用人体姿态识别算法来控制灯光的定位、开关、强度。具体地，本应用实施例通过识别系统识别光学摄像头和红外阵列传感器同时采集到的（人体灯光强度控制姿态指令、开关控制姿态指令、位置控制姿态指令）数据，获取指令数据，并将指令数据传输给灯光控制系统，灯光
控制系统相对应的做出灯光控制与定位工作。
40.具体地，本实施例的系统总体架构如下：通过普通光学摄像头拍摄获取光学特征图，在光学特征图上标注18个关键点；通过红外陈列传感器获取热力图；将标注了18个关键点的光学特征图和热力图融合成npz文件数据；利用姿态指令识别模型识别该npz文件数据，获得控制指令；基于该控制指令在灯光控制系统进行灯光控制。
41.从上可知，本实施例主要包括两部分：数据采集与处理部分、姿态指令识别部分。
42.这里，数据采集与处理部分包括：（1）普通光学摄像头采集光学特征图；（2）在光学特征图上进行人体的18个关键点标注；（3）红外阵列传感器采集热力图；（4）数据对齐处理，生成npz文件数据；同时，姿态指令识别部分包括：（1）基于npz文件数据训练hslan模型（可理解为一种识别模型）；（2）将采集到的姿态数据，输入到hslan,进行人体姿态识别；（3）将hslan识别到的人体姿态数据指令传输给灯光控制系统，灯光控制系统相应做出指令响应。
43.这里，需要说明的是，hslan模型的搭建可基于局部极小值局限性，学习过程收敛速度，精度综合考虑网络结构的隐层、隐层节点数、以及相关的函数。
44.具体地，参见图2，hslan模型的工作流程如下：步骤1：创建hslan；步骤2：创建hslan数据集
‑‑‑
npz数据集，将该数据将其作为hslan训练数据输入，训练hslan模型；步骤3：普通摄像头和红外阵列传感器采集人体姿态数据指令；步骤4：将采集的人体姿态数据指令输入到hslan训练好的模型中，hslan识别人体姿态数据指令；步骤5：灯光控制系统接收到人体姿态数据指令，并做出相应的指令。
45.这里，系统开发环境可按下表1配置：
另外，这里的红外阵列传感器可采用mxl90640型号。该型号的红外阵列传感器具体工作时，具体如下特征：（1）工作温度范围为
ꢀ‑
40
°
c 至 85
°
c，可测量的物体温度范围为
ꢀ‑
40
°
c 至 300
°
c以上；（2）在整个测量范围内保持高精度水平，可提供
±1°
c 的典型目标物体温度精度；（3）melexis mlx90640 是一款完全校准的 32 像素 x 24 像素红外阵列；（4）采用行业标准 4 引脚 to39 封装，带数字接口。mlx90640 包含 768 fir 像素。
46.另外，参见图3，在使用该红外阵列传感器在数据处理时，为准确进行特征提取，可进行数据融合。即通过普通光学摄像头采集光学特征图；然后在该光学特征图上标注人体的18个特征点；最后通过基于时间戳的数据对齐的方法，将热力图和光学特征图进行数据对齐融合生成npz数据组。这里，通过红外阵列传感器(mxl90640）采集热力图，并经过转化后，可得到一组热力数数据组。
47.进一步地，本实施例中的hslan模型可由人体姿态识别网络（又称为alphapose网络）、四层3d卷积、最大值池化（又称为maxpooling）、四层3d反卷积、全连接层等构成，具体网络结构与过程可如图4所示：在hslan模型中，先通过alphapose网络生成人体姿态关键点的置信图，再经过四层3d卷积、maxpooling、四层3d反卷积提取图像特征后，通过全连接层（又称为full connection层），生成线性向量，从而向灯光控制系统输入姿态指令（如“0”表示关、“1”表示开、“2”表示强度增加、“3”表示强度递减）。
48.这里，该hslan模型中的损失函数，可采用如下公式：
公式（1）其中：m表示类别数量；y
ic
表示符号函数（0或1），若样本i的真实类别等于c取1，否则为0；p
ic
表示观测样本i的类被数据与c的损失函数值。
49.另外，hslan系统的训练参数可按下表2设置：具体地，hslan算法搭建训练步骤可包括如下过程：输入：训练数据集输出：hslan模型步骤1：预处理图像；步骤2：普通光学特征图、热力图数据处理；步骤3：将处理后的数据写入 npz 文件；步骤4：定义hslan网络模型；这里，可设置初始学习率为0.05；步骤5：选择训练策略
‑‑‑
随机梯度下降；这里，可设置每100步下降一次，下降率为0.96；步骤6：设定合适的批次数量（又称为batch
‑
size）、学习率、优化器等参数；步骤7：hslan训练，打印训练过程中的损失值，保存 epoch 模型，使用验证数据集进行验证，打印验证结果，并存入训练日志；步骤8：导入测试数据，进行测试；步骤9：测试数据集上进行模型评估。
50.综上，本实施例基于红外阵列传感器的采集的热力图、普通光学图像采集的特征图进行了时间戳对齐处理，形成了新的数据集。并且搭建了hslan网络，提出了基于时间维
度的3d卷积和3d反卷积的多层网络结构，解决了特征信息不足、准确率低和特征面被卷积后特征面变小的问题。另外，参见图5，图5为不同步数下的直方图和基于热力图的姿态效果，基于hslan系统，对轮形数据集进行分析，构建知识图谱、训练集，搭建神经网络结构，具有较高的网络准确率。
51.为了实现本发明实施例的方法，本发明实施例还提供了一种灯光控制装置，如图6所示，灯光控制装置600包括：获取模块601、识别模块602、确定模块603和控制模块604；其中，获取模块601，用于分别获取通过光学摄像头进行拍摄采集的光学特征图和通过红外阵列传感器进行扫描采集的热力图；识别模块602，用于对所述光学特征图和所述热力图进行识别，确定用户的动作姿态；确定模块603，用于根据所述动作姿态确定所述用户的控制指令；控制模块604，用于根据所述控制指令对灯光进行控制。
52.实际应用时，获取模块601、识别模块602、确定模块603和控制模块604可由灯光控制装置中的处理器实现。
53.需要说明的是：上述实施例提供的上述装置在执行时，仅以上述各程序模块的划分进行举例说明，实际应用时，可以根据需要而将上述处理分配由不同的程序模块完成，即将终端的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的上述装置与上述方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
54.为了实现本发明实施例的方法，本发明实施例还提供了一种计算机程序产品，计算机程序产品包括计算机指令，计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取计算机指令，处理器执行计算机指令，使得计算机设备执行上述方法的步骤。
55.基于上述程序模块的硬件实现，且为了实现本发明实施例的方法，本发明实施例还提供了一种电子设备（计算机设备）。具体地，在一个实施例中，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器a01、网络接口a02、显示屏a04、输入装置a05和存储器（图中未示出）。其中，该计算机设备的处理器a01用于提供计算和控制能力。该计算机设备的存储器包括内存储器a03和非易失性存储介质a06。该非易失性存储介质a06存储有操作系统b01和计算机程序b02。该内存储器a03为非易失性存储介质a06中的操作系统b01和计算机程序b02的运行提供环境。该计算机设备的网络接口a02用于与外部的终端通过网络连接通信。该计算机程序被处理器a01执行时以实现上述任意一项实施例的方法。该计算机设备的显示屏a04可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置a05可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
56.本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
57.本发明实施例提供的设备，设备包括处理器、存储器及存储在存储器上并可在处
理器上运行的程序，处理器执行程序时实现上述任意一项实施例的方法。
58.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd
‑
rom、光学存储器等）上实施的计算机程序产品的形式。
59.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
60.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
61.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
62.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
63.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。存储器是计算机可读介质的示例。
64.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
65.可以理解，本发明实施例的存储器可以是易失性存储器或者非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（rom，read only memory）、可编程只读存储器（prom，programmable read
‑
only memory）、可擦除可编程只读存储器（eprom，erasable programmable read
‑
only memory）、电可擦除可编程只读存储器（eeprom，electrically erasable programmable read
‑
only memory）、磁性随机存取存储器（fram，ferromagnetic random access memory）、快闪存储器（flash memory）、磁
表面存储器、光盘、或只读光盘（cd
‑
rom，compact disc read
‑
only memory）；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器（ram，random access memory），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器（sram，static random access memory）、同步静态随机存取存储器（ssram，synchronous static random access memory）、动态随机存取存储器（dram，dynamic random access memory）、同步动态随机存取存储器（sdram，synchronous dynamic random access memory）、双倍数据速率同步动态随机存取存储器（ddrsdram，double data rate synchronous dynamic random access memory）、增强型同步动态随机存取存储器（esdram，enhanced synchronous dynamic random access memory）、同步连接动态随机存取存储器（sldram，synclink dynamic random access memory）、直接内存总线随机存取存储器（drram，direct rambus random access memory）。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
66.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
67.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。