技术特征：
1.一种视线估计模型建立方法，其特征在于，包括：迭代执行以下处理，直至当前的第一旋转分布损失满足第一约束条件：将第一用户面部图片以多个第一角度旋转得到多个第一旋转图片，所述第一用户面部图片包含视线方向标注；将所述多个第一旋转图片作为视线估计模型的输入，根据所述视线估计模型输出的多个第一视线估计结果、所述第一角度以及所述视线方向标注，通过第一旋转分布损失的计算，对所述视线估计模型进行约束调整；迭代执行以下处理，直至当前的第二旋转分布损失满足第二约束条件，以获得训练完成的视线估计模型：将第二用户面部图片以多个第二角度旋转得到多个第二旋转图片，所述第二用户面部图片不包含视线方向标注；以及，将所述多个第二旋转图片的部分图片输入所述视线估计模型，获得所述视线估计模型输出的多个第二视线估计结果；将所述多个第二旋转图片的其余图片输入伪标签生成模型，获得所述伪标签生成模型输出的多个第三视线估计结果；根据所述多个第二视线估计结果、所述多个第三视线估计结果以及所述第二角度，通过第二旋转分布损失的计算，对所述视线估计模型进行约束调整。2.根据权利要求1所述的方法，其特征在于，所述第一约束条件包括第一旋转分布损失不高于预定的阈值；所述将所述多个第一旋转图片作为视线估计模型的输入，根据所述视线估计模型输出的多个第一视线估计结果、所述第一角度以及所述视线方向标注，通过旋转分布损失计算，对所述视线估计模型进行约束调整，包括：根据所述多个第一角度，建立对应的第一旋转矩阵；以及，根据所述第一旋转矩阵，获得所述多个第一视线估计结果经反向旋转后的多个第一结果；计算每个第一结果和所述视线方向标注的误差，获得所述多个第一结果对应的第一绝对误差；以及，计算所述多个第一结果内部的第一一致性误差；根据当前的第一旋转分布损失，对所述视线估计模型进行约束调整；其中，所述第一旋转分布损失为所述第一绝对误差和所述第一一致性误差之和。3.根据权利要求1或2所述的方法，其特征在于，所述第二约束条件包括第二旋转分布损失不高于预定的阈值；所述根据所述多个第二视线估计结果、所述多个第三视线估计结果以及所述第二角度，通过第二旋转分布损失的计算，对所述视线估计模型进行约束调整，包括：根据所述第二角度，建立对应的第二旋转矩阵；以及，根据所述第二旋转矩阵，分别将所述多个第二视线估计结果和所述多个第三视线估计结果进行反向旋转，获得多个第二结果和多个第三结果；根据所述多个第三结果，得到所述第二用户面部图片的伪视线方向标注；计算每个第二结果和所述伪视线方向标注的误差，获得所述多个第二结果对应的第二绝对误差；以及，计算所述多个第二结果内部的第二一致性误差；根据当前的第二旋转分布损失，对所述视线估计模型进行约束调整；其中，所述第二旋转分布损失为所述第二绝对误差和所述第二一致性误差之和。4.根据权利要求3所述的方法，其特征在于，所述根据所述多个第三结果，得到所述第二用户面部图片的伪视线方向标注，包括：计算所述多个第三结果的平均值，作为所述第二用户面部图片的伪视线方向标注。5.根据权利要求3所述的方法，其特征在于，所述根据当前的第二旋转分布损失，对所
述视线估计模型进行约束调整之后，还包括：获取当前视线估计模型的模型参数和所述伪标签生成模型的模型参数；通过对所述视线估计模型的模型参数和所述伪标签生成模型的模型参数进行加权平均计算，获得调整参数；根据所述调整参数，对所述伪标签生成模型的模型参数进行调整。6.一种视线估计模型建立装置，其特征在于，包括：预训练模块，用于迭代执行以下处理，直至当前的第一旋转分布损失满足第一约束条件：将第一用户面部图片以多个第一角度旋转得到多个第一旋转图片，所述第一用户面部图片包含视线方向标注；将所述多个第一旋转图片作为视线估计模型的输入，根据所述视线估计模型输出的多个第一视线估计结果、所述第一角度以及所述视线方向标注，通过第一旋转分布损失的计算，对所述视线估计模型进行约束调整；建模模块，用于迭代执行以下处理，直至当前的第二旋转分布损失满足第二约束条件，以获得训练完成的视线估计模型：将第二用户面部图片以多个第二角度旋转得到多个第二旋转图片，所述第二用户面部图片不包含视线方向标注；以及，将所述多个第二旋转图片的部分图片输入所述视线估计模型，获得所述视线估计模型输出的多个第二视线估计结果；将所述多个第二旋转图片的其余图片输入伪标签生成模型，获得所述伪标签生成模型输出的多个第三视线估计结果；根据所述多个第二视线估计结果、所述多个第三视线估计结果以及所述第二角度，通过第二旋转分布损失的计算，对所述视线估计模型进行约束调整。7.根据权利要求6所述的装置，其特征在于，所述预训练模块，具体用于根据所述多个第一角度，建立对应的第一旋转矩阵；以及，根据所述第一旋转矩阵，获得所述多个第一视线估计结果经反向旋转后的多个第一结果；所述预训练模块，具体还用于计算每个第一结果和所述视线方向标注的误差，获得所述多个第一结果对应的第一绝对误差；以及，计算所述多个第一结果内部的第一一致性误差；所述预训练模块，具体还用于根据当前的第一旋转分布损失，对所述视线估计模型进行约束调整；其中，所述第一旋转分布损失为所述第一绝对误差和所述第一一致性误差之和。8.根据权利要求6或7所述的装置，其特征在于，所述建模模块，具体用于根据所述第二角度，建立对应的第二旋转矩阵；以及，根据所述第二旋转矩阵，分别将所述多个第二视线估计结果和所述多个第三视线估计结果进行反向旋转，获得多个第二结果和多个第三结果；所述建模模块，具体还用于根据所述多个第三结果，得到所述第二用户面部图片的伪视线方向标注；所述建模模块，具体还用于计算每个第二结果和所述伪视线方向标注的误差，获得所述多个第二结果对应的第二绝对误差；以及，计算所述多个第二结果内部的第二一致性误差；所述建模模块，具体还用于根据当前的第二旋转分布损失，对所述视线估计模型进行约束调整；其中，所述第二旋转分布损失为所述第二绝对误差和所述第二一致性误差之和。9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-5中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-5中任一项所述的方法。
技术总结
本申请提供一种视线估计模型建立方法、装置、电子设备及存储介质，包括：根据包含视线方向标注的用户面部图片以多个角度旋转得到的图片，基于旋转分布损失的计算，对视线估计模型迭代多次进行约束调整，以完成预训练；并且预训练完成后，根据不包含视线方向标注的用户面部图片以多个角度旋转得到的图片，基于伪标签生成模型提供的伪视线方向标注和旋转分布损失的计算，对伪标签生成模型和视线估计模型迭代多次进行约束调整，以完成视线估计模型的训练。以上方案，能够基于少量包含视线方向标注的图片，获得大量训练样本进行视线估计模型的训练，从而提高视线估计模型的精确度。从而提高视线估计模型的精确度。从而提高视线估计模型的精确度。
技术研发人员：陆峰 鲍屹伟
受保护的技术使用者：北京航空航天大学
技术研发日：2022.03.07
技术公布日：2022/7/8