屏幕的图像检测方法和装置的制造方法
【技术领域】
[0001] 本发明实施例涉及图像处理技术，尤其涉及一种屏幕的图像检测方法和装置。
【背景技术】
[0002] 随着终端设备的飞速发展，终端设备的生产周期也在不断的缩减，因而如何对终 端设备进行快速且有效的测试也就越来越重要。
[0003] 在现有技术中，一般通过终端自动化测试机器人系统对终端设备的屏幕进行检 测，在进行检测的过程中，通常利用机械手点击屏幕进行用例操作，如果操作失败则结束测 试且用例失败，如果操作完成，则通过工业相机获取当前屏幕所显示的图片，并将获取的图 片与预先保存的预期图片按像素进行比对，如果统计的平均误差小于预设值，则认为比对 成功。
[0004] 然而，在现有技术中，由于终端自动化测试机器人系统仅将在特定时刻抓取的图 像与预先保存的图像进行比对，因此，现有的测试方式无法准确检测概率性的花屏问题。
【发明内容】
[0005] 本发明实施例提供一种屏幕的图像检测方法和装置，可以准确检测终端设备屏幕 的概率性花屏的问题。
[0006] 第一方面，本发明实施例提供一种屏幕的图像检测方法，包括：
[0007] 依次获取屏幕上相邻的第一图像帧和第二图像帧；
[0008] 分别对所述第一图像帧和所述第二图像帧进行分割，获得所述第一图像帧的至少 一个第一分割子块和所述第二图像帧的至少一个第二分割子块；
[0009] 对于每个所述第二分割子块，将所述第二分割子块与所述第一图像帧中第一预测 区域中的所有第一分割子块分别进行相似度匹配，若所述第二分割子块与所述第一预测区 域中的所有第一分割子块均匹配失败，则将所述第二分割子块确定为匹配失败块；所述第 一预测区域为预测的所述第二分割子块在所述第一图像帧中的运动区域；
[0010] 确定所述第二图像帧中的所有匹配失败块，根据所述第二图像帧中的所有匹配失 败块，对所述第一图像帧进行检测。
[0011] 通过依次获取屏幕上相邻的第一图像帧和第二图像帧，分别对第一图像帧和第二 图像帧进行分割，获得第一图像帧的至少一个第一分割子块和第二图像帧的至少一个第二 分割子块，对于每个第二分割子块，将第二分割子块与第一图像帧中第一预测区域中的所 有第一分割子块分别进行相似度匹配，若与第一预测区域中的所有第一分割子块均匹配失 败，则将第二分割子块确定为匹配失败块，第一预测区域为预测的第二分割子块在第一图 像帧中的运动区域，确定第二图像帧中的所有匹配失败块，根据第二图像帧中的所有匹配 失败块，对第一图像帧进行检测。由于对屏幕的图像进行检测时，通过录制整个测试过程 的视频文件对每帧图像分别进行检测，因此可以准确检测终端设备屏幕的概率性花屏的问 题。
[0012] 结合第一方面，在第一方面的第一种可能的实现方式中，所述将所述第二分割子 块与所述第一图像帧中第一预测区域中的第一分割子块进行相似度匹配之前，所述方法还 包括：
[0013] 对第三图像帧进行分割，获得所述第三图像帧的第三分割子块；所述第三图像帧 为所述第一图像帧的前一个图像帧；
[0014] 对于每个所述第一分割子块，将所述第一分割子块分别与所述第三图像帧中第二 预测区域中的所有第三分割子块进行相似度匹配；所述第二预测区域为预测的所述第一分 割子块在所述第三图像帧中的运动区域；
[0015] 若匹配成功，则根据匹配成功的第三分割子块与所述第一分割子块的位置信息， 确定所述第三分割子块与所述第一分割子块的位置偏差矢量；
[0016] 根据所述位置偏差矢量与所述第二预测区域，确定所述第一预测区域。
[0017]由于通过动态预估第一预测区域，可以有效抑制平缓运动自身带来的图像偏差， 由此极大的提高了检测的有效性。
[0018] 结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的 实现方式中，所述根据所述第二图像帧中的所有匹配失败块，对所述第一图像帧进行检测， 包括：
[0019] 将所述第二图像帧中的所有匹配失败块分别进行分类，获得至少一个类队列；
[0020] 根据所述类队列，确定各类队列的最小包围区域；所述最小包围区域为包含同一 类队列的失败块，且面积最小的矩形区域；
[0021] 对所述最小包围区域中的图像进行区域直方图比对；
[0022] 根据比对结果对所述第一图像帧进行检测。
[0023] 通过构造空间分类器对匹配失败块进行分类，可以有效获取异常区域的空间结 果。
[0024] 结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式 中，所述对所述最小包围区域中的图像进行区域直方图比对之前，所述方法还包括：
[0025] 判断所述最小包围区域的面积是否小于预设阈值；
[0026] 若所述最小包围区域的面积小于预设阈值，则将所述最小包围区域丢弃；或者，
[0027] 若所述最小包围区域的面积不小于预设阈值，则执行对所述最小包围区域中的图 像进行区域直方图比对的操作。
[0028] 由于在最小包围区域的面积小于预设阈值时，可以将该最小包围区域丢弃，从而 降低噪声干扰，提高图像识别稳定性。
[0029] 结合第一方面的第二种或第一方面的第三种可能的实现方式，在第一方面的第四 种可能的实现方式中，所述对所述最小包围区域中的图像进行区域直方图比对，包括：
[0030] 将所述最小包围区域中的图像由RGB颜色空间转换为HSL颜色空间；
[0031] 分别计算所述HSL颜色空间中的色相、明度和饱和度的巴氏距离；
[0032] 根据所述色相巴氏距离、所述明度巴氏距离和所述饱和度的巴氏距离，计算所述 区域直方图的比对相似度；
[0033] 根据所述比对相似度对所述最小包围区域中的图像进行比对。
[0034] 由于根据直方图的特性，分别进行亮度及颜色的分布统计，可进一步抑制图像空 间位置移动带来的偏差。
[0035] 第二方面，本发明实施例提供一种屏幕的图像检测装置，包括：
[0036] 获取模块，用于依次获取屏幕上相邻的第一图像帧和第二图像帧；
[0037] 分割模块，用于分别对所述第一图像帧和所述第二图像帧进行分割，获得所述第 一图像帧的至少一个第一分割子块和所述第二图像帧的至少一个第二分割子块；
[0038] 匹配模块，用于对于每个所述第二分割子块，将所述第二分割子块与所述第一图 像帧中第一预测区域中的所有第一分割子块分别进行相似度匹配，若所述第二分割子块与 所述第一预测区域中的所有第一分割子块均匹配失败，则将所述第二分割子块确定为匹配 失败块；所述第一预测区域为预测的所述第二分割子块在所述第一图像帧中的运动区域；
[0039] 确定模块，用于确定所述第二图像帧中的所有匹配失败块；
[0040] 检测模块，用于根据所述第二图像帧中的所有匹配失败块，对所述第一图像帧进 行检测。
[0041] 结合第二方面，在第二方面的第一种可能的实现方式中，所述装置还包括：
[0042] 所述分割模块，还用于对第三图像帧进行分割，获得所述第三图像帧的第三分割 子块；所述第三图像帧为所述第一图像帧的前一个图像帧；
[0043] 所述匹配模块，还用于对于每个所述第一分割子块，将所述第一分割子块分别与 所述第三图像帧中第二预测区域中的所有第三分割子块进行相似度匹配；所述第二预测区 域为预测的所述第一分割子块在所述第三图像帧中的运动区域；
[0044] 所述确定模块，还用于在所述匹配模块匹配成功时，根据匹配成功的第三分割子 块与所述第一分割子块的位置信息，确定所述第三分割子块与所述第一分割子块的位置偏 差矢量；
[0045] 所述确定模块，还用于根据所述位置偏差矢量与所述第二预测区域，确定所述第 一预测区域。
[0046] 结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第二种可能的 实现方式中，所述检测模块，包括：
[0047] 分类单元，用于将所述第二图像帧中的所有匹配失败块分别进行分类，获得至少 一个类队列；
[0048] 确定单元，用于根据所述类队列，确定各类队列的最小包围区域；所述最小包围区 域为包含同一类队列的失败块，且面积最小的矩形区域；
[0049] 比对单元，用于对所述最小包围区域中的图像进行区域直方图比对；
[0050] 检测单元，用于根据比对结果对所述第一图像帧进行检测。
[0051] 结合第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式 中，所述装置还包括：
[0052] 判断模块，用于判断所述最小包围区域的面积是否小于预设阈值；
[0053] 丢弃模块，用于在所述判断模块判断出所述最小包围区域的面积小于预设阈值 时，将所述最小包围区域丢弃；
[0054] 比对模块，用于在所述判断模块判断出所述最小包围区域的面积不小于预设阈 值，对所述最小包围区域中的图像进行区域直方图比对。
[0055] 结合第二方面的第二种或第二方面的第三种