相机识别的制作方法

1.本公开涉及用于改善车辆中的相机源验证的系统和方法。


背景技术：

2.车辆、建筑物和装置(诸如计算机和手机)可以被配备有计算装置、网络、传感器和控制器以获取和/或处理关于车辆、建筑物或装置的环境的数据并基于所述数据操作车辆、建筑物或装置。包括在车辆、建筑物或装置中的传感器可以提供关于寻求访问车辆、建筑物或装置的用户的数据。车辆、建筑物或装置的操作可以依赖于获取关于车辆、建筑物或装置周围的环境中的对象的准确且及时的数据。


技术实现要素：

3.计算装置可以用于基于从相机获取关于车辆、建筑物或装置的用户的图像数据来进行生物特征授权。例如，车辆中的相机可以通过以下操作用于安全应用：获取接近车辆、建筑物或装置的人类的图像，以及在基于生物特征授权确定人类的身份后，解锁车辆或建筑物的门以允许操作员进入车辆或包括在建筑物中的房间。类似地，包括在车辆内部或装置中的相机可以获取用户的一个或多个图像，并且在基于生物特征授权确定操作员的身份后，从人类接受命令以操作车辆或装置。相机还可以用于获取要传送到车辆中的计算装置以操作车辆的数据。例如，计算装置可以检测诸如行人和其他车辆等对象并操作车辆以便避开对象。相机还可以用于控制机器人操作或其他装置作为制造过程的一部分，其中机器人或其他制造装置的操作是基于使用从相机获得的图像的图像处理。
4.面部识别是一种类型的生物特征认证，其中人体测量值用于确定用户的身份以执行访问控制。面部识别软件的示例是面部跟踪器。面部跟踪器是用c++编写并且可根据mit软件许可在facetracker.net上获得的面部识别软件库。面部识别软件通常通过将基于获取的图像的计算的生理特性与来自训练后的模型的存储的生理特性进行比较来操作，所述训练后的模型是根据先前获取的登记图像而生成的。成功认证可以用于解锁车门以实现对车辆、建筑物或房间的访问，或者实现车辆、计算机或手机控制。车辆和制造控制操作可以取决于机器视觉软件来识别和定位相机的视野中的对象。
5.生物特征授权以及基于车辆和图像处理的制造控制操作都可以取决于使同一相机在登记或设置时间以及在质询或操作时获取数据。生物特征授权(例如面部识别)可以包括首先获取用户的登记图像。使用面部识别软件来处理登记图像，以将登记图像压缩成特征及其在登记图像中的位置的列表。在稍后的时间，当用户接近寻求访问的车辆、建筑物或装置时，获取第二图像或质询图像。用面部识别软件处理质询图像，以将质询图像压缩成面部特征及其在质询图像中的位置的列表。可以调用来自登记图像的特征和位置列表，并且可以由面部识别软件比较两个特征和位置列表，以确定质询图像中的用户是否与登记图像中的用户是同一个人。与使用未压缩的图像数据执行比较相比，使用压缩的特征列表执行比较提高了比较效率并减少了所需的计算资源。
6.基于处理图像数据的车辆操作可以取决于使同一相机设置操作并处理随后获取的图像数据。可以通过使用包括机器学习软件(诸如神经网络)的机器视觉软件来执行车辆操作，以确定由包括在车辆中的传感器获取的图像数据中的对象和位置。一旦通过调整包括在机器视觉软件中的参数来将机器视觉算法设置为使用来自特定传感器的图像数据运行，将相机更换为不同的相机就可能导致机器视觉软件产生错误结果，除非将参数更改为适应新相机。例如，如果机器视觉软件被编程为识别行人，则将相机更换为不同的相机可能导致机器视觉系统错误地识别行人。可以通过验证相机源来改善车辆操作。验证相机源是通过确定在设置与操作之间是否已将相机更换为不同的相机来确定图像源。
7.机器人和制造操作可以依赖于机器视觉软件来识别和定位相机的视野中的对象。例如，相机视野可以包括组装线，机器人将在所述组装线中拾取对象。同样，相机可以包括在制造机器中以使用机器视觉软件检查组装好的零件。这两种应用都可能需要设置，其中调整机器视觉软件中包括的参数以允许机器视觉软件正确地识别、定位和检查零件。将相机更换为不同的相机可能要求重新调整参数以允许机器视觉软件的正确操作。可以通过验证设置与操作之间的相机源变化来改善机器人和制造操作。
8.基于图像的认证或处理任务的困难可能在于“欺骗”。当伪造图像用作认证或机器视觉软件的输入时，发生欺骗。已授权用户的面部特征的伪造版本可能包括在通过组合来自用户的图像的图像数据而生成的虚假图像中，所述用户的图像来自不同的相机并且被编辑以看起来好像用户当前处于车辆、建筑物或装置周围的环境中。编辑后的图像数据可能被提供给计算装置以进行生物特征授权以欺骗计算装置对不存在的用户进行授权。例如，恶意操作员也可能将伪造图像提供给机器视觉系统，以对车辆或机器人的环境中的对象造成伤害。可以通过相机源验证来改善包括生物特征授权和机器视觉系统的基于图像的计算系统的安全且准确的操作。在其中相机源验证确定相机已被更换或已获取伪造图像的示例中，计算装置可以阻止进一步处理。例如，计算装置可以阻止图像被传送到执行用于机器人或制造的生物特征授权、车辆操作或机器视觉的过程。另外，计算装置可以传输指示因为相机源无法被验证为正确而阻止进一步处理的消息，这意味着当前图像的相机源与先前的相机相同。所述消息可以包括经由人机界面发给用户的诊断错误代码和通知，其指示相机源验证不成功。
9.本文讨论的技术可以通过将当前图像中的相机噪声值与基于先前获取的图像的相机噪声值进行比较来改善相机源验证。相机源验证是一种用于通过将相机固定模式噪声的量度与相机固定模式噪声的所存储量度进行比较来识别图像源的技术。相机固定模式噪声是特定相机图素或像素位置对相同光刺激的响应的随机误差。相机固定模式噪声的统计分布的量度如同指纹：没有两个相机具有相同的相机固定模式噪声分布。制造差异使得即使使用相同类型的图像传感器的相同品牌和型号的两个相机也将具有可以被测量和比较以区分这两个相机的固定模式噪声的特性分布。本文讨论的技术可以用于确定在登记或设置时间与质询或处理时间之间相机是否已经被更换。本文讨论的技术还可以确定是否已经向生物特征授权或机器视觉系统提供伪造图像。
10.本文讨论的技术通过在一系列区域中处理来自相机的图像以确定区域期望值来改善相机源验证。区域期望值是对图像的区域执行的相机噪声的量度。如本文所述的相机噪声确定可以基于相机的固定模式噪声来识别相机。固定模式噪声是在图像中的同一像素
位置处出现的图像噪声。如本文所述的相机噪声可以基于同一场景的图像来区分具有同一传感器类型、光学器件和电子器件的相机，其中相机之间的唯一差异可以是制造公差。可以针对彩色图像的红色通道、绿色通道和蓝色通道中的每一者确定相机噪声，或者可以基于通过组合红色通道、绿色通道和蓝色通道确定的单个灰度图像来确定相机噪声。本文讨论的技术使用比用于执行相机源验证的先前技术更少的计算资源来改善对相机噪声的确定。
11.本文讨论的技术通过识别与由给定相机获取的图像数据的固有属性的偏差来确定相机噪声。图像数据的固有属性包括图像数据中的噪声分布。本文讨论的技术使用相机噪声表征来创建未篡改相机与被篡改相机的二进制分类。例如，可以基于光响应非均匀性值(prnu)来确定相关噪声分布。prnu可以用于创建期望的噪声“指纹”以识别特定相机。尽管机器学习伪造算法可能在视觉上具有欺骗性，但是噪声“指纹”仍然是相机固有的。本文讨论的技术通过检测相机篡改，特别是包括人的伪造图像的相机篡改来改善车辆生物特征认证。
12.用于确定相机噪声“指纹”的另一种技术是测量相机暗电流噪声。相机暗电流噪声是在没有任何光刺激落在图素上的情况下由相机图素产生的电流量的量度。图素是相机传感器的将入射光转换成电流的部分。暗电流噪声是由于价电子被热激发到导带中而在传感器内自发产生的电子而引起的热噪声。在曝光期间收集的暗电子的数量的变化是暗电流噪声。暗电流噪声与信号电平无关，但是取决于传感器的温度。传感器中包括的每个图素可以具有暗电流噪声的特征水平，所述特征水平可以被组合以识别特定相机。
13.可以通过通常沿着传感器的一个或多个边缘掩蔽少量图素以确保没有光落在图素上来获取相机暗电流噪声数据。当获取来自相机的图像时，被掩蔽的图素将在图像中显示为暗像素。通过获取长曝光图像，将在图像的被掩蔽部分中产生足够的热电子以允许测量暗电流噪声。因为热电子服从泊松统计，所以与由热电子产生的电流相对应的暗电流噪声是像素值的平方根。由热电子产生的电流也是温度的函数，因此可以测量传感器的温度以确定要乘以像素值以补偿温度的温度因子。被掩蔽像素的所得暗电流噪声值可以被组合以与随后获取的暗电流噪声值进行比较，或者被保留为像素阵列以与随后获取的暗电流噪声值相关。
附图说明
14.图1是示例性车辆的图式。
15.图2是示例性图像区域的图式。
16.图3是包括区域的示例性图像的图式。
17.图4是示例性不对称区域选择的图式。
18.图5是用于确定相机篡改的示例性过程的流程图。
具体实施方式
19.图1是包括计算装置115和传感器116的车辆110的图式。计算装置(或计算机)115包括诸如已知的处理器和存储器。此外，存储器包括一种或多种形式的计算机可读介质并且存储指令，所述指令可由处理器执行来执行包括如本文所公开的各种操作。例如，计算装置115可以包括编程以操作车辆制动、推进(例如，通过控制内燃发动机、电动马达、混合动
力发动机等中的一者或多者来控制车辆110的加速度)、转向、气候控制、内部灯和/或外部灯等中的一者或多者，并且确定计算装置115(而不是人类操作员)是否以及何时控制此类操作。
20.计算装置115可以包括多于一个计算装置(例如，包括在车辆110中以用于监测和/或控制各种车辆部件的控制器等等(例如，动力传动系统控制器112、制动控制器113、转向控制器114等))，或例如经由如下文进一步所描述的车辆通信总线通信地耦合到所述多于一个计算装置。计算装置115通常被布置用于通过车辆通信网络(例如，包括车辆110中的总线，诸如控制器局域网(can)等)通信；另外地或可选地，车辆110网络可以包括诸如已知的有线或无线通信机制，例如以太网或其他通信协议。
21.计算装置115可经由车辆网络向车辆中的各种装置(例如，控制器、致动器、传感器(包括传感器116)等)传输消息和/或从所述各种装置接收消息。可选地或另外地，在计算装置115实际上包括多个装置的情况下，可使用车辆通信网络来在本公开中表示为计算装置115的装置之间通信。另外，如下文所提及，各种控制器或感测元件(诸如传感器116)可经由车辆通信网络向计算装置115提供数据。
22.此外，计算装置115可被配置用于通过车辆对基础设施(v对i)接口111经由网络与远程服务器计算机(例如，云服务器)通信，如下文所描述，所述接口包括硬件、固件和软件，所述硬件、固件和软件准许计算装置115经由诸如无线互联网或蜂窝网络的网络与远程服务器计算机通信。因此，v对i接口111可以包括被配置为利用各种有线和/或无线联网技术(例如，蜂窝、超宽带和有线和/或无线分组网络)的处理器、存储器、收发器等。计算装置115可被配置用于使用例如在邻近车辆110之间在移动自组网的基础上形成或通过基于基础设施的网络形成的车辆对车辆(v对v)网络(例如根据专用短程通信(dsrc)和/或类似的通信)通过v对i接口111与其他车辆110通信。计算装置115还包括诸如已知的非易失性存储器。计算装置115可以通过将数据存储在非易失性存储器中来记录数据，以供稍后检索并且经由车辆通信网络和车辆对基础设施(v对i)接口111传输到服务器计算机或用户移动装置。
23.如已经提及的，用于操作一个或多个车辆110部件(例如，制动、转向、推进等)的编程通常包括在存储于存储器中并且可由计算装置115的处理器执行的指令中。使用在计算装置115中接收的数据(例如，来自传感器116、服务器计算机等的传感器数据)，计算装置115可以做出各种确定和/或控制各种车辆110部件和/或操作。用于车辆110的一个或多个控制器112、113、114可以包括已知的电子控制单元(ecu)等，作为非限制性示例，包括一个或多个动力传动系统控制器112、一个或多个制动控制器113和一个或多个转向控制器114。控制器112、113、114中的每一个可以包括相应的处理器和存储器以及一个或多个致动器。控制器112、113、114可被编程并且连接到车辆110通信总线，诸如控制器局域网(can)总线或局域互连网(lin)总线，以从计算装置115接收指令并且基于指令而控制致动器。
24.传感器116可以包括已知经由车辆通信总线共享数据的各种装置。例如，固定到车辆110的前保险杠(未示出)的雷达可提供从车辆110到车辆110前方的下一个车辆的距离，或者设置在车辆110中的全球定位系统(gps)传感器可提供车辆110的地理坐标。由雷达和/或其他传感器116提供的距离和/或由gps传感器提供的地理坐标可以由计算装置115用来
操作车辆110。
25.车辆110通常是能够操作并且具有三个或更多个车轮的陆基车辆110(例如，客车、轻型卡车等)。车辆110包括一个或多个传感器116、v对i接口111、计算装置115以及一个或多个控制器112、113、114。传感器116可收集与车辆110和车辆110的操作环境相关的数据。作为举例而非限制，传感器116可以包括例如测高仪、相机、激光雷达、雷达、超声传感器、红外传感器、压力传感器、加速度计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、机械传感器(诸如开关)等。传感器116可以用于感测车辆110的操作环境，例如，传感器116可检测诸如天气状况(降雨、外部环境温度等)的现象、道路坡度、道路位置(例如，使用道路边缘、车道标记等)或目标对象(诸如邻近车辆110)的位置。传感器116还可以用于收集数据，包括与车辆110的操作相关的动态车辆110数据，诸如速度、横摆率、转向角度、发动机转速、制动压力、油压、施加到车辆110中的控制器112、113、114的功率电平、在部件之间的连接性以及车辆110的部件的准确且及时的性能。
26.图2是被划分为区域z
rc 202的示例性图像200的图式，其中r表示区域所占据的行并且c表示区域所占据的列。区域z
rc 202用于根据以下方程确定图像200的平均区域期望值e
[0027][0028]
其中row是行数，col是列数，z是区域数，a
rc
是区域标量系数，并且是每个区域z
rc 202的相机噪声。确定平均区域期望值e而不是计算总体相机噪声值提供了对可以用于识别特定相机的固定模式噪声的局部差异的更大灵敏度。可以针对每个区域z
rc 202调整区域标量系数a
rc
，以强调在固定模式噪声中具有较大方差的区域z
rc 202并弱化在固定模式噪声中具有较低方差的区域，由此增加区域期望值e的灵敏度。固定模式噪声的方差对应于每个区域的相机噪声值的方差。
[0029]
除了优化性能之外，确定区域期望值e而不是总体相机噪声值还允许通过允许对图像数据进行二次采样来减少计算资源。与计算和全局相机噪声量度相比，对于全标度分辨率，区域期望值e的性能提高了8％，其中所有图像像素都包括在计算中，对于四分之一分辨率，性能提高了20％，其中基于2
×
2邻域选择或确定一个像素，并且对于十六分之一标度分辨率，性能提高了22％，其中基于4
×
4邻域选择或确定一个像素。可以通过基于四分之一标度分辨率或十六分之一标度分辨率而不是全标度分辨率确定相机噪声值来改善本文讨论的技术。
[0030]
用于确定相机噪声的技术是计算光响应不均匀性(prnu)。通过首先根据以下方程计算区域z
rc 202的每个像素的无偏估计量来计算选定区域z
rc 202的prnu：
[0031][0032]
其中ii是第i个图像的像素值，并且wi是通过用去噪滤波器(诸如小波滤波器或平滑滤波器)对第i个图像进行滤波以形成滤波后图像i
i(0)
然后从未滤波图像ii中减去滤波后图像i
i(0)
以形成噪声残差wi＝i
i-i
i(0)
来确定的第i个图像的噪声残差。无偏估计量的均值为零；因此，可以通过从每个像素值中减去无偏估计量由此基于无偏估计量与图像200的区域z
rc 202中的像素值之间的差异确定prnu值来确定区域z
rc 202的prnu值。可以为区
域z
rc 202上的prnu值计算统计值，其包括均值、第一矩或方差、第二矩或偏斜度以及第三矩或峰度，从而产生灰度图像200的单个区域z
rc 202的四个区域期望值e。在图像200是rgb彩色图像的示例中，可以为每个彩色通道计算四个prnu值。为rgb彩色图像的每个通道计算四个prnu值(均值、方差、偏斜度和峰度)可以产生区域z
rc 202的12个prnu值。
[0033]
一旦确定了区域z
rc 202的prnu值并且确定了每个区域z
rc 202的区域期望值e，就可以将每种颜色和矩的区域期望值e与先前针对特定相机确定的区域期望值e进行比较以确定区域期望值e在用户确定的公差内是否与先前确定的区域期望值e匹配。基于先前由同一相机获取的一个或多个图像而分别将区域期望值e与先前确定的区域期望值e进行匹配可以确定相机是否与先前测量的相机是同一相机以及图像是否已被篡改。可以通过确定给定相机的区域期望值e的变化超过以经验确定的公差值来检测相机篡改。成功相机源识别要求所有四个矩(均值、方差、偏斜度和峰度)的区域期望值e在确定的公差值内与先前获取的所有颜色通道(灰度或rgb)的区域期望值e匹配。还可以针对相机暗电流噪声确定均值、方差、偏斜度和峰度，并且可以使用用于比较prnu值的相同技术来比较相机暗电流噪声统计值。
[0034]
区域期望值e是用于组合多个区域的相机噪声值的技术，所述技术维持对相机噪声值的微小变化的灵敏度，同时提供确定相机篡改所需的计算资源的减少。将区域期望值e在用户定义的公差内与先前从同一相机获取的区域期望值e成功地匹配可以确定相机未被篡改并且图像不是伪造的。可以通过获取多个图像的多个区域期望值e并测量区域期望值e的分布来以经验确定公差值。例如，公差值可以被设定为与均值相差一个标准偏差。在其中相机暗电流噪声用于确定区域期望值e的示例中，所述区域将与图像传感器的被掩蔽以允许测量暗电流噪声的部分重合。
[0035]
还可以将区域z
rc 202的区域期望值e与先前确定的区域期望值e进行比较，从而将区域期望值e输入到先前使用来自相机的多个图像的多个区域期望值e训练的神经网络以确定置信度分数预测。置信度分数预测指示区域z
rc 202的当前区域期望值e与先前为相机确定的区域期望值e的匹配程度。当置信度分数预测小于用户确定的阈值时，可以确定相机被篡改。可以通过多次计算同一相机的区域期望值e并确定区域期望值e的方差来以经验确定阈值。使用置信度分数预测来比较区域期望值e可以以增加检测伪造图像所需的计算资源为代价来提高验证相机身份的准确性。
[0036]
图3是被划分为区域z
rc 302的示例性图像300的图式。如上面关于图2所描述的计算prnu或相机暗电流噪声的优点是可以确定prnu值或相机暗电流噪声值而不必向相机呈现一个或多个预定目标(诸如在预定照明水平下的正弦图案)以便例如可以使用图像300来计算相机噪声值，因为尽管视野中有对象，但是方程的均值仍为零。计算区域z
rc 302的相机噪声值可以包括获取在相同位置中包括相同对象的多个图像数据帧，以及计算图像300中的每个区域z
rc 302的相机噪声值。相机噪声值可以被组合以形成期望区域值e，进行模板匹配以确定峰值相关能量，或者用神经网络进行处理以确定置信度分数预测。
[0037]
图4是被划分为区域z
rc 402的图像400的图式。并非所有区域z
rc 402在确定相机篡改方面都同样有效，因此可以使用不对称区域z
rc 402选择来选择要用于计算相机噪声值的区域z
rc 402的子集。在一些示例中，图像400的边缘附近的区域z
rc 402具有比图像400的中心附近的区域z
rc 402更高的固定模式噪声。而且，在使用暗电流噪声的示例中，图像400
的边缘附近的区域z
rc 402对应于图像传感器的被掩蔽区域。在一个示例中，可以基于相机噪声值的方差来调整标量系数a
rc
以赋予图像400的边缘附近的区域z
rc 402较大的权重并且赋予区域z
rc 402较小的权重。具有较高相机噪声值的区域可以通过增加标量系数a
rc
而被赋予较大的权重，而具有较低相机噪声值的区域可以通过减小标量系数a
rc
而被赋予较小的权重。在图4中，图像400中心的区域z
rc 402被设置为零，并且不计算这些区域z
rc 402的prnu值。基于固定模式图像噪声的方差来选择区域子集可以提高灵敏度并减少确定相机篡改所需的计算资源。本文描述的技术通过选择与图像固定模式图像噪声的大幅变化相对应的区域z
rc 402来改善相机源识别。例如，与具有大幅变化的区域z
rc 402相对应的相机噪声值可以乘以标量系数以选择区域。
[0038]
可以通过其他方式执行不对称区域z
rc 402选择，例如可以使用主分量分析来确定最可能指示相机篡改的区域z
rc 402。主分量分析假设一系列n个图像f中的每个帧或图像是包括m个像素的随机变量：
[0039]
f＝{f1，f2，
…
f1}
ꢀꢀ
(3)
[0040]
假设每个帧f
t
包括与场景的同一部分相对应的像素，这意味着帧f的对应像素之间的任何差异都是由相机噪声引起的。可以通过计算等于帧f上的像素之间的差异的协方差矩阵s来分析噪声。协方差矩阵s可以根据以下方程使用本征向量进行对角化以形成主分量y
α
：
[0041][0042]
其中e
t，α
是本征向量α的第t个分量。主分量可以被分为三组：固定模式噪声(fpn)、交互作用噪声(in)和时间噪声(tn)。fpn对应于在所有帧f中出现的图像数据，即，传感器的视野中的场景的图像。in对应于由相机数据获取过程引入到图像中的图像伪影，并且与帧f的像素数据变化最大的区域相关。例如，在将图像数据传输到计算装置115以进行解压缩之前压缩图像数据的相机引入与压缩/解压缩过程相关的模式噪声。tn是与电子噪声和光子量子噪声相对应的随机图像噪声。
[0043]
主分量y
α
的计算以分量占帧f的变化的顺序产生主分量y
α
。ftn占像素值的大部分变化，其次是in分量，最后是tn分量。可以通过关于均值和平均方差测量该系列n个帧中的每个像素的in和tn的值之间的平方差来确定in分量和tn分量的方差，以得到该系列图像以及因此相机的in和tn分数。可以对区域z
rc 302、402对in和tn分数求平均，并将其与先前为相机获得的in和tn分数进行比较，以确定相机是否已被篡改。in或tn分数的任何变化大于以经验确定的公差都将指示相机可能已被篡改，并且因此不应信任从相机获取的任何图像数据用于进行生物特征授权或自主车辆操作。
[0044]
本文讨论的关于相机源验证的技术可以进行强化学习。通过以下方式来执行强化学习：保持关于由使用中的相机源验证系统实现的正确结果和不正确结果的数量的统计值以及使用统计结果来重新训练相机源验证系统。例如，假设相机源验证系统用作生物特征授权系统的输入，所述生物特征授权系统用于在有效用户接近时解锁车辆、建筑物或装置。有效用户是具有预先安排的使用车辆、建筑物或装置的许可的用户。在相机源验证系统无法正确地验证相机源并且解锁车辆的示例中，用户可能会被迫利用钥匙或钥匙扣手动地解锁车辆，或者使用双因素授权系统，诸如输入发送到手机号码的代码。当用户被迫手动地解锁车辆时，相机源验证系统可以存储关于不正确的相机源数据的数据，所述数据包括用户
的图像。
[0045]
确定如何处理关于不正确相机源验证的数据可以基于奖励系统。奖励系统根据认证失败的结果来重新训练与相机源验证数据相对应的相机源验证系统。如果潜在用户无法获得对车辆的访问，则假设失败的尝试是所尝试的欺骗，并且将数据附加到可能的欺骗数据的训练数据集。如果潜在用户使用手动方法(例如，钥匙、钥匙扣或双因素授权)中的一者获得了访问，则将数据附加到将在训练过程中校正的漏报训练数据集。可以基于更新的训练数据集而定期地重新训练认证系统，或者当添加到训练数据集的新的相机源验证数据集的数量超过用户确定的阈值时重新训练所述认证系统。重新训练可以应用于基于高斯参数的确定性认证系统和基于深度神经网络的系统两者。
[0046]
可以在多个车辆之间联合或共享关于验证相机源失败的数据。可以将关于验证相机源失败的数据上传到包括训练数据集的中央储存库的基于云的服务器。可以将上传的相机源验证数据集和对应的结果聚合在更新的训练数据集中，并且可将基于新的数据而重新训练的结果与先前训练的结果进行比较。如果新的训练数据集提高了性能，则可使用相机源验证系统将新的训练模型推送或下载到车辆。应注意，不需要将关于用户身份的个人数据上传到基于云的服务器，仅需要相机源验证数据集和结果。通过基于从多个位置上传的训练数据而联合新的训练模型，可在相机源验证系统的生命周期内不断地提高所述系统的性能。
[0047]
图5是关于图1至图4描述的用于确定相机源是同一相机或未知相机中的一者的过程500的流程图的图式。过程500可以由计算装置(诸如计算装置115)的处理器实现，例如将来自传感器的信息作为输入以及执行命令以及输出对象信息。过程500包括可以所示次序执行的多个框。替代地或另外，过程500可以包括更少的框，或者可以包括以不同次序执行的框。
[0048]
过程500开始于框502，其中计算装置115利用第一相机获取一个或多个第一图像。如上面所讨论的，这些图像不需要呈现预定图案或照明。
[0049]
在框504处，计算装置115将第一图像划分为区域z
rc
。区域z
rc
可以是对称的并覆盖整个第一图像，如图2和图3所示，或者区域z
rc
可以是不对称的，如图4所示。
[0050]
在框506处，计算装置115基于每个区域z
rc
的prnu均值来计算第一图像的区域期望值e。计算装置还可以为一个或多个灰度图像的像素或一个或多个rgb彩色图像的红色通道、绿色通道和蓝色通道中的每一者计算方差、偏斜度和角化矩。
[0051]
在框508处，计算装置115将第一图像的区域期望值e与由先前相机获取的先前获取的区域期望值e进行比较。如果第一图像的区域期望值e在相应公差值内与先前获取的区域期望值e匹配，则过程500转到框510。如果第一图像的区域期望值e在公差值内与先前获取的区域期望值e不匹配，则过程500转到框512。还可以对与红色通道、绿色通道和蓝色通道的均值、方差、偏斜度和峰度相对应的多个区域期望值e执行比较。还可以通过使用模板匹配计算峰值相关能量或使用神经网络计算置信度分数预测以比较红色通道、绿色通道和蓝色通道的均值、方差、偏斜度和峰度来执行比较。
[0052]
在框510处，已经确定第一图像与先前获取的图像匹配，并且第一相机被确定为与先前相机是同一相机，并且图像不是伪造的。来自第一相机的图像可以由计算装置115输出，例如用于生物特征认证，以提供对车辆、建筑物或装置的访问。例如，车辆110中的计算
装置115可以包括生物特征认证软件，所述生物特征认证软件处理从传感器116接收的图像以确定人类的身份以授予或拒绝对车辆的访问。来自第一相机的图像也可以被传送到执行机器视觉软件的计算装置，所述机器视觉软件可以用于操作车辆、机器人或制造过程。由过程500执行的相机源验证通过替换可能在不同时间从不同传感器获取的人脸的图像或图像的一部分来检测并阻止欺骗生物特征认证过程。在框510处，可以将来自相机的一个或多个图像输出到生物特征认证过程，所述生物特征认证过程授予对车辆、包括房间或其他区域的建筑物的访问，或者授予对计算机或手机的访问。同样地，在计算装置115使用从相机接收的一个或多个图像来操作车辆110、机器人或制造机器的示例中，在框510处，可以将一个或多个第一图像输出到计算装置115。例如，计算装置115可以通过控制动力传动系统、转向装置和/或制动器来操作车辆以避开在一个或多个图像中检测到的行人或其他车辆，通过用机器视觉软件处理图像以确定图像中的对象和位置来操作机器人或操作制造机器。在框510之后，过程500结束。
[0053]
在框512处，已经确定第一图像与先前获取的图像不匹配，并且第一相机被确定为被篡改。来自第一相机的图像不能由计算装置115输出以用于车辆110、机器人或制造机器的生物特征认证或操作。阻止来自第一相机的图像的输出可以阻止通过包括实际上不在车辆传感器116的视野中的人脸的篡改图像(即，一个或多个虚假图像)的替换来欺骗生物特征认证。同样地，在检测到相机篡改时，可以通过不输出一个或多个图像来阻止基于一个或多个图像中的可能虚假对象进行的车辆110的操作。在框512之后，过程500结束。
[0054]
诸如本文讨论的那些的计算装置通常各自包括命令，所述命令可由诸如上文所识别的那些的一个或多个计算装置执行并且用于实施上文描述的过程的框或步骤。例如，上文讨论的过程框可体现为计算机可执行命令。
[0055]
计算机可执行命令可根据使用多种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术单独地或组合地包括但不限于：java
tm
、c、c++、python、julia、scala、visual basic、java script、perl、html等。一般而言，处理器(例如，微处理器)接收例如来自存储器、计算机可读介质等的命令，并且执行这些命令，从而执行一个或多个过程，包括本文描述的过程中的一个或多个。此类命令和其他数据可存储在文件中并且使用多种计算机可读介质来传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
[0056]
计算机可读介质包括参与提供可由计算机读取的数据(例如，命令)的任何介质。此种介质可采用许多形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘以及其他持久性存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(dram)。计算机可读介质的常见形式包括例如软磁盘、软盘、硬盘、磁带、任何其他磁性介质、cd-rom、dvd、任何其他光学介质、穿孔卡片、纸带、具有孔图案的任何其他物理介质、ram、prom、eprom、快闪eeprom、任何其他存储器芯片或盒式磁带、或者计算机可从中读取的任何其他介质。
[0057]
除非本文作出相反的明确指示，否则权利要求中使用的所有术语意在给出如本领域技术人员所理解的普通和通常的含义。特别地，除非权利要求叙述相反的明确限制，否则使用诸如“一个/种”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一个或多个。
[0058]
术语“示例性”在本文中以表示示例的意义使用，例如，对“示例性小部件”的引用应被解读为仅指代小部件的示例。
[0059]
修饰值或结果的副词“大约”意味着形状、结构、测量值、值、测定、计算等可能因材料、机加工、制造、传感器测量、计算、处理时间、通信时间等的缺陷而与确切描述的几何结构、距离、测量值、值、测定、计算等有偏差。
[0060]
在附图中，相同的附图标记指示相同的要素。另外，可改变这些要素中的一些或全部。相对于本文描述的介质、过程、系统、方法等，应理解，尽管此类过程等的步骤或框已被描述为根据特定的有序顺序发生，但是此类过程可通过以本文描述的次序以外的次序执行所描述的步骤来实践。还应理解，可同时执行某些步骤，可添加其他步骤，或者可省略本文描述的某些步骤。换句话说，本文对过程的描述是出于说明某些实施例的目的而提供的，并且决不应解释为限制所要求保护的发明。
[0061]
根据本发明，提供了一种计算机，其具有：处理器；以及存储器，所述存储器包括可由所述处理器执行以进行以下操作的指令：将由相机获取的一个或多个图像中的每一者划分为多个区域；基于所述一个或多个图像确定相应区域的相应相机噪声值；通过对每个区域的相机噪声值乘以标量系数求和并通过除以所述多个区域中的区域的数量将所述和归一化来确定所述一个或多个图像的一个或多个区域期望值；以及基于将所述一个或多个区域期望值与先前获取的期望区域值进行比较来将所述相机的源确定为同一相机或未知相机中的一者。
[0062]
根据一个实施例，所述指令包括用于进行以下操作的另外指令：当确定所述相机的所述源是所述同一相机时输出所述一个或多个图像。
[0063]
根据一个实施例，输出所述一个或多个图像以用于生物特征授权、车辆操作、机器人操作或制造操作。
[0064]
根据一个实施例，验证所述相机的所述源包括将所述一个或多个区域期望值与基于先前从所述相机获取的图像确定的一个或多个先前获取的区域期望值进行匹配。
[0065]
根据一个实施例，匹配包括确定在用户确定的公差内所述区域期望值等于所述先前获取的区域期望值。
[0066]
根据一个实施例，通过确定由方程确定的一个或多个光响应非均匀性值来确定所述相机噪声值，其中ii是由所述相机获取的第i个图像，并且wi是所述第i个图像的噪声残差。
[0067]
根据一个实施例，通过确定相机暗电流噪声来确定所述相机噪声值。
[0068]
根据一个实施例，所述区域被选择为对应于被确定为在固定模式图像噪声中具有更多变化的区域的子集。
[0069]
根据一个实施例，基于所述相机噪声值的方差来以经验确定所述标量系数。
[0070]
根据一个实施例，所述区域的子集被选择为对应于被确定为在固定模式图像噪声中具有大幅变化的区域。
[0071]
根据一个实施例，确定相机篡改包括通过基于先前从所述相机获取的图像执行与先前确定的相机噪声值的模板匹配来确定峰值相关能量。
[0072]
根据一个实施例，确定相机篡改包括用神经网络处理所述相机噪声值以确定置信
度分数预测，其中基于先前从所述相机获取的图像来训练所述神经网络。
[0073]
根据一个实施例，基于全标度分辨率、四分之一标度分辨率和十六分之一标度分辨率来确定所述相机噪声值。
[0074]
根据一个实施例，基于图像固定模式噪声均值、方差、偏斜度和峰度中的一者或多者来确定所述相机噪声值。
[0075]
根据一个实施例，基于所述一个或多个图像的红色通道、绿色通道和蓝色通道中的一者或多者来确定所述相机噪声值。
[0076]
根据本发明，一种方法包括：将由相机获取的一个或多个图像中的每一者划分为多个区域；基于所述一个或多个图像确定相应区域的相应相机噪声值；通过对每个区域的相机噪声值乘以标量系数求和并通过除以所述多个区域中的区域的数量将所述和归一化来确定所述一个或多个图像的一个或多个区域期望值；以及基于将所述一个或多个区域期望值与先前获取的期望区域值进行比较来将所述相机的源确定为同一相机或未知相机中的一者。
[0077]
在本发明的一个方面中，所述方法包括当确定所述相机的所述源是同一相机时输出所述一个或多个图像。
[0078]
在本发明的一个方面中，输出所述一个或多个图像以用于生物特征授权、车辆操作、机器人操作或制造操作。
[0079]
在本发明的一个方面中，验证所述相机的所述源包括将所述一个或多个区域期望值与基于先前从所述相机获取的图像确定的一个或多个先前获取的区域期望值进行匹配。
[0080]
在本发明的一个方面中，匹配包括确定在用户确定的公差内所述区域期望值等于所述先前获取的区域期望值。