基于前庭反射机理的仿生电子稳像方法及装置的制造方法
【技术领域】
[0001] 本发明设及图像处理技术领域，具体而言，设及一种基于前庭反射机理的仿生电 子稳像方法及装置。
【背景技术】
[0002] 内耳前庭器是人体平衡感受器官，它包括=对半规管和前庭的楠园囊和球囊。内 耳前庭解剖图如图1所示，半规管内有壶富崎，楠园囊球囊内有耳石器(又称囊斑），它们都 是前庭末梢感受器，可感受各种特定运动状态的刺激。半规管感受角加(减)速度运动刺激， 而楠园囊、球囊的囊斑感受水平或垂直的直线加(减)速度的变化。当我们乘坐的交通工具 发生旋转或转弯时（如汽车转弯，飞机作园周运动），角加速度作用于两侧内耳相应的半规 管，当一侧半规管壶腹内毛细胞受刺激弯曲形变产生正电位同时，对侧毛细胞则弯曲形变 产生相反的电位(负电），运些神经末梢的兴奋或抑制性电信号通过神经传向前庭中枢并感 知此运动状态；同样当乘坐工具发生直线加(减)速度变化，如汽车启动、加减速刹车、船舶 晃动、颠鑛，电梯和飞机升降时，运些刺激使前庭楠园囊和球囊的囊斑毛细胞产生形变放 电，向中枢传递并感知。
[0003] 之所W人眼能实现快速的稳像，还是依赖着前庭半规管对旋转加速度、平移加速 度的前馈。当位置、速度尚未发生改变时，加速度已经能提前感觉出来，通过运个提前预测 量的神经机制，由于人眼惯量远比头部小，因此人眼球具有足够的时间对变化进行反应，实 现快速稳像。同时，人眼本身的短时记忆功能，使得前后帖图像的匹配，也提供了运动估计 信息，两者结合实现稳像。
[0004] 电子稳像技术是应用计算机数字图像处理和电子技术相结合的方法，去除因为平 台随机运动而引入的图像扰动，致使图像序列稳定的技术。电子稳像系统在国外已经有20 多年的研究历史进入到21世纪，稳像技术在应用上有了长足的进步。国内对于数字稳像技 术的研究起步较晚，但随着稳像技术的需求日益广泛，近年来不少研究者致力于基于DSP的 电子稳像的研究与实现。随着机器人的广泛应用，仿生技术得到了发展，电子稳像算法也逐 渐应用到仿生技术中。但是，目前基于类人眼眼球前庭动眼反射机理的仿生电子稳像算法 稳定性较差、耗时较多、实时性较差。
【发明内容】
[0005] 为解决上述问题，本发明的目的在于提供一种稳定性好、耗时少、实时性好的基于 前庭反射机理的仿生电子稳像方法及装置。
[0006] 本发明提供了一种基于前庭反射机理的仿生电子稳像方法，该方法包括：
[0007] 步骤1，采用的双目视觉系统模拟人眼的眼球双目前庭动眼反射，第一摄像机模拟 左眼的前庭动眼反射，第二摄像机模拟右眼的前庭动眼反射；
[000引步骤2，第一电机与第一摄像机连接，FPGA板卡测量所述第一电机的电流突变，得 到所述第一摄像机的旋转加速度，第二电机与第二摄像机连接，所述FPGA板卡测量所述第 二电机的电流突变，得到所述第二摄像机的旋转加速度；
[0009] 步骤3,第一应变片力传感器与所述第一摄像机连接，所述FPGA板卡测量所述第一 应变片力传感器的应变，得到所述第一摄像机的平移加速度，第二应变片力传感器与所述 第二摄像机连接，所述FPGA板卡测量所述第二应变片力传感器的应变，得到所述第二摄像 机的平移加速度；
[0010] 步骤4,将步骤2中得到的旋转加速度和步骤3中得到的平移加速度作为运动反馈 量反馈给稳像决策单元；
[0011] 步骤5,所述FPGA板卡对所述第一摄像机拍摄的图像的前帖图像、后帖图像进行匹 配运动估计，同时，所述FPGA板卡对所述第二摄像机拍摄的图像的前帖图像、后帖图像进行 匹配运动估计，所述FPGA板卡把匹配运动结果反馈给所述稳像决策单元；
[0012] 步骤6,所述稳像决策单元根据步骤4得到的运动反馈量和步骤5得到的匹配运动 结果反馈结果，通过稳像算法，得到所述第一摄像机和所述第二摄像机补偿运动所需旋转 的速度和方向，同时将得到的所需旋转的速度和方向发送给伺服控制单元，控制所述第一 摄像机和所述第二摄像机的运动，实现所述第一摄像机和所述第二摄像机拍摄图像的稳 像。
[0013] 作为本发明进一步的改进，步骤5中的匹配运动估计方法的具体步骤为：
[0014] 步骤SI,对所述第一摄像机和所述第二摄像机拍摄的图像，提取SIFT特征，进行 特征点匹配；
[0015] 步骤S2,利用视差原理计算特征点的=维坐标；
[0016] 步骤S3,匹配所述第一摄像机拍摄的图像的前帖图像、后帖图像的SIFT特性，匹配 所述第二摄像机拍摄的图像的前帖图像、后帖图像的SIFT特征，转换所有SIFT特征得到同 组特征点帖间的运动=维坐标变化，通过最小二乘法求解特征点方程，得到旋转矩阵和平 移向量。
[0017] 作为本发明进一步的改进，所述稳像算法采用的算法模型为：
[00%] Hang表示所述第一摄像机和所述第二摄像机的旋转的角度，房表示所述第一摄像 机和所述第二摄像机平移的加速度，El表示所述第一摄像机的输出，Er表示所述第二摄像机 的输出；
[0027] 其中，C(S)为半规管的传递函数，Tc为半规管的时间常数，N(S)为神经积分器的传 递函数，Tv为神经积分器的时间常数，O(S)为耳石器官的传递函数，Td为耳石器官的时间常 数，P(S)为眼球运动装置的传递函数，Te为眼球运动装置的时间常数，Ke为眼球运动装置的 增益，Cl为半规管与前庭神经核间的增益，Ql为外展神经核与动眼神经核间的常数增益，曰2为 外展神经核与对侧动眼神经核间的常数增益，03为外展神经核与对侧动眼神经核间的常 数增益，e耳石器管与前庭神经核间的增益，&为外展神经核与前庭神经核间的常数增益，& 为对侧前庭器官与外展神经核间的增益，gn为内直肌的常数增益，gi为外直肌的常数增益，m 为平移前庭动眼反射在神经积分器中的增益，n为旋转前庭动眼反射在神经积分器中的增 益 rm. O
[0028] 本发明还提供了一种基于前庭反射机理的仿生电子稳像装置，包括：
[0029] 第一摄像机，其与第一电机连接，所述第一摄像机模拟左眼的前庭动眼反射，所述 第一电机模拟所述第一摄像机的旋转运动；
[0030] 第二摄像机，其与第二电机连接，所述第二摄像机模拟右眼的前庭动眼反射，所述 第二电机模拟所述第二摄像机的旋转运动；
[0031] 第一应变片力传感器，其与所述第一电机连接，所述第一应变片力传感器模拟所 述第一摄像机的平移运动；
[0032] 第二应变片力传感器，其与所述第二电机连接，所述第二应变片力传感器模拟所 述第二摄像机的平移运动；
[0033] FPGA板卡，其与所述第一电机、所述第二电机、所述第一应变片力传感器、所述第 二应变片力传感器和稳像决策单元连接，所述FPGA板卡测量所述第一电机和所述第二电机 的电流突变，得到所述第一摄像机和所述第二摄像机的旋转加速度，所述FPGA板卡所述第 一应变片力传感器和所述第二应变片力传感器的应变，得到所述第一摄像机和所述第二摄 像机的平移加速度，所述FPGA板卡对所述第一摄像机和所述第二摄像机拍摄的图像的前帖 图像、后帖图像进行匹配运动估计，同时，所述FPGA板卡把匹配运动结果、旋转加速度和平 移加速度反馈给稳像决策单元；
[0034] 稳像决策单元，其与所述FPGA板卡和伺服控制单元连接，所述稳像决策单元接收 匹配运动结果、旋转加速度和平移加速度，并根据稳像算法，得到所述第一摄像机和所述第 二摄像机补偿运动所需旋转的速度和方向，同时将得到的所需旋转的速度和方向发送给伺 服控制单元；
[0035] 伺服控制单元，其与所述稳像决策单元、所述第一摄像机和所述第二摄像机连接， 所述伺服控制单元根据所述稳像决策单元得到的旋转的速度和方向，控制所述第一摄像机 和所述第二摄像机的运动，实现所述第一摄像机和所述第二摄像机拍摄图像的稳像。
[0036] 作为本发明进一步的改进，所述FPGA板卡进行匹配运动估计的方法具体包括：
[0037] 步骤SI,对所述第一摄像机和所述第二摄像机拍摄的图像，提取SIFT特征，进行特 征点匹配；
[0038] 步骤S2,利用视差原理计算特征点的=维坐标；
[0039] 步骤S3,匹配所述第一摄像机拍摄的图像的前帖图像、后帖图像的SIFT特性，匹配 所述第二摄像机拍摄的图像的前帖图像、后帖图像的SIFT特征，转换所有SIFT特征得到同 组特征点帖间的运动=维坐标变化，通过最小二乘法求解特征点方程，得到旋转矩阵和平 移向量。
[0040] 作为本发明进一步的改进，所述稳像决策单元采用的稳像算法的算法模型为：
[0049] Hang表示所述第一摄像机和所述第二摄像机的旋转的角度，式。表示所述第一摄像 机和所述第二摄像机平移的加速度，El表示所述第一摄像机的输出，Er表示所述第二摄像机 的输出；
[0050] 其中，C(S)为半规管的传递函数，Tc为半规管的时间常数，N(S)为神经积分器的传 递函数，Tv为神经积分器的时间常数，O(S)为耳石器官的传递函数，T。为耳石器官的时间常 数，P(S)为眼球运动装置的传递函数，Te为眼球运动装置的时间常数，Ke为眼球运动装置的