专利名称：由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统的制作方法
技术领域：
本发明涉及一种针对脚型进行三维测量和重建的系统，能够利用多个相机同时摄取脚型的多幅图像全自动地重建脚型三维表面，可用于脚型测量、鞋及楦定制、运动分析、 足部医疗等多个领域，具有使用简单、成本低廉等特点。
背景技术：
随着社会现代化程度和物质生活水平的不断提高，人们对自己所穿鞋子的舒适性和个性化的需求日益增强。世界上不存在两个完全相同的脚型，即使穿同一鞋号的两个人， 其脚的长短不同、胖瘦不同、足弓高度也会不同，走路的姿势也不相同，同一双鞋穿在脚上舒适度不会相同。尤其是从事特定职业的人员，如运动员、舞蹈演员、军人等，对个性化鞋靴的需求更加迫切。要设计出一双个性化的鞋靴，脚型三维测量是首要的技术环节。目前脚型的三维测量主要有四种方法，包括1、手工测量方法，例如传统的老方法，用卡尺、软尺等工具测量关键部位，速度较慢、精度低，而且不能直接得到三维模型。2、激光测量方法，如CANFIT-PLUS Yeti 3D Foot karmer，是目前十分流行的三维数据获取方式，精度高、适用范围广，但设备的价格昂贵。主要部件有高速摄像头、激光发射器、信号处理器、高精度步进电机等。由于采用了扫描的方式，因此速度慢，一般在数分钟以上；并且脚型的首尾，精度很低，难于处理。但是激光测量方法易受物件表面光学性质影响，由于脚型这种人体表面皮肤纹理丰富，光学性质多变，因此并不适用。3、接触式测量，如威力手，价格便宜，但是手动操作、速度较慢、精度较低。而且最重要的是，对于脚型这种包裹着柔软肌肤的对象，接触式测量并不合适。4、相机测量方法，如R)ot in 3D with foam impression以及潘云鹤的系列方法，等等。Foot in 3D with foam impression是手持式的二相机设备，围绕目标对象拍照，然后从图像进行三维重建。由于设备在移动，因此不同角度的图像需要进行坐标转换， 整个技术实现难度较大，需要手工调节的地方比较多，精度一般，目前还没有全自动的方法。潘云鹤捉供了一系列的相机测量脚型方法，“基于特定网格图案的三维脚型测量和建模的方法”(中请号200310108856. 2)需要穿上印有特殊网格的袜子，有一定的限制，同时精度也比较低；“面向稀疏网格的基于标准脚变形的三维脚型快速获取方法”(申请号 2005100612723)及“面向稀疏网格的基于曲面细分的三维脚型数据测量方法”(申请号 200510061271. 9)，先建立标准脚型库，然后手工对齐稀疏网格模型和目标脚型，再根据的脚长脚宽信息从标准脚型库中选取一个脚长脚宽信息与之相接近的标准脚模型，再手工调整标准脚模型的位置和姿势，最后手工寻找标准脚模型和稀疏网格脚模型之间的对应点， 根据对应点重新修改稀疏网格脚模型的控制顶点，由新控制顶点对稀疏网格脚模型进行重建，然后再网格细分，得到三维脚型数据，整个方法基本手工完成，并且标准脚型库难于建
本发明所涉及的方法，不需要在脚上设置标记点，也不需要穿着特殊的袜子，直接对脚型成像进行三维重建。在重建中，不需要脚型库，而是从鞋楦样本集中生成统计变形模型，然后用统计变形模型去拟合目标脚型，然后再细分统计变形模型，最后得到目标脚型的三维表面。这样处理的优点是从鞋楦样本集中生成统计变形模型比从脚型库生成统计变形模型简单准确，容易实施；生成的统计变形模型数据更少，操控更容易。本方法与直接从图像中恢复空间点相比，中间多了个统计变形模型的步骤，降低了难度，增加了可靠性。本方法把硬件装置和软件系统有机地结合在一起，既避免了单一硬件实现的高成本问题，也避免了单一软件实现的低精度问题，自动化程度高、可操作性强，利于推广使用。
发明内容
本发明所要解决的技术问题在于，提供一种不需要在脚上设置标记点，也不需要穿着特殊的袜子，直接对脚型成像进行自动三维重建的方法。本发明的特征是包括以下具体步骤1、生成鞋楦统计变形模型选择鞋楦样本，构成鞋楦样本集，并设计标记点，获取样本的标记点生成点分布模型，然后从样本集的点分布模型集进行主成份分析生成鞋楦统计变形模型；2、设置成像环境按鞋楦统计变形模型布置多个相机，再布置灯光；3、摄取图像脚型标定模板成像，标定各相机的内外参数，然后再对脚型成像；4、初估计脚型用鞋楦统计变形模型初估计脚型，包括姿势估计和形状估计；5、生成网格模型将初估计模型转换成网格模型；6、细分网格模型从各视图像的特征生成新增空间点，细分网格模型，细分过程多分辨率迭代进行直到各图像中无法切割出更细节的点，细分结束；7、网格整理优化，输出脚型三维模型。本发明的特点是先用鞋楦的统计变形模型捕捉脚型的大致外形，然后用网格细分的方法捕捉脚型的细节特征，先大特征后小特征，多分辨率、从粗到细地恢复脚型表面。其中鞋楦代表了脚型的共性，用鞋楦的点分布模型代表鞋楦，用鞋楦的统计变形模型代表鞋楦形状的统计属性；先用仅有少量点的变形模型捕捉脚型的大致外形，然后迭代细分初始模型，保证了重建模型的形状随着目标形状而变化，同时又保证重建模型所能达到的精度随各视图像所提供的信息量增加而增加，即重建模型的拓朴能自动适应目标形状，重建模型的精度能自动适应图像信息量。本发明作为一种改进，所述标记点由鞋楦样本集的底样图及侧立面图的关键点所衍生，并能反映鞋楦形状特征。本发明作为一种改进，所述生成鞋楦统计变形模型具体包括以下步骤1、选择鞋楦样本，构成鞋楦样本集；2、设计标记点，在每只鞋楦样本上确定标记点的位置，然后用三坐标扫描仪把标记点的位置扫描到计算机，作为样本的点分布模型；3、把鞋楦样本集中各样本的点分布模型对齐，保证整个样本集上各样本间的距离最小化；
4、采用PCA方法对从样本集的点分布模型集进行主成份分析，生成鞋楦的统计变形模型，将鞋楦的形状分解成共性和个性两部分，而个性是个性因子与个性向量的乘积。作为一种改进，所述根据鞋楦统计变形模型布置多个相机具体包括以下步骤1、初始步骤引入前面步骤所产生的鞋楦统计变形模型，并预设模型点在轮廓内成像信息量、轮廓上成像信息量的阈值，将每个模型点的初始信息量设为0 ；2、计算相机分布球根据相机焦距、目标大小等已知参数计算相机分布球的半径 R；3、计算主形状因子信息量最多的相机位置在相机分布球上计算出包含鞋楦统计变形模型中主形状因子信息量最多的相机位置；4、输出相机位置确定输出的相机位置点，增加该相机位置下可见模型点及轮廓上模型点的信息量，并去除在轮廓内成像信息量、轮廓上成像信息量分别大于设定阈值的模型点；5、计算新统计变形模型重新计算模型点减少后的新鞋楦统计变形模型；6、迭代计算；重复本环节的步骤3、4、5，直至统计变形模型中所有模型点都被充分成像，都能够根据图像信息重建出来；7、结束步骤输出相机位置点的坐标，据此坐标布置相机。本发明作为一种改进，所述根据鞋楦统计变形模型初估计脚型具体包括以下步骤1、初始步骤引入前面步骤所产生的鞋楦统计变形模型、相机参数及所摄取的脚型图像；2、计算脚型大小、方位和位置等姿势参数选择从脚底方向成像、位置较正的图像，根据脚底的图像和承重玻璃板上的刻线计算脚型大小和方位，然后把脚型的多幅图像都分割为二值图像，即把脚型和背景分割开来，脚型为黑色，背景为白色，然后求取脚型在各图像平面中的重心，并由此计算脚型在空间中的重心，此即脚型的位置；3、形状初估计把脚型的多幅图像都分割为四值图像，即把脚型和背景分割开来， 脚底与玻璃板接触、图像中颜色较深的部分为黑色，脚底部分不与玻璃板接触、图像中颜色较浅的部分为深灰色，脚型上不属于脚底、图像中颜色最浅的部分为浅灰色，背景为白色， 然后变化鞋楦统计变形模型中的个性因子，使模型投影点的颜色的累加和最大，得到脚型的初估计形状；4、轮廓一致性计算轮廓一致性计算迭代进行，每一轮迭代中先把模型点区分为内点和外点，计算内点和外点的移动量，然后用整个模型仍受鞋楦统计变形模型约束，因此计算与鞋楦统计变形模型相近的新形状，逐次把初始估计模型贴合到真实脚型上去；5、光照一致性计算在多个像素范围内搜寻光照一致性最好、亚像素级的图像匹配点，生成准确的模型点位置，获取较为精确的模型；6、结束步骤输出捕捉了脚型大致外形的估计模型。本发明作为一种改进，所述细分网格模型的步骤是首先检测各视图像中的特征并切割特征生成平面特征点，然后匹配平面特征点生成新增空间点，然后用新增空间点细分网格，并在多分辨分析的框架下重复以上步骤迭代细分网格，直到图像中没有更细节的特征，完成稠密重建。
本发明解决了制鞋厂商按脚订鞋的主要技术困难，具有以下三个优点1、不需要在脚上设置标记点，也不需要在脚上穿着特殊袜子，对任意状态下、能成像的脚，都可以三维重建。重建方法中的统计变形模型提供了初始估计，而迭代细分能把初估模型变形成目标对象，因此这个方法对目标脚型没有限制，并且既有一定的快速性也对不同形状的脚型有一定的适应性；2、本方法中采用了统计模型、变形模型、图像分割、网格迭代细分等多种方法，从脚型图像中多次提取线索进行表面重建，与其它的表面重建方法截然不同；3、这种方法只使用相机和计算机等器件，重建任务由软件全自动完成，虽然精度没有激光测量设备高，但是对脚型这种不需要也没办法达到高精度的测量，比较实用。而且不需要进行扫描，只需要快门成像时间和计算处理时间，速度快；适应面广，可以广泛应用于精度要求不是特别高的情况下。
图1为本发明的方法流程图；图2是鞋楦设计的两个关键视图，底样图和侧立面图；图3为鞋楦的标记点、经线、纬线在右侧面上位置示意图；图4为鞋楦的标记点、经线、纬线在底面上位置示意图；图5为鞋楦的标记点、经线、纬线在左侧面上位置示意图；图6为鞋楦的58个标记点空间位置示意图；图7是在鞋楦上用白色细胶带粘贴经线、纬线的示意图；图8是鞋楦样本集的点分布模型对齐算法流程图；图9为本发明的成像环境示意图；图10为脚型标定模板的示意图；图11为处于脚底位置的视图像成像原理示意图；图12为本发明成像环境的笛卡尔坐标和球坐标定义示意图；图13为本发明的成像环境、灯光布置等总体结构图；图14为相机1所成视图像；图15为相机2所成视图像；图16为相机3所成视图像；图17为相机4所成视图像；图18为相机5所成视图像；图19为相机6所成视图像；图20为相机7所成视图像；图21为相机8所成视图像；图22为8幅视图像先进行二值化，然后计算前景的重心，再由此计算脚型在空间中重心的示意图；图23为形状初估计时把脚型图像分割为四值图像的示意图；图M为图像驱动边缘投影点在空间移动的示意图；图25步骤6细分网格模型的流程图沈为网格投影切割各视图像的示意图；图27为三角形的可见视与主视的说明图；图28为特征点、匹配点和空间点的空间位置关系；图四为平滑约束、顺序约束、光照一致性约束的约束关系示意图。
具体实施例方式本发明的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的实施方式， 流程如图1所示，包括以下七个步骤1、生成鞋楦统计变形模型选择鞋楦样本，构成鞋楦样本集，并设计标记点，生成统计变形模型，获取样本的标记点生成点分布模型，然后从样本集的点分布模型集进行主成份分析生成鞋楦统计变形模型。1. 1)选择鞋楦样本，构成鞋楦样本集。鞋楦样本集的选择对后面所生成的统计变形模型有着重要影响，也因此影响脚型初估计模型的精度。不同的样本集，将得到不同的统计变形模型。鞋楦样本集如果侧重某类型的鞋楦，那么统计变形模型表达此类鞋楦将更准确，而无法其它类型的鞋楦将表达得粗糙一些。如果样本集全集中在某类型特别的鞋楦上， 得到统计变形模型将可能无法表达其它类型的鞋楦。因此，要从定制某种类型鞋楦，就要选择相应类型的鞋楦样本。本实施例选择了 121只不同的圆头皮鞋鞋楦，其中小童、中童、大童、成年女性、成年男性各个码段的样本数量配置如表1所示，数量配置是根据鞋楦分档和人口分布统计规律两方面因素得出的。表1鞋楦样本的组成
权利要求
1.一种由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统，其特征是， 包括以下具体步骤1)生成鞋楦统计变形模型选择鞋楦样本，构成鞋楦样本集，并设计标记点，获取样本标记点的坐标生成点分布模型，然后从样本集的点分布模型集进行主成份分析生成鞋楦统计变形模型；2)设置成像环境按鞋楦统计变形模型布置多个相机，再布置灯光；3)摄取图像脚型标定模板成像，标定各相机的内外参数，然后再对脚型成像4)初估计脚型用鞋楦统计变形模型初估计脚型，包括姿势估计和形状估计；5)生成网格模型将初估计模型转换成网格模型；6)细分网格模型从各视图像的特征生成新增空间点，细分网格模型，细分过程多分辨率迭代进行直到各图像中无法切割出更细节的点，细分结束；7)网格整理优化，输出脚型三维模型。
2.根据权利要求1所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统，其特征是，所述标记点由鞋楦样本集的底样图及侧立面图的关键点所衍生，并能反映鞋楦形状特征。
3.根据权利要求1或2所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统，其特征是，所述生成鞋楦统计变形模型具体包括以下步骤1)选择鞋楦样本，构成鞋楦样本集；2)设计标记点，在每只鞋楦样本上确定标记点的位置，然后把标记点的位置读取到计算机，作为样本的点分布模型；3)把鞋楦样本集中各样本的点分布模型对齐，保证整个样本集上各样本间的距离最小化4)采用主成份分析方法在对方的点分布集合上生成鞋楦的统计变形模型，将鞋楦的形状分解成共性和个性两部分，而个性是个性因子与个性向量的乘积。
4.根据权利要求1或2所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统，其特征是，所述设置成像环境，具体包括以下步骤1)初始步骤引入前面步骤所产生的鞋楦统计变形模型，并预设模型点在轮廓内成像信息量的阈值、模型点在轮廓上成像信息量的阈值，将每个模型点的初始信息量设为0 ；2)计算相机分布球根据相机焦距、目标大小等已知参数计算相机分布球的半径R；3)计算主形状因子信息量最多的相机位置在相机分布球上计算出包含鞋楦统计变形模型中主形状因子信息量最多的相机位置；4)输出相机位置确定输出的相机位置点，增加该相机位置下可见模型点及轮廓上模型点的信息量，并去除在轮廓内成像信息量、轮廓上成像信息量分别大于设定阈值的模型占.5)计算新统计变形模型重新计算模型点减少后的新鞋楦统计变形模型；6)迭代计算重复步骤；3)、4)、幻，直至统计变形模型中所有模型点都被充分成像，都能够根据图像信息重建出来；7)结束步骤输出相机位置点的坐标，据此坐标布置相机。
5.根据权利要求1或2所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统，其特征是，所述初估计脚型，具体包括以下步骤1)初始步骤引入前面步骤所产生的鞋楦统计变形模型、相机参数及所摄取的脚型图像；2)计算脚型大小、方位和位置选择从脚底方向成像、位置较正的图像，根据脚底的图像和承重玻璃板上的刻线计算脚型大小和方位，然后把脚型的多幅图像都分割为二值图像，即把脚型和背景分割开来，脚型为黑色，背景为白色，然后求取脚型在各图像平面中的重心，并由此计算脚型在空间中的重心，此即脚型的位置；3)形状初估计把脚型的多幅图像都分割为四值图像，即把脚型和背景分割开来，脚底与玻璃板接触、图像中颜色较深的部分为黑色，脚底部分不与玻璃板接触、图像中颜色较浅的部分为深灰色，脚型上不属于脚底、图像中颜色最浅的部分为浅灰色，背景为白色，然后变化鞋楦统计变形模型中的个性因子，使模型投影点的颜色的累加和最大，得到脚型的初估计形状；4)轮廓一致性计算轮廓一致性计算迭代进行，每一轮迭代中先把模型点区分为内点和外点，计算内点和外点的移动量，然后用整个模型仍受鞋楦统计变形模型约束，因此计算与鞋楦统计变形模型相近的新形状，逐次把初始估计模型贴合到真实脚型上去；5)光照一致性计算在多个像素范围内搜寻光照一致性最好、亚像素级的图像匹配点，获取准确的模型点位置，生成较为精确的模型；6)结束步骤输出捕捉了脚型大致外形的估计模型。
6.根据权利要求3所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统，其特征是，所述初估计脚型，具体包括以下步骤1)初始步骤引入前面步骤所产生的鞋楦统计变形模型、相机参数及所摄取的脚型图像；2)计算脚型大小、方位和位置选择从脚底方向成像、位置较正的图像，根据脚底的图像和承重玻璃板上的刻线计算脚型大小和方位，然后把脚型的多幅图像都分割为二值图像，即把脚型和背景分割开来，脚型为黑色，背景为白色，然后求取脚型在各图像平面中的重心，并由此计算脚型在空间中的重心，此即脚型的位置；3)形状初估计把脚型的多幅图像都分割为四值图像，即把脚型和背景分割开来，脚底与玻璃板接触、图像中颜色较深的部分为黑色，脚底部分不与玻璃板接触、图像中颜色较浅的部分为深灰色，脚型上不属于脚底、图像中颜色最浅的部分为浅灰色，背景为白色，然后变化鞋楦统计变形模型中的个性因子，使模型投影点的颜色的累加和最人，得到脚型的初估计形状；4)轮廓一致性计算轮廓一致性计算迭代进行，每一轮迭代中先把模型点区分为内点和外点，计算内点和外点的移动量，然后用整个模型仍受鞋楦统计变形模型约束，因此计算与鞋楦统计变形模型相近的新形状，逐次把初始估计模型贴合到真实脚型上去；5)光照一致性计算在6个像素范围内搜寻光照一致性最好、亚像素级的图像匹配点， 生成空间点，生成较为精确的模型；6)结束步骤输出捕捉了脚型大致外形的估计模型。
7.根据权利要求4所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统，其特征是，所述初估计脚型，具体包括以下步骤1)初始步骤引入前面步骤所产生的鞋楦统计变形模型、相机参数及所摄取的脚型图像；2)计算脚型大小、方位和位置选择从脚底方向成像、位置较正的图像，根据脚底的图像和承重玻璃板上的刻线计算脚型大小和方位，然后把脚型的多幅图像都分割为二值图像，即把脚型和背景分割开来，脚型为黑色，背景为白色，然后求取脚型在各图像平面中的重心，并由此计算脚型在空间中的重心，此即脚型的位置；3)形状初估计把脚型的多幅图像都分割为四值图像，即把脚型和背景分割开来，脚底与玻璃板接触、图像中颜色较深的部分为黑色，脚底部分不与玻璃板接触、图像中颜色较浅的部分为深灰色，脚型上不属于脚底、图像中颜色最浅的部分为浅灰色，背景为白色，然后变化鞋楦统计变形模型中的个性因子，使模型投影点的颜色的累加和最大，得到脚型的初估计形状；4)轮廓一致性计算轮廓一致性计算迭代进行，每一轮迭代中先把模型点区分为内点和外点，计算内点和外点的移动量，然后用整个模型仍受鞋楦统计变形模型约束，因此计算与鞋楦统计变形模型相近的新形状，逐次把初始估计模型贴合到真实脚型上去；5)光照一致性计算在6个像素范围内搜寻光照一致性最好、亚像素级的图像匹配点， 生成空间点，生成较为精确的模型；6)结束步骤输出捕捉了脚型大致外形的估计模型。
8.根据权利要求1或2所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统，其特征是，所述细分网格模型的步骤是首先检测各视图像中的特征并切割特征生成平面特征点，然后匹配平面特征点生成新增空间点，然后用新增空间点细分网格，并在多分辨分析的框架下重复以上步骤迭代细分网格，直到图像中没有更细节的特征，完成稠密重建。
9.根据权利要求3所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统，其特征是，所述细分网格模型的步骤是首先检测各视图像中的特征并切割特征生成平面特征点，然后匹配平面特征点生成新增空间点，然后用新增空间点细分网格，并在多分辨分析的框架下重复以上步骤迭代细分网格，直到图像中没有更细节的特征，完成稠密重建。
10.根据权利要求4所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统，其特征是，所述细分网格模型的步骤是首先检测各视图像中的特征并切割特征生成平面特征点，然后匹配平面特征点生成新增空间点，然后用新增空间点细分网格，并在多分辨分析的框架下重复以上步骤迭代细分网格，直到图像中没有更细节的特征，完成稠密重建。
11.根据权利要求5所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统，其特征是，所述细分网格模型的步骤是首先检测各视图像中的特征并切割特征生成平面特征点，然后匹配平面特征点生成新增空间点，然后用新增空间点细分网格，并在多分辨分析的框架下重复以上步骤迭代细分网格，直到图像中没有更细节的特征，完成稠密重建。
12.根据权利要求6所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统，其特征是，所述细分网格模型的步骤是首先检测各视图像中的特征并切割特征生成平面特征点，然后匹配平面特征点生成新增空间点，然后用新增空间点细分网格，并在多分辨分析的框架下重复以上步骤迭代细分网格，直到图像中没有更细节的特征，完成稠密重建。
13.根据权利要求7所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统，其特征是，所述细分网格模型的步骤是首先检测各视图像中的特征并切割特征生成平面特征点，然后匹配平面特征点生成新增空间点，然后用新增空间点细分网格，并在多分辨分析的框架下重复以上步骤迭代细分网格，直到图像中没有更细节的特征，完成稠密重建。
全文摘要
本发明名称由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统，本发明涉及一种由多幅图像全自动重建脚型三维表面的系统，主要步骤如下先对鞋楦样本集进行统计分析得到统计变形模型；然后布置成像环境；再用多个相机获得标定模板及人脚的图像；然后变形统计模型，拟合脚型图像，得到初估计模型并生成稀疏的网格模型；再迭代细分网格模型；其中每一轮迭代中先从各个图像中分割出图像特征点，并把平面特征点匹配成空间点，再用空间特征点细分网格模型；最终得到与目标对象一致的脚型模型。本发明不需要在脚上设置标记点，也不需要高精度的激光测量设备，只使用相机和计算机，只需要快门成像时间和计算处理时间，速度快，可以广泛应用于精度要求不是特别高、对生物肌肤进行三维重建的情况。
文档编号A43D1/02GK102157013SQ20111009145
公开日2011年8月17日 申请日期2011年4月9日 优先权日2011年4月9日
发明者罗胜 申请人:温州大学, 罗胜