用于便携式终端设备的进行行人脚步识别的方法和装置制造方法
【专利摘要】便携式终端设备（10）具有记录单元（20）。分别在图像序列的一个由所述记录单元（20）采集的图像中检测对象，所述对象代表脚和/或鞋和/或腿的至少一部分。在相应的图像中获取对象的位置，以及根据对象在所述图像序列的至少两个图像之间的位置变化来识别行人的脚步。
【专利说明】 用于便携式终端设备的进行行人脚步识别的方法和装置
【技术领域】
[0001]本发明涉及一种用于便携式终端设备的进行行人脚步识别的方法和装置，所述终端设备包括记录单元。此外，本发明涉及便携式终端设备。
【背景技术】
[0002]在人员导航的领域中使用卫星信号用于定位的导航装置已经在很多应用领域中得以实现，例如作为用于徒步旅行者和登山者或用于在城市中步行的旅游者的携带的全球定位系统接收装置(GPS接收装置)。这样的导航装置然而具有的缺点在于，导航仅仅在户外才无缺点地发生作用。对于逗留在建筑物中的人员使用卫星信号用于定位的这样的导航装置是不适合的并且因此不能满足对于在大城市的地下室中、在百货商店中、在博物馆中、在机场和火车站中以及陌生的经营场址或公共机关大楼中的运动和位置信息的要求。在这些领域中当今采用用于室内应用的例如具有红外航标的专用系统，所谓的室内系统，其要求高的基础设施耗费。
【发明内容】
[0003]本发明的任务在于，实现一种用于便携式终端设备的进行行人脚步识别的方法和装置以及一种便携式终端设备，它们在室内也能实现行人的可靠和低成本的脚步识别。
[0004]该任务通过独立权利要求的特征解决。本发明的有利的进一步改进方案在从属权利要求中表示。
[0005]按照第一和第二方面，本发明的特征在于一种用于便携式终端设备的进行行人脚步识别的方法和相应装置，所述终端设备具有记录单元。分别在图像序列的一个由所述记录单元采集的图像中检测对象，所述对象代表脚和/或鞋和/或腿的至少一部分。在相应的图像中获取对象的位置，并且根据对象在所述图像序列的至少两个图像之间的位置变化来识别行人的脚步。
[0006]相应图像的评价能实现，识别行人的脚和/或脚前端的出现和消失并且对于脚步识别使用脚步计数和/或步长估计。脚步的获取可以有利地独立于另外的硬件元件进行，特别是独立于另外的传感器，所述另外的传感器构成为用于采集测量数据，所述测量数据代表行人的运动。这能实现终端设备的低成本制造。按照本发明的方法可以用于不仅在建筑物中运动的行人而且在室外运动的行人的脚步识别。此外按照本发明的方法具有的优点在于，也可以在缓慢的行走运动中和/或在无规律的行走运动中可靠地识别脚步。
[0007]在采集相应的图像时终端设备优选在行人上如此设置或者由行人如此持有，使得记录单元的图像采集区域分别沿行走方向在行人之前包括一个预定的区域。终端设备的记录单元和/或另一适合的构成的单元可以构成为借助于信号、例如视觉信号的输出给行人用信号表示记录单元的预定定位。
[0008]在一种有利的设计方案中，根据预定的图案与相应图像的相似性比较来检测对象。这能实现所述对象的简单和可靠的检测。[0009]在另一有利的设计方案中，根据所采集的图像之一的图像部分获取所述图案，所述图像部分至少包括行人的脚和/或鞋前端。这能实现，使所述图像匹配于行人的脚或鞋的特定的特征并因此提高目标检测和/或脚步识别的可靠性。
[0010]在另一有利的设计方案中，对于所述图像序列获取对象的位置的曲线，并且根据所述曲线识别脚步。有利地可以因此非常简单和可靠地识别相应的脚步。
[0011]在另一有利的设计方案中，将图像分为多个图像部分，其中各图像部分可重叠。对于每个图像部分实施与图案的相似性比较。根据与图案具有最大相似性的图像部分获取对象的位置。
[0012]在另一有利的设计方案中，相应的图像具有图像点的矩阵。对于分别代表相应图像部分的一个中心点的所有中央图像点分别获取一个比较值，所述比较值代表图案与相应图像部分的相似性的程度。根据所获取的比较值获取对象的位置。有利地这能实现所述对象的简单的检测。所述比较值可以例如代表交叉相关系数，该交叉相关系数对于相应的中央图像点根据图像部分与图案的交叉相关获取。
[0013]在另一有利的设计方案中，根据各比较值获取一个最大的比较值，并且如果最大的比较值低于预定的边界值，则对图案进行匹配。最大的比较值的评价能实现，检测在行人的周边环境中改变的情况。这可以用于使图案匹配于改变的情况，例如使图案匹配于改变的亮度情况。
[0014]在另一有利的设计方案中，图像的各图像点对于预定数量的颜色通道分别具有一个颜色值。对于所述数量的颜色通道中的至少一部分颜色通道获取用于相应颜色通道的比较值。有利地这能实现图像部分与图案的可靠的相似性比较并且可以因此有助于可以非常简单和可靠地识别相应的脚步。相应的颜色通道在此代表色彩空间的用于存储图像的基本色。红绿蓝图像(RGB图像)具有例如三个颜色通道，各一个用于红、绿和蓝的颜色通道。CYMK图像(青色、黄色、品红和黑色)具有四个颜色通道，各一个用于青色、黄色、品红和黑色部分的颜色通道。
[0015]在另一有利的设计方案中，图像的各图像点分别具有一个来自预定数量的灰度值的灰度值。在相似性比较之前，根据各图像点中的至少一部分图像点的灰度值获取图像的平均灰度值，并且将图像转换为二进制图像，在该二进制图像中相应的图像点只能采用两个可能的灰度值之一，使得根据平均灰度值和相应图像点的灰度值，相应的图像点具有一个预定的第一或第二灰度值。有利地这能实现对象的非常简单和快速的检测。在二进制图像中优选第一灰度值代表白色，而第二灰度值代表黑色。为了获取平均灰度值可以获取例如用于图像的灰度值直方图并且根据灰度值的方差获取平均灰度值。
[0016]根据第三方面，本发明的特征在于一种便携式终端设备，该便携式终端设备具有记录单元和按照第二方面的装置。第一和第二方面的有利设计方案在此也适用于第三方面。
【专利附图】
【附图说明】
[0017]在下文中根据示意图阐述本发明的实施例。
[0018]其中:
[0019]图1示出用于便携式终端设备的示例性方框图；[0020]图2示出用于行人脚步识别的程序的示例性流程图；
[0021]图3示出对于一个图像获取的相关矩阵的示例性的数值曲线；
[0022]图4示出在一个图像序列中对象的位置的示例性的曲线；以及
[0023]图5示出一个加速度传感器的示例性的信号曲线，所述加速度传感器由行人携带用于运动检测。
【具体实施方式】
[0024]相同构造或功能的元件跨越附图地设有相同的附图标记。
[0025]图1示出了一个便携式终端设备10。该便携式终端设备10例如构成为智能电话和/或个人数字助理(PDA)和/或便携式计算机。
[0026]便携式终端设备10例如包括一个记录单元20和一个图像处理单元30，该图像处理单元也可以称为用于行人脚步识别的装置。记录单元20例如构成为数字摄像机。
[0027]为了以记录单元20采集图像用于通过图像处理单元30评价，终端设备10优选如此设置在行人上或者由行人如此持有，使得记录单元20的图像采集区域沿行走方向在行人之前分别包括一个预定的区域。用于采集相应图像的记录单元20的适合的位置相应于地图的停止位置，行人为了读取地图沿行走方向将停止位置保持在其之前。
[0028]图像处理单元30例如包括一个程序存储器。在程序存储器中存储例如用于行人脚步识别的程序。所述程序例如用于提供用于人员导航的脚步识别数据。示例性地随后参照图2阐述所述程序。
[0029]此外，按照图1的便携式终端设备10例如包括一个用于行人的导航装置40。便携式终端设备10可以例如具有至少一个输入单元50和至少一个输出单元60，它们与导航装置40耦联。该至少一个输入单元50可以具有例如多个按键单元，使用者可以借助于所述按键单元输入例如用于路线获取的起始点和/或目标点。借助于包括例如显示器和/或扬声器的输出单元60可以用信号表示例如当前位置和/或给使用者用信号表示获取的路线。
[0030]此外，导航装置40可以例如包括一个GPS模块70以及一个磁力计74、一个陀螺仪76和/或一个加速度传感器72，它们都与导航装置40的一个控制单元78耦联。
[0031]导航装置40的控制单元78例如构成为根据加速度传感器72的采集的至少一个测量信号检测行人的脚步。
[0032]导航装置40的控制单元78例如如此与图像处理单元30耦联，使得可以将由图像处理单元30获取的数据转送到导航装置40的控制单元78。数据可以有利地用于验证由控制单元78根据加速度传感器72的所述至少一个测量信号获取的脚步识别数据。备选地或附加地可能的是，由图像处理单元30转送的数据用于获取行人的当前位置、行人的步长和/或行人的运动方向。
[0033]图2示出了用于行人脚步识别的程序的流程图。
[0034]所述程序优选在步骤SlO中开始，其中必要时初始化变量，例如计数器。
[0035]在步骤S20中可以实现由记录单元20采集的图像的数字预处理。该图像例如是数字图像，其具有图像点的矩阵。图像可以例如关于一个图像平面沿水平轴线X的方向具有第一数量的图像点并且沿竖直轴线y的方向具有第二数量的图像点。所述预处理可以包括例如图像的滤波。备选或附加地可以将例如由记录单元20采集的图像——如果所述图像是彩色图像一转换为黑白图像，在该黑白图像中图像的相应的图像点具有来自预定数量的灰度值的一个灰度值。例如可以在此给每个颜色值对应一个灰度值。附加地或备选地可能的是，将所述图像转换为二进制图像，在该二进制图像中相应的图像点只能采用两个可能的灰度值之一。例如可以根据图像的至少一部分图像点获取图像的平均灰度值并且将所述图像如此转换为二进制图像，使得根据所述平均灰度值和相应图像点的灰度值，相应的图像点具有第一或第二灰度值。
[0036]在步骤S30中在准备的图像中检测对象，所述对象代表脚和/或鞋和/或腿的至少一部分。例如根据预定的图案与相应图像的相似性比较来检测对象。图案优选具有图像点的第二矩阵。图案可以例如关于所述图像的图像平面沿水平方向具有第三数量的图像点并且沿竖直方向具有第四数量的图像点。优选地，图案的图像点的数量小于相应图像的图像点的数量。
[0037]为了对象检测，可以将图像分为多个图像部分。对于分别代表相应图像部分的一个中心点的所有中央图像点可以获取比较值，所述比较值代表图案与图像部分的相似性的程度。相应图像部分可以在此重叠。为了非常可靠的对象检测，可以如此选择图像部分，使得所述图像的每个图像点分别也是一个中央图像点，对于该中央图像点获取一个比较值。用于相应图像点的第一比较值可以例如根据交叉相关函数获取。备选地或附加地，相应图像点的标准化的比较值可以根据标准化的交叉相关函数获取。
[0038]在例如评价彩色图像并且图像的图像点对于预定数量的颜色通道分别具有一个颜色值的情况下，可以例如对于每个颜色通道获取比较值。如果图像例如构成为红绿蓝图像，那么对于每个颜色通道、即红色、绿色和蓝色颜色通道可以获取比较值。
[0039]在步骤S40中，获取一个最大的比较值，例如根据已对于图像获取的标准化的各比较值。
[0040]在步骤S50中可以例如检查，图案是否与待检测的对象具有足够的一致性。假如没有，则可以匹配图案。为此例如检查，所获取的最大的比较值是否低于预定的边界值。如果最大的比较值低于所述边界值，则匹配图案。为了排除短期的波动，可以评价例如图像序列的多个图像。这可以例如如此实现，即如果多个图像的最大的比较值在预定的时间内低于所述边界值，那么匹配图案。对于图案的匹配可以例如根据所采集的图像之一的一个图像部分获取更新的图案，所述图像部分至少包括行人的脚和/或鞋前端。更新的图案然后可以用于随后的相似性比较。
[0041]在步骤S60中，获取检测的对象的位置。对此例如获取在图像中的具有最大比较值的图像点的位置。
[0042]在步骤S70中，将在图像中的对象的位置至少与在图像序列的下一图像中的对象的位置进行比较并且根据对象的位置变化识别行人的脚步。为了改善脚步识别的可靠性，可以获取例如在所述图像序列中的对象的位置的曲线并且根据所述曲线检测脚步。对此可以例如沿一个空间方向评价对象的位置，所述空间方向基本上包括行人的运动方向。由此，二维问题简化为一维问题。图4示出了沿着竖直轴线y的对象位置的这样一个曲线。所述曲线具有多个局部最大值，这些最大值分别解读为一个脚步。
[0043]程序可以在步骤S80中结束。然而优选地，程序定期地在终端设备10的激活的人员导航运行模式期间完成。[0044]图3示出了用于相关矩阵的数值曲线，该相关矩阵已按照图2为所采集的图像之一获取。在图案与图像部分具有最大相似性的位置处，相关矩阵示出了最大值。
[0045]图4对于一个图像序列示出了沿着图像的竖直轴线y的对象位置的曲线。图像序列在此在行人的多个脚步上采集。曲线交替地分别具有局部最小值和局部最大值。例如可以将局部最大值分别解读为一个脚步。
[0046]图5相比于图4示出了加速度传感器72的信号曲线，所述加速度传感器由行人携带用于运动检测。
[0047]附图标记列表:
[0048]10终端设备
[0049]20记录单元
[0050]30图像处理单元
[0051]40导航装置
[0052]50输入单元
[0053]60输出单元
[0054]70GPS 模块
[0055]72加速度传感器
[0056]74磁力计
[0057]76陀螺仪
[0058]78控制单元
[0059]SlO…S80程序步骤
[0060]X水 平轴线
[0061]y竖直轴线
【权利要求】
1.用于便携式终端设备(10)的进行行人脚步识别的方法，所述终端设备具有记录单元(20)，其中， 分别在图像序列的一个由所述记录单元(20)采集的图像中检测对象，所述对象代表脚和/或鞋和/或腿的至少一部分； 在相应的图像中获取对象的位置；以及 根据对象在所述图像序列的至少两个图像之间的位置变化来识别行人的脚步。
2.根据权利要求1所述的方法，其中，根据预定的图案与相应图像的相似性比较来检测对象。
3.根据权利要求2所述的方法，其中，根据所采集的图像之一的图像部分来获取所述图案，所述图像部分至少包括行人的脚前端和/或鞋前端。
4.根据上述权利要求之一所述的方法，其中，对于所述图像序列获取对象的位置的曲线，并且根据所述曲线识别脚步。
5.根据上述权利要求2至4之一所述的方法，其中， 将图像分为多个图像部分，其中各图像部分可重叠； 对于每个图像部分实施与图案的相似性比较；以及 根据与图案具有最大相似性的图像部分获取对象的位置。
6.根据权利要求5所述的方法，其中， 相应的图像具有图像点的矩阵；` 分别对于一个代表相应图像部分的中心点的中央图像点获取一个比较值，所述比较值代表图案与图像部分的相似性的程度；以及根据所获取的比较值来获取对象的位置。
7.根据权利要求6所述的方法，其中， 根据各比较值获取一个最大的比较值；以及 如果最大的比较值低于预定的边界值，则对图案进行匹配。
8.根据权利要求6或7所述的方法，其中， 图像的各图像点对于预定数量的颜色通道分别具有一个颜色值；以及 对于所述数量的颜色通道中的至少一部分颜色通道获取用于相应颜色通道的比较值。
9.根据权利要求6或7所述的方法，其中，图像的各图像点分别具有一个来自预定数量的灰度值的灰度值，并且在相似性比较之前 根据各图像点中的至少一部分图像点的灰度值获取图像的平均灰度值；以及将图像转换为二进制图像，在该二进制图像中相应的图像点只能采用两个可能的灰度值之一，使得根据所述平均灰度值和相应图像点的灰度值，相应的图像点具有一个预定的第一或第二灰度值。
10.用于便携式终端设备(10)的进行行人脚步识别的装置，所述终端设备具有记录单元(20),其中所述装置构成为， 分别在图像序列的一个由所述记录单元(20)采集的图像中检测对象，所述对象代表脚和/或鞋和/或腿的至少一部分； 在相应的图像中获取对象的位置；以及 根据对象在所述图像序列的至少两个图像中的位置变化来识别行人的脚步。
11.便携式终 端设备(10)，具有按照权利要求8的装置和记录单元(20)。
【文档编号】G06T7/20GK103688139SQ201280034815
【公开日】2014年3月26日 申请日期:2012年6月28日 优先权日:2011年7月14日
【发明者】C·伊泽特, D·古森鲍尔, F·奥贝克 申请人:宝马股份公司