基于马尔科夫随机场的快速食物识别方法
【专利摘要】本发明公开了一种基于马尔科夫随机场的快速食物识别方法，主要解决食物图像识别中食物缺乏特征点、形状不定型导致食物识别难的问题，其实现过程是：(1)建立检索数据库，并提取检索图像中的特征描述符，构建索引文件；(2)提取被查询图像的特征描述符；(3)根据特征描述符求出被查询图像在检索库中的食物标签类中的似然得分；(4)根据被查询图像在检索数据库中的标签类食物中的似然得分和被查询者菜单中的标签类之间的条件概率，构建马尔科夫能量公式，最小化能量公式，得到被查询图像的食物标签类。本发明能对食物图像进行快速准确识别和分类，很容易扩展到更大的检索数据库和被查询图像集，可用于培养健康的饮食方式。
【专利说明】
基于马尔科夫随机场的快速食物识别方法
技术领域
[0001] 本发明属于图像信息处理领域，具体的说是一种食物识别方法，可用于解决食物 图像分析和识别食物类别问题。
【背景技术】
[0002] 随着人们对饮食健康的关注，对于那些想改善自己饮食习惯的人来说，用一个简 单易行的方法来记录饮食信息是非常必要的。到目前为止，24小时全天饮食记录还是采用 常见的记录"饮食历史"的方法来评估个体的饮食习惯。然而，自我报告的方法通常是不准 确的，特别是在超重人群中，有些人通常瞒报自己的热量摄入。如果饮食的营养信息能过通 过食物图像自动检测出来，会将用户从人工记录信息中解放出来。
[000；3]近期，在"生活日志（life-log)"研究领域，人们对获取、处理人们日常生活信息的 兴趣越来越浓厚。人们通过各种方式记录他们的生活:上传照片，上传 GPS数据等等，甚至， 有些人会在互联网上分享自己的"生活日志"。到目前为止，大部分关于"生活日志"的研究 聚焦在基于"生活日志"数据的通用多媒体处理上。在运些研究中，人们总会在吃饭时使用 照相机拍摄食物照片。随着互联网中不断增加的食物照片，他们致力于收集、处理所有可得 到的数据，建立"生活日志"的索引、摘要，并能够检索海量的"生活日志"数据。但是识别图 像中的食物并不简单，因为"生活日志"太过庞杂、冗余。
[0004] 食物自动识别是一种人工记录方法的替代品，如果有了根据图像自动识别食物的 方法，人们就可W轻松鉴别自己的饮食趋势，而不用浏览图片库查找最近拍摄的照片。然而 关于食物识别方面的研究很少。在目前的研究方法中，现存的一些识别算法对一般目标物 体的识别取得了良好的效果，其中有些使用了基于局部特征，例如SIFT描述符，有些使用了 基于全局特征，例如颜色直方图和GIST特征点;Yang等人将利用两种基线算法，颜色直方图 和bag of SIFT特征的PFID数据基准引入到食物识别领域中来。Felzenszwa化等人提出使 用Ξ角化多边形来表示不定形状的技术。Leordeanu等人提出了一种利用相互作用的成对 的简单描述符来识别目标类别的方法。A recent work[8]learns a mean shape of the object class based on the thin plate spline parameterization.首先，运些方法需 要检测有意义的特征点，例如边缘、轮廓、关键点和地标。但是，由于食物图像缺乏上述有意 义的特征点，其次，由于真正的食物的形状往往是无定型的，所W很难用上述方法去判断食 物形状的相似性，不能准确对食物进行分类。
【发明内容】
[0005] 本发明的目的在于针对上述已有的技术问题，提出一种基于马尔科夫随机场的快 速食物识别方法，W通过查询图像在食物标签类中的似然得分和标签类别的先验概率来求 查询图像在食物标签类中的马尔科夫能量方程，并通过优化能量方程确定使其能量最小的 食物标签类别。
[0006] 为了实现上述目的，本发明的技术方案包括如下：
[0007] (1)根据不同食物种类的食物图像建立检索数据库，从检索数据库中的检索图像 Dd中提取Dd的N种特征描述符光，并将其存储在索引文件中，Dd表示第d个检索图像，d=l， 2，…，Nd，Nd表示检索图像总数，k=l，2，…N，N表示使用的特征描述符的总数；
[000引（2)设定第i个被查询图像si，并提取Si的第k种特征描述符/,4，1 = 1，2^''，扼，扼表 示被查询图像总数；
[0009] (3)根据检索图像和被查询图像的特征描述符，计算第i个被查询图像Si在第j个 标签类Cj食物中的似然得分口(31山）〇 = 1，2^-，知其表示检索数据库中的食物标签类别 的总数；
[0010] (4)构建被查询食物图像集合SP = {si I i = 1，2，…，化：}在检索数据库中的食物标签 类集合C = kj I j = 1，2，…，N。}中的马尔科夫MRF能量方程J(C)公式，，，，并通过最小化马尔 科夫MRF能量J(C)，得出第i个被查询图像Si识别的食物标签类cv，V = 1，2，…Nc:
[0011] (4.1)计算被查询者菜单中第m个标签类Cm食物在第η个标签类Cn食物已出现条件 下的出现概率P(Cm|cn)n，m=l，2，…，Np，n辛m，Np表示被查询者菜单中食物标签类别的总 数；
[0012] (4.2)求被查询者菜单中第η个标签类Cn食物在第m个标签类Cm食物已出现条件下 的出现概率P(Cn|cm);
[0013] (4.3)重复计算被查询者菜单中任意两个食物标签类之间的条件概率{Pkm|cn)，P (cn| Cm) |m,n=l ,2,··· ,Νρ}；
[0014] (4.4)根据被查询图像集合SP中的被查询图像在食物标签类中的似然得分{P(si 〇^)|1 = 1，2，-，，化，^' = 1，2，-，，斯}和被查询者菜单中任意两个食物标签类之间的条件概率 {P(Cm| Cn)，P(Cn| Cm) |m，n=l，2，···，Νρ}，求被查询图像集合SP={si I 1 = 1,2,…，Ns}在标签 类食物集合C = kj I j = 1，2，…N。}中的马尔科夫MRF能量方程J(C);
[00巧](4.5)利用迭代条件模式算法ICM最小化马尔科夫MRF能量方程J(c)，求出第i个被 查询图像Si的食物标签类Cv;重复使用迭代条件模式算法ICM最小化马尔科夫MRF能量方程J (C)求出被查询食物图像集合SP中的其他被查询图像的食物标签类，完成对被查询食物图 像集合SP中被查询图像的识别。
[0016] 本发明具有如下优点：
[0017] 1)本发明由于使用全局特征描述符来描述图像，避免了因食物形状不定型而无法 判断其相似性的问题。将图像W全局特征描述符的形式存储，节约了存储空间。
[0018] 2)本发明使用检索食物图像的全局特征描述符来解释被查询图像，可W很容易地 扩展到更大的被查询食物图像集和标签集。
[0019] 3)本发明通过对被查询食物图像集的数值统计和分析，利用迭代条件模式算法 ICM优化马尔科夫随机域(MR巧的能量方程，提高了计算效率。
【附图说明】
[0020] 图1是本发明的实现总流程图；
[0021] 图2是本发明中提取颜色和边缘的方向性描述符CEDD的子流程图；
[0022] 图3是本发明中使用的迭代条件模式算法流程图；
[0023] 图4是本发明仿真实验所使用的从被查询者早餐中得到的被查询图像；
[0024] 图5是本发明仿真实验用的检索数据库中的部分检索图像。
【具体实施方式】
[0025] 参照图1，本发明的实现步骤如下：
[0026] 步骤1，根据不同食物种类的食物图像建立检索数据库，从检索数据库中的检索图 像D冲提取Dd的N种特征描述符记，构建索引文件，其中Dd表示第d个检索图像，d = l，2,…， Nd，Nd表示检索图像总数，k=l，2,…N，N表示使用的特征描述符的总数。
[0027] 本发明中主要使用的图像特征描述符姑包括紧凑型描述符中的颜色和边缘的方 向性描述符CEDD、亮度和纹理的方向性直方图描述符BTDH、模糊颜色和纹理直方图描述符 FCTH和多媒体内容描述接口 MPEG-7视觉标准中的颜色布局描述符化D、边缘直方图描述符 E皿、可伸缩颜色描述符SCD，运几种图像特征描述符的提取步骤如下：
[002引（1.1)颜色和边缘的方向性描述符CE孤特征的提取：
[0029] 参考图2,本步骤的具体实现如下：
[0030] (1.1a)先将检索图像分成若干分块，再将每个分块分为4个子块；
[0031] (1.化)对每个子块提取纹理信息：在YIQ色彩空间中，即亮度-色调-饱和度空间， 计算每个像素的灰度值，求出每个子块的像素的平均灰度值;再将每个子块经过5个数字滤 波器过滤，得到边缘直方图；根据边缘直方图判断纹理信息类别，得到一个6-bin直方图；
[0032] (1.1c)对每个子块提取颜色信息：将每个子块都转换到HSV色彩空间，即信道色 调-饱和度-亮度色彩空间，并计算HSV色彩空间各通道的平均值;通过10-bins模糊过滤器 过滤过滤后，根据信道色调Η的值得到10个色彩类别，再通过24-bins模糊过滤器过滤后，根 据饱和度S和亮度V的区域判定，对信道色调Η进行再分类，得到一个24-bin的直方图；将24- bin 的直方图分别加入到该子块所属的纹理类别中 ，得到一个 144-bin 的直方图；
[0033] (1. Id)对检索图像的所有分块重复执行上述(1.化)-(1.1.C)步骤，得到整个检索 图像的直方图，再对直方图进行归一化处理，得到检索图像的颜色和边缘的方向性描述符 C邸D;
[0034] (1.2)亮度和纹理的方向性直方图描述符BTDH提取：
[0035] (1.2a)先将检索图像分成若干分块，再将每个分块分为4个子块；
[0036] (1.2b)对每一个子块提取纹理信息:每个图像子块经化rr小波变换得到Ξ个纹理 元素，经模糊关联系统将该子块划分到8-bin纹理直方图中；
[0037] (1.2c)对每个子块提取颜色信息：将每个子块都转换到HSV色彩空间，即信道色 调-饱和度-亮度色彩空间；通过24-bin模糊过滤器过滤过滤后，根据亮度V的值得到一个 24-bin直方图，将24-bin的直方图分别加入到该子块所属的纹理类别中，得到子块的直方 图；
[0038] (1.2d)对检索图像的所有分块重复执行上述（1.2b)-(l. 2c)步骤，得到整个检索 图像的直方图，再对直方图进行归一化处理，得到检索图像的亮度和纹理的方向性直方图 描述符BTDH;
[0039] (1.3)模糊颜色和纹理直方图描述符FCTH提取：
[0040] (1.3a)先将检索图像分成若干分块，再将每个分块分为4个子块；
[0041] (1.3b)对每一个子块提取纹理信息:每个图像子块经化rr小波变换得到Ξ个纹理 元素，经模糊关联系统将该子块划分到8-bin纹理直方图中；
[0042] (1.3c)对每一个子块提取颜色信息:将每个子块转化到HSV颜色空间;每个子块的 信道色调H、饱和度S和亮度V经过10-bin模糊关联系统，得到10-bin的直方图；通过24-bin 模糊关联系统将原先的每个信道色调Η再次分割成深浅不同的Ξ个色调HI, H2，H3,把亮度V 转变为两个模糊区间，得出一个24-bin的直方图，再将24-bin的直方图分别加入到该子块 所属的纹理直方图中，得到子块的直方图；
[0043] (1.3d)对图像的所有分块执行上述（1.3b)-(l.3c)步骤，得到整张图像的直方图， 将直方图归一化，得到检索图像的模糊颜色和纹理直方图描述符FCTH;
[0044] (1.4)边缘直方图描述符邸Η提取：
[0045] (1.4a)先将检索图像分成若干分块，再将每个分块分为4个子块；
[0046] (1.4b)对每一个子块提取边缘信息：在YIQ色彩空间中，计算每个像素的灰度值， 求出每个子块的像素的平均灰度值;每个子块再经过5个数字滤波器过滤，得到边缘直方 图，根据边缘直方图判断纹理信息类别得到一个5-bin的直方图；
[0047] (1.4c)对图像的所有分块执行上述（1.4b)步骤，得到整个图像的直方图，将直方 图归一化，得到检索图像的边缘直方图描述符邸H。
[004引（1.5)颜色布局描述符CLD提取：
[0049] (1.5a)将图像映射到YCbCr色彩空间，即亮度-蓝色浓度偏移量-红色浓度偏移量 空间，并将图像分成64分块；
[0050] (1.5b)对每一个分块提取颜色信息:计算每一分块中所有像素的各个颜色分量的 平均值;对分块中各个颜色分量平均值进行二维离散余弦变换DCT，得到各分量的一系列二 维离散余弦变换DCT系数;对各分量的二维离散余弦变换DCT系数进行之字扫描和量化，取 出各自二维离散余弦变换DCT的低频分量，运Ξ组低频分量构成了检索图像分块的颜色布 局描述符CLD;
[0051] (1.5c)对所有检索图像分块重复上述（1.5b)步骤，得到整个检索图像的颜色布局 描述符CLD;
[0化2] (1.6)可伸缩颜色描述符SCD提取：
[0053] (1.6a)先将检索图像分成若干分块，再将每个分块分为4个子块；
[0054] (1.6b)对每一个子块提取颜色信息：将每个子块转化到HSV颜色空间；将HSV颜色 空间均匀量化为256bins(直方图），再将每个直方图值非均匀量化为Ubit，经过化ar变换 编码得到子块的可伸缩颜色描述符SCD。
[0055] (1.6c)对所有检索图像分块重复上述（1.6b)步骤，得到整个检索图像的可伸缩颜 色描述符SCD;
[0056] (1.7)重复对检索数据库中的每一个检索图像进行特征描述符提取；
[0057] (1.8)将上述提取到的检索图像的特征描述符进行存储，构成索引文件。
[0058] 步骤2,提取被查询图像的特征描述符
[0059] 设定第i个被查询图像Si,并提取Si的第k种特征描述符公，i = l，2,…，Ns，Ns表示 被查询图像总数；
[0060]本步骤提取的被查询图像的特征描述符与步骤1提取的检索图像的特征描述符类 别相同，即包括紧凑型描述符中的颜色和边缘的方向性描述符CEDD、亮度和纹理的方向性 直方图描述符BTDH、模糊颜色和纹理直方图描述符FCTH和多媒体内容描述接口 MPEG-7视觉 标准中的颜色布局描述符CLD、边缘直方图描述符E皿、可伸缩颜色描述符SCD。
[0061 ]提取方法与步骤1的提取方法相同，其中：
[0062] 被查询图像的颜色和边缘的方向性描述符CEDD提取过程如上述(1.1)步骤；
[0063] 亮度和纹理的方向性直方图描述符BTDH提取过程如上述(1.2)步骤；
[0064] 模糊颜色和纹理直方图描述符FCT田是取过程如上述(1.3)步骤；
[0065] 颜色布局描述符CLD提取过程如上述(1.4)步骤；
[0066] 边缘直方图描述符E皿提取过程如上述(1.5)步骤；
[0067] 可伸缩颜色描述符SCD提取过程如上述(1.6)步骤。
[0068] 步骤3,根据检索图像和被查询图像的特征描述符，计算第i个被查询图像Si在第j 个标签类cj食物中的似然得分P(Si I cj)，，j = 1，2，…，Nc，Nc表示检索数据库中的食物标签类 别的总数。
[0069] (3.1)根据检索图像Dd的特征描述符记与被查询图像Si的特征描述符/，计算两 者之间的第k种特征描述符的特征距离單/ ;
[0070] 本发明中用图像间的特征描述符的特征距离7：/表示检索图像与被查询图像的相 似性，并使用化nimoto系数?(./;{，方)来表示图像间的特征描述符的特征距离马/Janimoto 系数越小，相似度越小；
[0071]
<1>
[0072] 其中./f表示第i个查询图像S1中的第k种特征描述符，//表示第d个检索图像D冲 的第k种特征描述符，(於f是特征描述符//的转置，（//f是特征描述符疗的转置， K沪，.公')表示护和分之间的化η imo 10系数；
[0073] (3.2)重复计算检索数据库中的检索图像与第i个被查询图像Si的第k种特征描述 符的特征距离，并按照特征距离降序排列检索数据库中的检索图像，选取特征距离低于设 定的距离阔值hk的检索图像，构成图像集，该距离阔值hk的设定与检索数据库的大小有 关；
[0074] (3.3)根据上述步骤(3.2)中得到的图像集资，计算被查询图像Si在标签类cj食物 中的第k种特征描述符的似然概率户C,.);
[0075]
<2>
[0076] 其中D表示检索食物图像集，C是检索数据库中食物标签类的集合，》表示 图像集中标签类cj食物的数量，nkj，D)表示检索食物图像集D中标签类cj食物的数量；
[0077] (3.4)重复计算第i个被查询图像Si在第j个标签类cj食物中的其他特征描述符的 似然概率{/>(沪|c,批=U，;
[0078] (3.5)根据第i个被查询图像Si在第j个标签类cj食物中的N个特征描述符的似然概 率的方>,)|* = 1，2，...，斯|冰第1个被查询图像31在第计标签类。淮物中的似然得分口(31 Cj)：
[0079] ， <3>
[0080] 其中Wk表示第i个被查询图像Si的第k种特征描述符的似然概率的标准差，计算公 式如下：
[0081] . <4〉
[0082] 其中尸(.户|c)表示第i个被查询图像Si的第k种特征描述符在标签类c= {cj I j = l， 2，…N。}中的似然概率的平均值，计算公式如下：
[0083] <5>
[0084] (3.6)重复计算被查询图像集合SP中的每一个被查询图像在每一个食物标签类中 的似然得分{P(si|cj)|i = l，2，..'，^J = l，2，..'，Nc}。
[0085] 步骤4，构建被查询食物图像集合SP ={ Si I i = 1，2，…，Ns}在检索数据库中的食物 标签类集合c = kj I j = l，2,…，N。}中的马尔科夫MRF能量方程J(c)公式，，并通过最小化马 尔科夫MRF能量J(C)，得出第i个被查询图像Si识别的食物标签类cv，V = 1，2，··'Nc。
[0086] 本发明中根据被查询图像在检索数据库中的食物标签类中的似然得分和被查询 者菜单中食物标签类之间的条件概率，构建马尔科夫MRF能量公式，把食物识别问题转化为 求被查询图像集在检索食物标签类集中的马尔科夫MRF能量方程J(c)公式最小值问题，其 步骤如下：
[0087] (4.1)求被查询者菜单中第m个标签类Cm食物在第η个标签类cn食物已出现条件下 的出现概率P(Cm|cn):
[008引 P(Cm| Cn)=n(；Cm，Mm,n)/n(Cn，Gn) <6>
[0089] 其中η ( Cn，Gn )表示Gn中标签类Cn食物的数量，Gn表示菜单中Cn类食物图像的集合;η (Cm, Mm, η)表示Mm, η中标签类Cm食物的数量，Mm, η表示在菜单上标签类Cm食物与标签类Cn食物 同时出现的情况，m，η = 1，2，· · ·，Np，Np表示被查询者菜单中的食物标签类总数；
[0090] (4.2)求被查询者菜单中第η个标签类Cn食物在第m个标签类Cm食物已出现条件下 的出现概率P(Cn|cm):
[0091 ] P( Cn I Cm) =n kn ,Mm, η)/n( Cm , Gm) 〈7〉
[0092] 其中n ( Cm，Gm)表示Gm中标签类Cm食物的数量，Gm表示菜单中Cm类食物图像的集合;n (Cn，Mm, η)表示Mm, η中标签类Cn食物的数量；
[0093] (4.3)重复计算被查询者菜单中任意两个食物标签类之间的条件概率{Pkm|cn)，P (cn| Cm) |m,n=l ,2,··· ,Np}；
[0094] (4.4)根据被查询图像集合SP中的被查询图像在食物标签类中的似然得分{P(si 〇^)|1 = 1，2，-，，化，^' = 1，2，-，，斯}和被查询者菜单中任意两个食物标签类之间的条件概率 {P(Cm| Cn)，P(Cn| Cm) |m，n=l，2，···，Np}，求被查询图像集合SP在食物标签类集合C中的马尔 科夫MRF能量方程J(c):
[0095]
<8>
[0096] 其中A= {(Cm，Cn) |m，n=l，2,…，Np}表示被查询者菜单中的食物标签类对的集，λ 为平滑常数，Wi表示第i个被查询图像Si的似然得分的标准差，计算公式如下：
[0097] <9>
[0098] (4.5)利用迭代条件模式算法ICM最小化马尔科夫MRF能量方程J(c)，如图3所示， 得到第i个被查询图像Si的食物标签类Cv，步骤如下：
[0099] (4.5日)初始化口佔向），口((3。|扣），设置循环次数0 = 0;
[0100] (4.5b)选取不同于当前被查询图像的被查询图像，根据公式<8〉计算马尔科夫MRF 能量J(c，si) = {jXcj'si) I j = l，2，...，Nc};
[0101] (4.5c)从马尔科夫MRF能量J(c，si)中选择能量最小的，得到对应的食物标签类cv， 即为第i个被查询图像Si的食物类别；
[0102] (4.5(1)令9 = 9+1，若9<化，返回到步骤(4.56)，否则，停止循环，得出被查询食物图 像集合SP中的被查询图像的食物标签类，完成对被查询食物图像集合SP中被查询图像的识 别。
[0103] 本发明的效果可W通过W下实验进一步说明。
[0104] 1.实验对象
[0105] 实验对象为图4所示的被查询者某一天的早餐食品图像，被查询者一周内的早餐 菜单如表1所示：
[0106] 表1被查询者的早餐菜单
[0107]
[010引 2.实验步骤
[0109] (2.1)建立检索数据库如图5,提取检索图像的特征描述符，构建索引文件；
[0110] (2.2)输入图4所示的被查询图像，从被查询图像中提取特征描述符，并计算其与 检索图像的特征描述符的特征距离；
[0111] (2.3)根据公式<2〉求出被查询食物图像的特征描述符在食物标签类中的似然概 率结果表2所示；
[0112] 表2
[0113]
[0114] (2.4)根据公式<3〉，得到输入的被查询食物图像在标签类食物中的似然得分，依 次是P(si |c)，P(S2 I C)，P(S3 I C)，如下所示：
[0115] P(si Ic) = {0.2185,0.0700,0.1700,0.2684,0.0757,0.1974}
[0116] P(s21c) = {0.1131,0.4716,0.0725,0.1497,0.1374,0.0556}
[0117] P(s31c) = {0.0362,0.1757,0.0598,0.1415,0.5332,0.0536}
[0118] (2.5)根据表1，公式<6〉和公式<7〉，得到被查询者早餐菜单表1中的标签类之间的
[0120] 条件概率P ( Cm I Cn )，P kn I Cm)，如表3[0119] 表3
[0121]
[0122] (2.6)采用迭代条件模式算法ICM最小化马尔科夫MRF能量公式，得到如下的数据：
[0123] J( C, S1) = {2.2902,5.9449,2.3388,5.7490,5.9392,2.3113}
[0124] J(c,S2) = {6.3207,1.5185,4.1906,6.2006,6.8626,4.2074}
[0125] J(c, S3) = {6.3977,6.8243,4.2033,6.2088,1.4569,4.2095}
[01%]其中加黑的数据为运组数据中的最小值。
[0127] 3.实验结果：
[012引从步骤(2.6)中的马尔科夫MRF能量最小值，得到相对应的输入图像的标签类为： 包子，鸡蛋，牛奶，与输入的图4被查询图像的食物种类完全符合。
【主权项】
1. 基于马尔科夫随机场的快速食物识别方法，包括： (1) 根据不同食物种类的食物图像建立检索数据库，从检索数据库中的检索图像Dd中提 取Dd的N种特征描述符 <，并将其存储在索引文件中，Dd表示第d个检索图像，d = 1，2，…，Nd， Nd表示检索图像总数，1^=1，2，-，4表示使用的特征描述符的总数； (2) 设定第i个被查询图像Si，并提取Si的第k种特征描述符f ik，i = 1，2，…，Ns，Ns表示被 查询图像总数； (3) 根据检索图像和被查询图像的特征描述符，计算第i个被查询图像Sl在第j个标签类 Cj食物中的似然得分P(Sl|Cj)，j = l，2,…，NC，NC表示检索数据库中的食物标签类别的总数； (4) 构建被查询食物图像集合SP ={ Si | i = 1，2，…，Ns}在检索数据库中的食物标签类集 合c={Cj| j = l，2,…，N。}中的马尔科夫MRF能量方程J(c)公式，，，，并通过最小化马尔科夫 MRF能量J(c)，得出第i个被查询图像Si识别的食物标签类Cv，v = 1，2，…仏： (4.1) 计算被查询者菜单中第m个标签类^食物在第η个标签类(^食物已出现条件下的 出现概率P( Cm | cn)n，m= 1，2，…，Νρ，η关m，Νρ表示被查询者菜单中食物标签类别的总数； (4.2) 求被查询者菜单中第η个标签类(^食物在第m个标签类^食物已出现条件下的出 现概率P(Cn|cm); (4.3) 重复计算被查询者菜单中任意两个食物标签类之间的条件概率0((^|(^)，？((^ Cm) |m,n=l ,2,··· ,NP}； (4.4) 根据被查询图像集合SP中的被查询图像在食物标签类中的似然得分{P(Sl I Cj) I i =1，2，一，^ = 1，2，一，仏}和被查询者菜单中任意两个食物标签类之间的条件概率0((^ I Cn)，P(cn| Cm) |m，n=l，2，···，NP}，求被查询图像集合SP= {si I i = l，2，···，NS}在标签类食物 集合c = {cj I j = 1，2，…N。}中的马尔科夫MRF能量方程J(c); (4.5) 利用迭代条件模式算法ICM最小化马尔科夫MRF能量方程J(c)，求出第i个被查询 图像Sl的食物标签类 Cv;重复使用迭代条件模式算法ICM最小化马尔科夫MRF能量方程J(c) 求出被查询食物图像集合SP中的其他被查询图像的食物标签类，完成对被查询食物图像集 合SP中被查询图像的识别。2. 根据权利要求1所述的食物识别方法，其中步骤（1)从检索数据库中的检索图像Dd中 提取N种特征描述符，建立索引文件，按照如下步骤进行： (1.1) 将检索图像Dd分成若干分块，再将每个分块分为4个子块，并对每一个子块进行纹 理、颜色和边缘处理，得到分块的直方图；重复对所有分块进行纹理、颜色和边缘处理，得到 检索图像Dd的直方图，并对该检索图像D d的直方图进行归一化得到检索图像Dd的N种特征描 述符； (1.2) 重复对检索数据库中的每一个检索图像进行特征描述符提取，并存储，构成索引 文件。3. 根据权利要求1所述的食物识别方法，其中所述步骤(2)中提取被查询图像Sl的特征 描述符，是将被查询图像 Sl分成若干分块，再将每个分块分为4个子块，并对每一个子块进 行纹理、颜色和边缘处理，得到分块的直方图；重复对所有分块进行纹理、颜色和边缘处理， 得到被查询图像 81的直方图，再对被查询图像81的直方图进行归一化得到被查询图像81的~ 种特征描述符。4.根据权利要求1所述的方法，其中步骤(3)中根据检索图像和被查询图像的特征描述 符，计算第i个被查询图像Sl在第j个标签类食物中的似然得分P(Sl|Cj)，，按如下步骤进 行： (3.1) 根据检索图像Dd的特征描述符与被查询图像Sl的特征描述符fj，计算两者之 间的第k种特征描述符的特征距离IX dk;其中fik表示第i个查询图像Sl中的第k种特征描述符，/j表示第d个检索图像Dd中的第k 种特征描述符，是特征描述符#的转置，是特征描述符的转置； (3.2) 重复计算检索数据库中的检索图像与第i个被查询图像Sl的第k种特征描述符的 特征距离，并按照特征距离降序排列检索数据库中的检索图像，选取特征距离低于设定阈 值h k的检索图像，构成图像集Af; (3.3) 根据在检索图像集中与被查询图像Sl的第k种特征描述符的特征距离低于设定阈 值hk的检索图像集 <，计算被查询图像81在标签类^食物中的第k种特征描述符的似然概率 P(fik|cj)；其中D表示检索食物图像集，c是检索数据库中食物标签类的集合，表示检索图 像集中标签类食物的数量，n(Cj，D)表示检索食物图像集D中标签类q食物的数量； (3.4) 重复计算第i个被查询图像Sl在第j个标签类食物中的其他特征描述符的似然 概率{P(fik| Cj)|k=l，2,…，N}; (3.5) 根据第i个被查询图像Si在第j个标签类Cj食物中的N个特征描述符的似然概率{P (fik | Cj) | k = l，2，…，N}，求被第i个查询图像Si在第j个标签类Cj食物中的似然得分P(Si Cj)：其中Wk表示第i个被查询图像Sl的第k种特征描述符的似然概率的标准差，计算公式如 下：其中^表示第i个被查询图像Sl的第k种特征描述符在标签类c={c」j = l，2r·· N。}中的似然概率的平均值，计算公式如下：(3.6)重复计算被查询图像集合SP中的每一个被查询图像在每一个食物标签类中的似 然得分{P(si|cj) | i = l，2，···，Ns，j = l，2，'..，Nc}。5. 根据权利要求1所述的食物识别方法，其中步骤(4)中构建被查询食物图像集合SP = {Si|i = l，2,…，Ns}在检索数据库中的食物标签类集合c={Cj| j = l，2,…，Nc}中的马尔科 夫MRF能量方程J (c)公式，按如下步骤进行： (4.1) 求被查询者菜单中第m个标签类^食物在第η个标签类(^食物已出现条件下的出 现概率p(Cm|Cn): P ( Cm I Cn)-Π ( Cm , Mm, n) /ll ( Cn , Gn) 〈6〉 其中n ( Cn，Gn)表示Gn中标签类Cn食物的数量，Gn表示菜单中Cn类食物图像的集合;n ( Cm， Mm,η)表示Mm,η中标签类Cm食物的数量，Mm,η表示在菜单上标签类Cm食物与标签类Cn食物同时 出现的情况，m，η = 1，2，…，Np; (4.2) 求被查询者菜单中第η个标签类(^食物在第m个标签类^食物已出现条件下的出 现概率p(Cn|Cm): P ( Cn I Cm)-Π ( Cn , Mm, n) /ll ( Cm, Gm) 〈7〉 其中n(Cm，Gm)表示Gm中标签类cm食物的数量，Gm表示菜单中cm类食物图像的集合;n(cn, Mm,η)表示Mm,η中标签类Cn食物的数量，Mm,η表示在菜单上标签类Cm食物与标签类Cn食物同时 出现的情况，m, η = 1,2,…，NP; (4.3) 重复计算被查询者菜单中任意两个食物标签类之间的条件概率0((^|(^)，？((^ Cm) |m,n=l ,2,··· ,NP}； (4.4) 根据被查询图像集合SP中的被查询图像在食物标签类中的似然得分{P(Sl I Cj) I i =1，2，一，^ = 1，2，一，仏}和被查询者菜单中任意两个食物标签类之间的条件概率0((^ cn)，P(cn I cm) I m，η = 1，2，…，NP}，求被查询图像集合SP在食物标签类集合c中的马尔科夫 MRF能量方程J(c):其中，A= {(cm，cn) |m，n=l，2，···，NP}表示被查询者菜单中的食物标签类别对的集，λ是 平滑常数，表示第i个被查询图像Sl的似然得分的标准差，计算公式如下：6. 根据权利要求1所述的食物识别方法，其中步骤(4)中利用迭代条件模式算法ICM最 小化马尔科夫MRF能量方程J(c)，得到第i个被查询图像 Sl的食物标签类Cv，步骤如下： (4.5a)初始化P(Si | cj)，P(cm | cn)，设置循环次数Q = 0; (4.5b)选取不同于当前被查询图像的被查询图像，根据公式(8)计算马尔科夫MRF能量 J(c,si) = {J(cj,si) I j = l ,2,··· ,Nc}； (4.5c)从马尔科夫MRF能量J(c，Si)中选择能量最小的，得到对应的食物标签类cv，即为 第i个被查询图像Sl的食物类别； (4.5d)令Q = Q+1，若Q〈NS，返回到(4.5b)步，否则停止循环，得出被查询食物图像集合SP 中的被查询图像的食物标签类，完成对被查询食物图像集合SP中图像的识别。
【文档编号】G06K9/62GK105824886SQ201610136517
【公开日】2016年8月3日
【申请日】2016年3月10日
【发明人】孙伟, 潘蓉, 赵春宇, 陈许蒙, 郭宝龙
【申请人】西安电子科技大学