本发明涉及一种枇杷果实品种鉴别、品质分级和成熟度判定的检索方法。
背景技术：
中国是枇杷的起源中心，也是全世界枇杷品种资源最丰富、栽培面积最大和产量最大的国家。枇杷是中国南方特产水果，其果肉柔软多汁、酸甜适口、风味佳美和营养丰富，且在春末夏初成熟，正逢鲜果市场淡季，深受人们喜爱，其经济价值突出。
枇杷果实的品质口感和外观特征主要由品种决定，而由于不同的栽培管理、贮藏运输等条件对枇杷果实的品质口感也会有影响。由于监管不够和利益的驱动，市场上出现了大量的“假冒”枇杷果实，如山寨版“塘栖枇杷”通过相似的蒙蔽包装和相仿的价格出现在市场上，一般消费者在选购过程中难以通过肉眼迅速区别出来，对消费者和生产者都造成极大的损失。另一方面，随着枇产业规模化和集约化进程的加快，生产者田间采收枇杷果实依然主要是通过肉眼和经验判断果实成熟度和最佳采摘期，并进行品质分级，其稳定性和统一性无法保证。因此，急需一种操作方便、自动化无损检测、准确、便携式快速检测的技术来克服上述问题。
为此，农业相关领域的学者为解决上述类似问题，大量研究了对水果、蔬菜进行无损条件下的品质评价和成熟度判断技术，但是均存在比较耗时，难以现场测定，而且设备比较占空间，传感器价格较高，功能单一，无法集合实现成熟度和品质级别两者的无损检测，无法推广到普通大众消费者和田间生产作业等缺点。而且，至今还未见通过在移动智能终端上，基于偏好和多智能算法通过图像视频识别技术来辨别枇杷果实品种、品质级别和成熟度的方法的相关报道和专利公布。
技术实现要素：
本发明的目的在于提供一种枇杷果实品种鉴别、品质分级和成熟度判定的检测识别方法，以克服现有技术中存在的缺陷。
为实现上述目的，本发明的技术方案是：一种枇杷果实品种鉴别、品质分级和成熟度判定的检索方法，按照如下步骤实现：
步骤s1：对不同品种、不同品质级别以及不同成熟度的枇杷果实标准样本进行采集；
步骤s2：对所采集的枇杷果实标准样本的外观特征和内部理化特征进行采集；
步骤s3：建立与外观特征和内部理化特征相关的模型；
步骤s4：对样本图像视频采集和挖掘，建立系统监测数据库；
步骤s5：用户对偏好进行设定，并通过终端进行检索查询；
步骤s6：输出结果，并反馈优化。
在本发明一实施例，在所述步骤s1中，根据国家检测标准和地区行业标准，获取不同品种、不同品质级别和不同成熟度的枇杷果实特征，采集对应的标准图像视频样本，并根据品种特征，按照从优到劣的顺序，对品种进行星级评价；再对属于同一品种、同一品质级别和同一成熟度的枇杷果实，在不同年份、不同产地进行采集，以增加该品种的特征和图像视频样本的数量，并调整品种的整体星级评价。
在本发明一实施例，在所述步骤s2中，所述外观特征包括：果形/果形指数、果皮颜色、果实大小规格、萼片大小、果基特征、果顶特征、条斑、果点密度、果点大小、果面茸毛密度、果面茸毛长度、果粉以及萼片姿态等；所述内部理化特征包括：可溶性固形物含量、可滴定酸含量、可溶性糖含量、维生素c、可食率、耐贮藏性、风味、香味、汁液、果肉质地、果肉化渣程度、果肉石细胞、果实整齐度、剥皮难易、果皮厚度、可食率以及耐贮藏性等。
在本发明一实施例，在所述步骤s3中，对经采集所得的特征值和图像视频信息数据进行优化，通过大样本数据库和图像视频信息比对分析，获取不同品种、不同品质级别和不同成熟度的枇杷果实的差异性，通过系统聚类分析找到样本对象之间在外观特征和内部理化特征上的相关性；通过pca主成分分析，筛选出用于鉴别判断枇杷果实品种、品质级别、成熟度相关的前20个特征因子，作为用户在检索查询过程中的优先对象。
在本发明一实施例，在所述步骤s4中，对同一品种、同一品质级别、同一成熟度的枇杷果实，从预设拍摄角度，分别采集图像或视频信息；对采集的图像或视频进行学习，获得图像或视频中果实的感官特征数据；将该感官特征与由所述步骤s2所得的外观特征和内部理化特征进行匹配，对所述步骤s3中所建立的与外观特征和内部理化特征相关的模型进行调整优化，建立枇杷果实品种鉴别、品质分级、成熟度判定与对应图像视频的系统监测数据库。
在本发明一实施例，在所述步骤s5中，用户通过搭载一检索输入系统的手持终端输入待判断的果实的图像、视频或该果实的状态信息；该终端将该待判断的果实的图像或视频上传至一搭载所述系统监测数据库的检索判断终端，并进行检索匹配，确定该待判断的枇杷果实的品种，并进一步判断品质级别以及成熟度；所述检索判断终端根据所获取的果实的品种、品质级别以及成熟度，查询匹配的市场价格以及销售点，并将枇杷果实的品种、品质级别、成熟度、市场价格以及销售点作为检索结果下发至手持终端。
在本发明一实施例，在所述步骤s6中，当用户通过手持终端收到检索结果后，通过手持终端键入反馈信息并上传至所述检索判断终端；所述检索判断终端进行检索参数调整以及用户偏好参数调整。
在本发明一实施例，在所述步骤s5中，还包括如下步骤：
步骤s51：将用户对枇杷果实的品种、品质级别和成熟度的需求特征，进行量化，作为用户的预设偏好，并通过用空间向量模型来表示用户的枇杷果实特征需求偏好：获取枇杷果实感官特征对象的分布情况，建立n维果实特征空间向量[(k1,w1)，(k2,w2)，…(kn,wn)]，i∈1,2,....,n；其中，ki为第i个特征对象，wi为ki对象的特征值，wi＇为用户对ki上的偏好程度，得到用户对枇杷果实的特征偏好向量为w′pre＝(w′1,w′2,...,w′n,)；
步骤s52：用户输入查询内容，包括枇杷果实的图像或者视频、品质级别、成熟度或品种中的至少一项，可选的输入零售单价、销售地区、品牌/生产商；
步骤s53：用户给出的原始查询向量为q＝(p，g，k，v，x，l，s，c)，其中，p表示用户采集输入的原始图像或短视频，未输入时默认值为0；g＝{gi}表示用户输入的果实品质级别，未输入时默认值为0；k＝{ki}表示用户输入的果实成熟度，未输入时默认值为0；v＝{vi}表示用户输入的品种对象，为优先查询品种对象，未输入时默认值为0；x、l、s为用户输入的补充信息，分别表示枇杷果实的零售单价、销售地区、品牌/生产商；
步骤s54：根据所述系统监测数据库提供的聚类信息库及图像视频的特征组合，判断查询向量q是否属于聚类信息库中的一类；同时，在强化学习的先验知识中查询是否有记录m；如果属于一类存在记录，则转入步骤s55；否则转入步骤s56；
步骤s55：采用遗传算法，根据查询向量q和查询记录m，计算获得一组最佳权重t＝{ti}，转入步骤s57；
步骤s56：采用强化学习所得的先验知识，获得一组最佳权重t＝{ti}，转入步骤s57；
步骤s57：利用枇杷果实特征相似度模型，学习计算出所述系统监测数据库中每个枇杷果实类别ii与查询向量q的距离d(q，ii)，根据距离进行排序，选出距离最近的5个样本枇杷果类别组成查询的结果集r，且枇杷果实特征相似度模型为：
其中，q是查询向量；i是被查询对象；f＝{fi}是根据查询向量q所学习到的枇杷果实特征集合；tfi是特征fi的权重；
步骤s58：利用强化学习算法，更新一组强化学习记录，记录是以信息对的形式保存：<x，t>，其中，x对应一组样本枇杷果实，t对应一组权重组合；
步骤s59：经过查询匹配，获得用户所检测的枇杷果实对象的感官特征值所对应的空间向量wx＝(w1，w2，…，wn)，且得δw＝wpre－wx，δw用于衡量用户所偏好的标准与所检测的枇杷果实对象之间的差异，即表示与所理想的品种、品质级别和成熟度之间的差距，用于协助判断是否选购或采摘等。
在本发明一实施例，在所述步骤s6中，还包括如下步骤：
步骤s61：通过所述步骤s5输出所述查询的结果集r和偏好推荐；用户验证后，对结果进行反馈；如果用户对查询结果满意，则检索结束，同时将查询数据归并或者更新到聚类信息库，转入步骤s62；如果用户对检索结果不满意，则转入步骤s63；
步骤s62：结合用户所选择的最优结果对象，记作o’；利用信息融合技术，修正查询向量q，同时由o’以及在所述系统监测数据库中随机抽取的特征，更新测试集q’，并更新为当前的查询向量q，转入步骤s53；
步骤s63：以预设概率决定是否对所述系统监测数据库进行聚类，更新聚类信息库，或者用户可以强制系统进行聚类操作。
相较于现有技术，本发明具有以下有益效果：本发明所提出的一种枇杷果实品种鉴别、品质分级和成熟度判定的检索方法，利用信息融合、强化学习、蚁群算法等多智能算法和技术提高检索的准确度和效率，对不同品种、品质级别和成熟度的果实的图像视频具有较强的稳定性；同时可用于完善用户的偏好，根据检索枇杷果实对象与预定义的偏好差距，向用户提供更符合其潜在需求的检索结果；在智能终端的检测设备的更容易应用普通消费者和生产者，扩大了检测应用范围，降低了干扰，其灵敏度、可靠性和重复性都有了很大的提高。在移动智能手段上开发，通过图像视频检索识别功能辨别枇杷果实品种、品质级别和成熟度的系方法，对果实进行无损检测，可以融合枇杷果实的多个感官特征，如颜色特征、形状大小、果粉特征等，和补充输入其他信息用于判断枇杷果实品种、品质级别、成熟度等，可以克服主观判断的局限性和不稳定性，是一种客观、快速、有效、易操作的方法，易于推广到普通大众和大小型户生产者，解决消费者选购正宗优质枇杷果和生产者田间判断枇杷果实品种、成熟度和品质级别等的问题，而偏好预定义可以根据客户的具体需求特征，向用户推荐符合其潜在需求的检索结果。
附图说明
图1是本发明中一种枇杷果实品种鉴别、品质分级和成熟度判定的检索方法的示意图。
图2是本发明中一实施例中枇杷果实正确采集枇杷果实图像视频角度的示意图。
图3是本发明中用户检索查询和反馈过程的示意图。
图4是本发明中手持终端搭载的枇杷果实识别方法的检索对象组成示意图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明提出了一种基于偏好和多智能算法的可实现快速无损检测枇杷果实的品种、品质及成熟度的方法。能够通过学习枇杷不同品种、不同品质级别和不同成熟度的果实的特征，结合用户的偏好，结合国内外现有的图像视频内容识别和特征检索分类研究结果，为解决枇杷果实的高效识别检索问题，从而提出一种可推广至普通消费大众和田间生产作业的识别检测方法。本发明首次提供了在移动智能设备上的一种快速无损鉴别枇杷果实品种、品质级别以及成熟度的方法，通过多智能算法大大提高了检测的准确度和效率，而偏好算法则更有利于用户便捷地选购出理想的品种正宗的精品优质枇杷果实，同时也可以帮助生产者快速判断枇杷果实的品种、品质级别以及成熟度，提高生产效率。
进一步的，枇杷品种主要是根据果实的颜色和形状进行分类识别的。根据对172份枇杷种质资源果实的风味、剥皮难易、果肉颜色、果肉化渣程度、果肉质地和汁液等12个描述性状的多样性分析结果表明变异系数范围为28.34％～78.75％,simpson多样性指数为0.349～0.834,其中果实风味、果肉质地和果肉颜色的多样性指数较高,具有丰富的多样性，表明枇杷不同品种的内部品质、外观特征差异较大，可作为枇杷品种分类和识别的重要依据。通过分析国家果树种质福州枇杷圃的199份枇杷种质资源的86个性状，其主成分分析结果发现果实大小、单果质量、果肉厚度、可食率、果肉颜色、果形指数等可作为枇杷品种分类的重要依据，突出了果实大小、单果质量、果肉颜色等果实经济性状的重要地位，其r型聚类分析结果发现多数性状表现两两相关，部分形状之间相关程度高如果实横径与侧径、果肉厚度与可食率等。不同成熟度“贵妃枇杷”果实的色泽与可溶性固形物、总酸、总糖、维生素含量、糖酸比、风味等具有极显著相关性。果实的外观特征参数和内部品质参数对枇杷果实的分类和识别重要，可作为品种鉴别、品质分级和成熟度判定的重要依据，因此对枇杷果实的外观特征进行分析，在内部品质与外观特征相关模型下，可预测果实的内部品质，从而对果实的品种、品质级别和成熟度进行综合评价，作为开发枇杷果实无损检测的依据。
进一步的，包括如下步骤：
步骤s1：枇杷果实标准样本的采集，覆盖不同品种、不同品质级别和不同成熟度；
步骤s2：枇杷果实外观特征和内部理化特征的调查和分析；
步骤s3：外观特征和内部理化特征相关模型的建立；
步骤s4：枇杷果实样本图像或视频的采集和挖掘分析；
步骤s5：用户偏好定义和检索查询过程；
步骤s6：结果的输出和反馈优化。
为了让本领域技术人员进一步了解本发明所提出的方法，下面结合附图和实施例，对本发明的具体实施方法作进一步详细描述。在本实施例中，对枇杷果实的品种、品质级别和成熟度的预测具有通用性。以下实施例用于说明本发明，但不用来限制本发明的范围。
在本实施例中，如图1所示，为该方法的流程图。
进一步的，在步骤s1中，枇杷不同品种、品质级别和成熟度的果实标准样本的采集。首先，根据国家检测标准和地区行业标准由中国农业出版社出版的《枇杷种质资源描述规范和数据标准》，调查国家种质资源枇杷圃内不同品种的不同品质级别和不同成熟度的特征和采集对应的标准图像以及视频，并根据品种特征，对品种进行星级评价；再对于同一类样品在不同年份、不同产地采集，以丰富该类样品的特征和图像视频信息，调整品种的整体星级评价。其中，将枇杷果实品种整体星级评价、品质级别和成熟度的均划分成5个大类，如表1所示。
进一步的，品种整体星级评价主要是通过整体品质情况、市场效益、栽培管理的难易程度、成熟期等，从优到劣依次划分为五星至一星；品质级别的划分主要是通过外观特征和口感的评价，从优到劣依次划分为特优品、一等品、二等品、三等品、劣等品；不同成熟度区别主要通过果实与正成熟期外观特征和内部理化特征的差异来区别，一般划分为七成熟、八成熟、九成熟、十成熟和过熟5个成熟期阶段。
表1枇杷果实的品种星级、品质级别和成熟度的划分
进一步的，在步骤s2中，调查和分析枇杷果实的外观特征和内部理化特征。
对所采集样品，逐一调查分析的外观特征项目包括果形/果形指数、果皮颜色、果实大小规格、萼片大小、果基特征、果顶特征、条斑、果点密度、果点大小、果面茸毛密度、果面茸毛长度、果粉、萼片姿态等，如表2所示，数据化记录调查结果。具体调查项目和描述方式，可根据具体实际应用情况，增删调查项目和改进描述方式。
对所采集样品，逐一调查分析的内部理化特征项目包括可溶性固形物含量、可滴定酸含量、可溶性糖含量、维生素c、可食率、耐贮藏性、风味、香味、汁液、果肉质地、果肉化渣程度、果肉石细胞、果实整齐度、剥皮难易、果皮厚度、可食率、耐贮藏性等，以及对应的测定描述方式如表3所示，数字化记录调查结果。具体调查项目和描述方式，可根据实际应用情况增删调查项目和改进测定描述方式。
表2枇杷果实的外观特征的调查项目和特征描述方式
表3枇杷果实的内部理化特征的调查项目和测定描述方式
进一步的，在步骤s3中，建立外观特征和内部理化特征相关的模型。
枇杷果实的外观特征与品种、品质级别和成熟度有着密切的关系，与果实的口感品质、内部理化特征等也高度相关。首先，对调查所得的特征值和图像视频信息数据进行优化，通过大样本数据库和精准的图像视频信息比对分析，研究不同品种、不同品质级别和不同成熟度的差异性，通过系统聚类分析找到这些样本对象之间在外观特征和内部理化特征上的相关性；通过pca主成分分析筛选出对鉴别判断枇杷果实品种、品质级别、成熟度密切相关的前20个特征因子，可作为用户在检索查询过程中的优先对象，提高检索查询效率。
进一步的，在步骤s4中，采集和挖掘分析样本图像或视频。
对枇杷不同品种、不同品质级别、不同成熟度的果实均分别采集图像或短视频资料。从枇杷果实的侧面和基部的角度采集图像或视频，如图2。对采集的图像或视频进行学习，获得图像中枇杷果实的感官特征数据，如果形/果形指数、果皮颜色、果实大小规格、萼片大小、果基特征、果顶特征、条斑、果点密度、果点大小、果面茸毛密度、果面茸毛长度、果粉、萼片姿态等。
进一步的，从采集图像或视频中的学习得到感官特征与对应的调查所得的外观特征和内部理化特征进行匹配，对外观特征和内部理化特征相关模型的进行调整优化，实现所采集图像或视频对枇杷果实的不同品种、不同品质级别、不同成熟度鉴别的灵敏度和效率，从而建立枇杷果实品种鉴别、品质分级、成熟度判定的监测数据库。在智能手持用户端，用户的检索查询和反馈过程的如图3所示。
进一步的，在步骤s5中，定义用户偏好和进行检索查询。
步骤s51：不同的用户对枇杷果实的品种、品质级别和成熟度有着不同的需求特征，可以根据这些特征进行量化描述分析，作为用户的偏好预定义。更优选地，用空间向量模型来表示用户的枇杷果实特征需求偏好：
首先，分析枇杷果实感官特征对象的分布情况，建立n维果实特征空间向量[(k1,w1)，(k2,w2)，…(kn,wn)]，i∈1,2,....,n；其中，ki为第i个特征对象，wi为ki对象的特征值，wi＇为用户对ki上的偏好程度，从而得到用户对某一类枇杷果实的特征偏好向量为w′pre＝(w′1,w′2,...,w′n,)。
步骤s52：用户通过智能手持终端，如智能手机等，输入的查询内容，如图4可见，包括枇杷果实的图像或者视频、品种、品质级别和成熟度的至少一项，可选的输入零售单价、销售地区、品牌/生产商、以及其他补充的枇杷果实特征等信息。枇杷果实的图像或者视频较优的拍摄角度，如图2所示。
步骤s53：用户给出的原始查询向量为q＝(p，g，k，v，x，l，s，c)，其中，p表示用户采集输入的原始图像或短视频，未输入时默认值为0；g＝{gi}表示用户输入的果实品质级别，未输入时默认值为0；k＝{ki}表示用户输入的果实成熟度，未输入时默认值为0；v＝{vi}表示用户输入的品种对象，为优先查询品种对象，未输入时默认值为0；x、l、s为用户输入的补充信息，分别表示枇杷果实的零售单价、销售地区、品牌/生产商；
步骤s54：根据监测数据库提供的聚类信息库及图像视频的特征组合，判断查询向量q是否属于聚类信息库中的某一类，同时在强化学习的先验知识中查询是否有记录。如果属于某一类存在记录，则转入步骤s55；否则转入步骤s56；
步骤s55：利用遗传算法，根据查询向量q和查询记录m，计算获得一组最佳权重t＝{ti}，转入步骤s57；
步骤s56：利用强化学习所得的先验知识，获得一组最佳权重t＝{ti}，转入步骤s57；
步骤s57：利用枇杷果实特征相似度模型，学习计算出监测数据库中每个枇杷果实类别ii与查询向量q的距离d(q，ii)，根据距离进行排序，选出距离最近的5个样本枇杷果实组成结果集r。特征相似度模型为：
其中，q是查询向量；i是被查询对象；f＝{fi}是根据查询向量q所学习到的枇杷果实特征集合；tfi是特征fi的权重；
步骤s58:利用强化学习算法，更新一组强化学习记录，记录是以信息对的形式保存：<x，t>，其中，x对应一组枇杷果实样本，t对应一组权重组合；
步骤s59:经过查询匹配，也可以获得用户所检测的枇杷果实对象的感官特征值所对应的空间向量wx＝(w1，w2，…，wn)，那么δw＝wpre－wx就可用于衡量用户所偏好的标准与所检测枇杷果实对象之间的差异，即表示与所理想的品种、品质级别和成熟度之间的差距，可用于协助判断是否选购或采摘等。
进一步的，在步骤s6中，输出检索结果和进行反馈优化。
步骤s61：输出查询的结果集r和偏好推荐。用户在斟酌验证后，对结果进行反馈，如果用户对查询结果满意，则检索结束，同时将查询数据有选择地归并或者更新到聚类信息库，转入步骤s62；如果用户对检索结果不满意，则转入步骤s63；
步骤s62：结合用户所选择的最优结果对象，记作o’；利用信息融合技术，修正查询向量q，同时由o’及在枇杷果实特征数据库中随机抽取的特征更新测试集q’更新为当前的查询向量q，转入步骤s53；
步骤s63：以一定的概率决定是否对图像视频数据库进行聚类，更新聚类信息库，或者用户可以强制系统进行聚类操作。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。