专利名称：面向pacs数据库中放射图像的基于内容的检索方法和系统的制作方法
技术领域：
本发明属于医疗信息技术和信息检索技术领域，具体涉及一种面向 PACS数据库中放射困像的基于内容的检索方法和系统.
背景技术：
医学影像信息学及其工程应用的关鍵核心系统是医学图像归档与通信 系统(PACS). PACS集医学困像的采集、通信、处理、存储与显示于一体， 是医院实现数字化的关健信息系统和技术支撑平台.随着医学成像技术的发 展和医学信息系统的普及， 一所现代化医院的放射科每天会产生大量的放射 医学图像，这些困像是医生进行临床诊断、病情跟踪、手术计划、预后研究、 鉴别诊断的重要客观依据.医学困^MH:据的多样性和重要性亟待高效的医学 图^r索方法，以最大限度地利用医学困像所提供的信息。基于内容的图像 检索(Content-base Image Retrieval, CBIR)技术在近年来引起了广泛的关 注，其目的便是从围像自身包含的内容出发，检索数据库中与^目关的图像， 其目标是要求计算机能代替人眼从海童困像中选出与"样图"相似的图像并 反馈给用户，
现今的CBIR系统一般都采用如下方法进行检索首先对图像进行特征 提取，得到描述困像内容的特征向量，然后根据Euclid距离、相关系数等度 量方法计算出待检索的困像与数据库中困像的特征向量间的距离，最终选取 距离最小的一些闺像作为检索结果输出.这种检索方法面临的最大困难在 于，当困^Mt据库iiJ，J一定^^，困像特征向童间的距离计算非常耗时， 这使得CBIR技术在大规模困像数据库中无法实用化，此外，要想真正模拟 人识别图像的功能需要闺条现觉特征与围像语义特征间的有效沟通，而当前用于闺像險索的特征主要是一些较为低层的視觉特征(如颜色、形状、紋 理等)，这些低在特征与用户查询所使用的高层概念(如病灶的影像学表 现或病理学诊断等)之间还存在着巨大的"语义鸿沟".目前医学上虽然已经 建立了不少CBIR系统，但这些系统大都处于实验研究或临床评估阶段，而 且这些,统所存储和管理的困M量非常有限(几千到几万幅)，几乎没有 一个真正应用到临店^诊断或治疗的曰常工作之中.
发明内容
本发明提供了 一种面向PACS数据库中放射图像的基于内容的检索方法 和系统，以解决传统CBIR技术不适用于大规模困像数据库的缺陷，并可以 在一定程度上緩解传统CBIR技术中的"语义鸿沟"现象。
本发明所采用的技术方案如下
一种面向PACS数据库中放射图像的基于内容的检索方法，其特征在于 通itit射信息系统(RIS)与PACS间的集成，将RIS中的放射诊断报告与 PACS中的放射困像进行关联，并分别建立放射诊断报告的倒排索引和放射 围像的特征索引，然后使用两阶段搜索算法对查询请求进行基于内容的图像 检索； 一个有效的查询请求至少由困像示例和困像示例相关文^述信息组 成，其中图像示例为用户指定的一幅PACS困像，困像示例相关文^述信
息为困像示例的影像学表现或/和可能的病理学诊断结果的文字描述；
两阶段搜索算法的具体过程是第一阶段，使用待检图像的影像学所见 或/和可能的病理学诊断的描迷文W放射诊断报告倒排索引中进行检索，此 阶段可以得到与待检困像在影像学表现或病理学诊断上相关的一组放射诊 断报告列表，称为候选搜索结果集，候选搜索结果集中的报告是按照文本向
量空间模型中的相关度排序的；笫二阶段，在围像特征索引库中提取候选搜索结果集中报告的相关PACS困像臬合的特征，然后计算困像集合中的图像 与待检困^M9L特征向量空间中的距离，并依据计算得出的距离对候选搜索结 果臬重新排序，然后将最终结果返回给用户.
所述的面向PACS数据库中放射困像的基于内容的检索方法，其特征在 于所述第二阶段算法中计算困像集合中的困像与待检困^4特征向量空间 中的距离，并> 1据计算得出的距离从小到大对候选搜索结果集重新排序，然 后将最终结果返回给用户.
所述的面向PACS数据库中放射困像的基于内容的检索方法，其特征在
于查询请求还包括患者基本身裕^fr息和影乘除查相关信息.
一种面向PACS数据库中放射困像的基于内容的检索系统，由于实施如 上所述的方法，其特征在于它由围像显示工作站、查询接口模块、放射诊 断报告索引模块、图像特征提M^、放射诊断报告检索模块、图像匹配模 块、图像特征库管理模块、放射诊断报告倒排索引、图像特征和缩略图库、 放射诊断报告数据库和PACS闺像数据库组成；其中
困像显示工作站医生使用困像显示工作站进行困M择、图像的感兴 趣区域选择、输入查询文本和提交查询请求，检索结果也在图像显示工作站 中显示；
查询接口模块困像显示工作站与搜索引擎进行交互的接口模块； 放射诊断报告索引模块用于建立RIS数据库中的放射报告的文本索
引；
图像特征提M块用于对PACS困像或困像中的感兴趣区域进行特征 提取；放射诊断报告检索模块放射报告的文本險索引擎服务器； 困像匹配模块用于计算困像特征或者困像感兴趣区域的特征间的相似
度；
困像特征库管理模块用于对困像或者困像感兴趣区域的特征，以及图 像缩略困进行管理.
本发明具有以下效果和优点
1. 通过检索放射诊断报告倒排索引的方法实现对iJS^ PACS图像数 据库的导航，大大减少一次查询过程中需要进行特征向量间距离计算的图像 的数量，使得对;^L^棋PACS困像数据库的检索成为可能；
2. 使用放射诊断报告文本險索技术在一定程度上緩解CBIR的"语义鸿 沟，，现象.因为放射诊断报告是对放射图像的人为理解和描述，故放射诊断 报告中的关鍵词比困像4^视觉特征在语义上更加接i^们的搜索意3. 通过对文本检索技术和基于内容的困像检索技术的有效整合，充分发 挥两种技术的优势，以达到取长补短的效果。相对于独立的文扣险索方法和 CBIR方法，本发明的检索方法具有更好的性能和更高的准确度。
图l是本发明一种实施例系统的架构框困；
图2是本发明方法检索过程的沐艰困。
具体实施例方式
本发明提供了一种面向PACS数据库中放射困像的基于内容的检索方 法。通过RIS与PACS间的集成，将RIS中的放射诊断报告与PACS中的放射困M行关联，并分别建立放射诊断报告的倒排索引和放射困像的特征 索引，然后使用"两阶段搜索"算法对查询请求进行基于内容的困絲索。一 个有效的查询请求至少由困像示例和困像示例相关文^述信息组成，其中
困像示例为用户指定的一幅PACS困像，困像示例相关文^述信息为图像 示例的影像学表现或/和可能的病理学诊断结果的文字描述。此外，查询请求 还可以包括患者基本身伯^信息(患者姓名、性别、出生日期等)和影像除查 相关信息(检查设备类型、患者的检查部位等).
两阶段搜索算法的具体过程是第一阶段，使用待检图像的影像学所见
阶段可以得到与待检困像在影像学表现或病理学诊断上相关的一组放射诊
断报告列表，称为候选搜索结果集，候选搜索结果集中的报告是按照文本向
量空间模型中的相关度排序的；第二阶段，在困像特征索引库中提取候选搜
索结果集中报告的相关PACS困像集合的特征，然后计算图像集合中的图像
与待检图M特征向量空间中的距离，并依据计算得出的距离从小到大对候
选搜索结果集重新排序，然后将最终结果返回给用户.
下面结合附困和实施例对本发明进行进一步说明.
如图1，该检索系统由困像显示工作站100、查询接口模块101、放射诊
断报告索引模块102、困像特征提^*:103、放射诊断报告检索模块104、
图像匹配模块105、图像特征库管理模块106、放射诊断报告倒排索引107、
困像特征和缩略困库108、放射诊断报告数据库110和PACS图像数据库120
组成.其中
围像显示工作站100:医生使用困像显示工作站进行图^it择、图像的 感兴趣区域选择、榆入查询文本和提交查询请求，检索结果也在图像显示工作站中显示.
查询接口模块ioi:困像显示工作站与搜索引擎进行交互的接口模块。 放射诊断报告索引模块102:用于建立RIS数据库中的放射报告的文本 索引.
困像特征提^U^: 103:用于对PACS闺M困像中的感兴趣区域进行 特征提取.
放射诊断报告检索模块104:放射报告的文#索引擎服务器. 图像匹配模块105:用于计算困像特征(或者困像感兴趣区域的特征) 间的相似度.
困像特征库管理模块106:用于对困像或者图像感兴趣区域的特征，以 及困像缩略图进行管理， 该系统索引过程
1、 在医生完成放射困像的诊断报告的撰写任务后，图像特征提取模块 103执行困像或图像感兴趣区域的特征提取操作(可能的方式包括自动提取 或通过图像显示工作站进行人工提取)，然后困像特征提取溪块103将提取
108中，同时生成困像的缩略困并^M "到困像特征和缩略图库108中；
2、 困像特征提$**: 103发送需要进行文本索引的放射诊断报告的标 识号至放射诊断报告索引模块102;
3、 放射诊断报告索引模块102接收到放射诊断报告的标识号后将为对 应的放射诊断报告的内容建立文本索引.
该系统的检索#，如困2所示
200、困像显示工作站IOO将查询请求提交至查询接口模块101;210、查询接口模块101对查询请求进行验证，若如查询请求是无效的 则进行步槺220，若查询请求是有效的則进行步骤230;
220、查询接口模块101返回出错提示至困像显示工作站100，检索过程 结束；
230、查询接口模块101使用放射诊断报告检索系统104在放射诊断报 告倒排索引107中检索与查询请求中的困像示例相关文^^B匹配的放射 诊断报告，检索得到的结果称为候选搜索结果集；
240、查询接口模块101对候选搜索结果集进行验证，若候选搜索结果 集为空(即没有找到匹配的放射诊断报告)则进行步骤250，若候选搜索结 果集不空则进行步蘇260;
250、查询接口模块101返回空的搜索结果集至图像显示工作站100，检 索过程结束；
260、查询接口模块101使用围像特征库管理系统106提取出与候选搜 索结果集中的放射诊断报告相关联的图像的特征以及缩略图URL;
270、查询接口模块101使用困像匹配系统105计算候选搜索结果集中 ^t射诊断报告的关联困像与待检困象&特征向量空间中的距离，并依据计算 得出的距离从小到大对候选搜索结果重新进行排序；
280、查询接口模块101返回最终的搜索结果集至图像显示工作站100， 检索过程结束.
用户最终得到的搜索结果集中的每条结果都由两部分组成， 一部分是与 待检困像在影像学表现或病理学诊断上相关的放射诊断报告的文本片段，另 一部分是与待检困像在視觉特征上最相似的一幅PACS图像的缩略图。
权利要求
1、一种面向PACS数据库中放射图像的基于内容的检索方法，其特征在于通过RIS与PACS间的集成，将RIS中的放射诊断报告与PACS中的放射图像进行关联，并分别建立放射诊断报告的倒排索引和放射图像的特征索引，然后使用两阶段搜索算法对查询请求进行基于内容的图像检索；一个有效的查询请求至少由图像示例和图像示例相关文本描述信息组成，其中图像示例为用户指定的一幅PACS图像，图像示例相关文本描述信息为图像示例的影像学表现或/和可能的病理学诊断结果的文字描述；两阶段搜索算法的具体过程是第一阶段，使用待检图像的影像学所见或/和可能的病理学诊断的描述文本在放射诊断报告倒排索引中进行检索，此阶段可以得到与待检图像在影像学表现或病理学诊断上相关的一组放射诊断报告列表，称为候选搜索结果集，候选搜索结果集中的报告是按照文本向量空间模型中的相关度排序的；第二阶段，在图像特征索引库中提取候选搜索结果集中报告的相关PACS图像集合的特征，然后计算图像集合中的图像与待检图像在特征向量空间中的距离，并依据计算得出的距离对候选搜索结果集重新排序，然后将最终结果返回给用户。
2、 根据权利要求1所述的面向PACS数据库中放射困像的基于内容的 检索方法，其特征在于所述第二阶段算法中计算困像集合中的图像与待检 图M特征向量空间中的距离，并依据计算得出的距离从小到大对候选搜索 结果集重新排序，然后将最终结果返回给用户.
3、 根据权利要求1或2所述的面向PACS数据库中放射图像的基于内 容的检索方法，其特征在于查询请求还包括患者基本身份信息和影像险查 相关信息.
4、 一种面向PACS数据库中放射困像的基于内容的检索系统，由于实 施如权利要求1或2或3所述的方法，其特征在于它由图像显示工作站 (100)、查询接口模块(101)、放射诊断报告索引模块(102)、图像特 征提絲块(103 )、放射诊断报告检索模块(104 )、困像匹配模块(105)、 困像特征库管理模块(106)、放射诊断报告倒排索引(107)、图像特征和 缩略困库(108)、放射诊断报告数据库(110)和PACS困像数据库(120) 组成；其中困像显示工作站(100):医生使用困像显示工作站进行图像选择、图像的感兴趣区域选择、输入查询文本和提交查询请求，检索结果也在图像显 示工作站中显示；查询接口模块(101):困像显示工作站与搜索引擎进行交互的接口模块；放射诊断报告索引棋块(102):用于建立R1S数据库中的放射报告的 文本索引；困像特征提MI^ (103):用于对PACS图像或图像中的感兴趣区域 进行特征提取；放射诊断报告检索模块(104):放射报告的文^索引擎服务器； 围像匹配模块(105):用于计算困像特征或者困像感兴趣区域的特征 间的相似度；图像特征库管理模块(106):用于对围像或者困像感兴趣区域的特征， 以及图像缩略困进行管理.
全文摘要
本发明公开了一种面向PACS数据库中放射图像的基于内容的检索方法和系统，该方法通过将放射信息系统中的放射诊断报告与PACS中的放射图像进行关联，并建立放射诊断报告的倒排索引和放射图像的特征索引库，然后使用“两阶段搜索”算法实现对放射图像的基于内容的检索。本发明将文本检索技术和基于内容的图像检索技术进行了有效的整合，解决了传统的基于内容的图像检索技术不适用于大规模图像数据库的缺陷，并且在一定程度上缓解了传统的基于内容的图像检索技术中的“语义鸿沟”现象，具有很高的应用价值。
文档编号G06F19/00GK101441658SQ200810201548
公开日2009年5月27日 申请日期2008年10月22日 优先权日2008年10月22日
发明者何振宇, 张建国 申请人:中国科学院上海技术物理研究所