高级多媒体结构化报告的制作方法

专利名称：高级多媒体结构化报告的制作方法
技术领域：
本发明一般涉及放射领域。更具体地，其涉及用于结合放射图像的高级多媒体结构化报告的装置、系统和方法。本发明实施例可用于需要图像内容与描述性信息相链接的其他基于图像的领域中，例如，皮肤病学、病理学、摄影术、卫星映像、军事目标等。 2.相关技术的描述放射报告通常由使放射科专家可视地检查图像或一系列图像、并且随后口述图像发现的叙述性描述构成。语言描述可由录写员或语音到文字的计算机系统转录，以生成在放射科医生之间在内容、清晰度和风格方面变化的文字报告(Sobel等，1996)。虽然美国放射学会公布了用于传送诊断成像发现的指南，但是该指南未规定通用报告格式(美国放射学会，2005)。结构化报告(SR)由专业组织(诸如北美放射学会)倡导，以将图像发现以及相关联的信息内容组织成可搜索数据库(Kahn等，2009 ;Reiner等，2007)。SR的优点在于，其可便于诸如数据挖掘、疾病跟踪、以及用途管理之类的应用。已提出了许多SR解决方案，但是两个主要挑战妨碍了对这些方案的通用采纳。首先，大多数SR解决方案设法更改放射科医生自然实践的方式。例如，一些SR解决方案需要放射科医生来完成预定义报告模板或用计算机鼠标对图像的点击；然而，放射科医生的自然工作流程是查看图像，之后是有时可在初始观察之后出现的图像发现的语言描述的口述。其次，放射科医生所使用的各种图像显示系统是由FDA监管的专用商品，并且虽然提出了 SR标准，但是请求卖家采纳和履行SR的这些标准是重大的综合商业挑战。先前的SR解决方案具有若干缺陷。一个这种缺陷是需要与专用商业图像显示系统(例如，图片归档和传送系统、或PACS)、以及其他信息系统(例如，放射信息系统(RIS)和/或电子医疗记录(RMR))的软件集成。当前方法的另一缺陷是放射科医生要重复鼠标动作、以及点击图像发现，这可导致人疲劳和腕管综合症。又一缺陷是放射科医生会分散注意力，因为他们需要从图像显示屏幕看向报告生成屏幕以用来自下拉菜单的级联集合或来自具有受限语音模式的话音识别的项来标记图像发现。同样，当前方法通常包括跨一系列结构化报告链接或连接图像发现的过程(即，在基于文字的报告的情况下困难的过程)，并且即使在基于计算机的报告方案的情况下也需要大量的用户交互。发明概述描述用于生成基于多媒体的结构化报告的方法的各个实施例。在一个实施例中，一种方法包括捕捉被配置成在医学图像显示设备上显示的医学图像。该方法还可包括捕捉与医学图像相关的描述数据。另外，该方法可包括在数据处理设备上处理医学图像、以及与医学图像相关的描述数据。同样，该方法可包括将医学图像、以及与医学图像相关的描述数据存储在数据存储设备中。另外，方法可包括在数据存储设备内的医学图像、以及与医学图像相关的描述数据之间创建数据关联。例如，一个实施例可包括将医学图像链接到患者标识符。同样，该方法的一个实施例可包括将医学图像链接到一个或多个可链接医学图像。在一个实施例中，医学图像和可链接医学图像可根据公共检验链接。在另一实施例中，来自不同检验的医学图像和可链接医学图像可根据链接准则链接。另外，医学图像可链接到计费代码。本领域普通技术人员将认识到，其他数据可根据本实施例有利地链接到医学图像。在一个实施例中，该方法还可包括生成包括医学图像的合成医学报告。合成医学报告还可包括可链接医学图像中的链接到医学图像的至少一个。在一个实施例中，医学图像、以及每一可链接医学图像包括患者的整个放射历史。在其他实施例中，试验结果、实验室工作结果、病历等也可在该报告上表不。在一个实施例中，合成医学报告排列成表格。该表格可包括医学图像、以及描述数据的与医学图像相关的至少一部分。在另一实施例中，合成医学报告可以是包括人体模型(homunculus)的图形报告。在另一实施例中，合成医学报 告可以是时间线。时间线可类似地包括医学图像、以及至少一个可链接医学图像。在一个实施例中，医学图像显示设备包括图片归档和传送系统(PACS)。在一个实施例中，描述数据可包括话音数据、视频数据、文字等。另外，描述数据可包括眼动跟踪数据。眼动跟踪数据可包括一个或多个眼睛凝视位置、以及一个或多个眼睛凝视停留时间。另外，描述数据可包括指针位置和指针点击中的至少一个。处理医学图像可包括自动地剪辑捕捉到的医学图像以隔离诊断图像组分。经剪辑的图像可被包括在合成医学报告中。在又一实施例中，处理医学图像可包括通过光学字符识别(OCR)实用工具从医学图像中提取文字信息；以及将与医学图像相关联的提取文字存储在数据存储设备中。另外，该处理可包括显示具有图像表示和描述数据表示的图形用户界面；以及接收用于将图像与描述数据链接的用户命令。另外，图形用户界面可包括时间线。同样，在服务器上处理图像和描述数据可包括响应于眼睛凝视位置和眼睛凝视停留时间中的至少一个，自动地将图像与描述数据链接。例如，一个实施例可包括响应于在特定眼睛凝视位置的眼睛凝视停留时间达到阈值，自动地触发图像捕捉。在一个实施例中，该方法可包括显示半透明弹出窗口，该半透明弹出窗口显示与医学图像的特征相关联的先前检验发现。在又一实施例中，处理医学图像可包括对医学图像运行图像匹配算法以生成与医学图像相关联的唯一数字签名。处理医学图像还可包括用自动量化工具来量化医学图像的特征。处理医学图像还可包括响应于链接到与一个或多个可链接图像相关联的医学图像描述数据的多个可链接医学图像，自动地跟踪疾病进展。在一个实施例中，该处理包括响应于医学图像、以及与医学图像相关的描述数据，自动地计算实体瘤疗效评价标准(RECIST)值。该处理还可包括响应于医学图像的特征、以及与医学图像相关联的描述数据，自动地确定疾病期。在一个实施例中，与医学图像相关联的描述数据包括与医学图像相关联的标签。该标签可与医学图像的特征相关联。在一个实施例中，该标签可根据自然语言处理算法从经隔离的话音片断确定。该标签还可根据出现在图像上的文字的光学字符识别确定。在又一实施例中，该标签可根据用户接收到的计算机输入确定。在又一实施例中，该方法可包括确定数据存储设备中是否存在重复医学图像；确定数据存储设备中是否存在与医学图像相关联的重复描述数据；以及合并重复医学图像和重复描述数据。一种包括具有指令的计算机可读介质的有形计算机程序产品的各个实施例，这些指令在执行时使得计算机执行与以上所述的方法步骤相关联的操作。例如，这些操作可包括接收在医学图像显示设备上捕捉的医学图像；接收与医学图像相关的描述数据；在数据处理设备上处理医学图像、以及与医学图像相关的描述数据；以及将医学图像、以及与医学图像相关的描述数据存储在数据存储设备中。描述包括具有指令的计算机可读介质的有形计算机程序产品的另一实施例。在一个实施例中，由计算机执行的这些操作可包括捕捉医学图像显示设备上的医学图像；捕捉与医学图像相关的描述数据；以及将医学图像、以及与医学图像相关的描述数据传送到 处理设备，该处理设备被配置成在数据处理设备上处理医学图像、以及与医学图像相关的描述数据，并且将医学图像、以及与医学图像相关的描述数据存储在数据存储设备中。同样描述一种用于基于多媒体的结构化报告的装置的各个实施例。该装置的一个实施例可包括被配置成接收医学图像、以及与医学图像相关的描述数据的接口。另外，这种装置可包括耦合到接口的处理设备，该处理设备被配置成处理医学图像、以及与医学图像相关的描述数据。该装置还可包括耦合到处理设备的数据存储接口，该数据存储接口被配置成存储医学图像、以及与医学图像相关的描述数据。在各个实施例中，该装置可包括被配置成响应于被配置成使得该装置如根据以上方法所述执行操作的有形计算机程序产品所存储的指令来执行操作的一个或多个软件定义模块。另一装置实施例可包括被配置成显示医学图像的医学图像显示设备。本实施例还可包括耦合到医学图像显示设备的图像捕捉实用工具，该图像捕捉实用工具被配置成捕捉医学图像。另外，该装置可包括被配置成收集来自用户的描述数据的用户界面设备。在一个实施例中，该装置还可包括耦合到图像捕捉设备和用户界面设备的通信适配器，该通信适配器被配置成将医学图像、以及与医学图像相关的描述数据传送到处理设备，该处理设备被配置成在数据处理设备上处理医学图像、以及与医学图像相关的描述数据，并且将医学图像、以及与医学图像相关的描述数据存储在数据存储设备中。在一个实施例中，图像捕捉设备可包括耦合到显示设备的计算机，该计算机具有配备有屏幕捕捉功能的操作系统。在一个实施例中，医学图像显示设备可以是图片归档和传送系统(PACS)。例如，PACS可以是专用系统。本发明实施例的一个优点是，图像捕捉设备可在不需要与专用医学图像显示器的直接集成的情况下捕捉来自该专用医学图像显示器的医学图像。在这点上，本发明实施例可以是普适的，因为它可在不与任何专用系统直接集成的情况下与该专用系统一起使用。该优势极大地降低了本发明实施例的成本和复杂性，并且提供更一致和标准化的报告平台。在一个实施例中，用户界面设备可包括眼动跟踪设备。用户界面设备可以是摄像机。在另一实施例中，用户界面设备可以是话音记录设备。例如，话音记录设备可以是具有触发组件的口述设备。在其他实施例中，该装置可包括被配置成响应于有形计算机程序产品所存储的指令来执行操作的一个或多个软件定义模块。在这种实施例中，操作可包括捕捉医学图像显示设备上的医学图像；捕捉与医学图像相关的描述数据；以及将医学图像、以及与医学图像相关的描述数据传送到处理设备，该处理设备被配置成在数据处理设备上处理医学图像、以及与医学图像相关的描述数据，并且将医学图像、以及与医学图像相关的描述数据存储在数据存储设备中。还呈现一种系统的各个实施例。一个实施例可包括服务器、数据存储设备、以及医学图像观察器。在一个实施例中，服务器可包括被配置成接收医学图像、以及与医学图像相关的描述数据的接口。服务器还可包括耦合到该接口的处理设备，该处理设备被配置成处理医学图像、以及与医学图像相关的描述数据。另外，服务器可包括耦合到处理设备的数据存储接口，该数据存储接口被配置成存储医学图像、以及与医学图像相关的描述数据。数据存储设备可耦合到数据存储接口。在一个实施例中，数据存储设备可被配置成接收和存储医学图像、以及与医学图像相关的描述数据。 在一个实施例中，医学图像观察器可耦合到服务器和数据存储设备中的至少一个。医学图像观察器可包括被配置成显示医学图像的医学图像显示设备。医学图像观察器还可包括耦合到医学图像显示设备的图像捕捉实用工具，该图像捕捉实用工具被配置成捕捉医学图像。例如，图像捕捉实用工具可包括微软Windows 操作系统的屏幕捕捉功能。医学图像观察器还可包括被配置成收集来自用户的描述数据的用户界面设备。另外，医学图像观察器还可包括耦合到图像捕捉设备和用户界面设备的通信适配器，该通信适配器被配置成将医学图像、以及与医学图像相关的描述数据传送到服务器。在各个实施例中，该系统可包括被配置成根据以上所述的方法的各个实施例执行操作的一个或多个软件定义模块。在一个实施例中，该系统可包括X射线机。该医学成像设备可以是计算机断层摄影(CT)扫描仪。该医学成像设备可以是磁共振成像(MRI)机。替换地，该医学成像设备可以是超声成像设备。本领域普通技术人员将认识到，各种医学成像设备可与装置、系统、以及方法的本实施例结合使用。在一个实施例中，该系统可包括被配置成接收表示医学图像的DICOM数据的PACS服务器。该系统还可包括耦合到PACS服务器的PACS数据存储设备，该PACS数据存储设备被配置成存储表示医学图像的图像数据。该系统还可包括被配置成接收服务器响应于医学图像、以及与医学图像相关的描述数据所生成的基于媒体的报告的报告观察器，该基于媒体的报告包括单次图形观察中的患者的整个放射历史。术语“耦合”被定义为不必直接且不必机械地“连接”。术语“链接”被定义为通过或经由中间组件连接以形成关系。例如，链接表可具有将一组数据链接到另一组数据的元数据，其中该元数据创建逻辑关系。同样，两个计算机可通过电缆链接。术语“一”和“一个”被定义为一个或多个，除非本公开内容另外明确指明。术语“基本上”及其变体被定义为如本领域普通技术人员理解而指定的主要地但不必是全部地，并且在一个非限制性实施例中，“基本上”是指指定的10%内、优选5%内、更优选1%内、以及最优选O. 5%内的范围。术语“包括”(以及包括的任何形式，诸如“包括”和“包括有”)、“具有”(以及具有的任何形式，诸如“具有”和“具备”)、以及“包含”(以及包含的任何形式，诸如“包含”和“含有”)是开放式链接动词。由此，“包括”、“具有”、“包含”或“含有”一个或多个步骤或元件的方法或设备拥有该一个或多个步骤或元件，但是不限于只拥有该一个或多个元件。同样，“包括”、“具有”、“包含”或“含有”一个或多个特征的方法或元件拥有该一个或多个特征，但是不限于只拥有该一个或多个特征。此外，以特 定方式配置的设备或结构至少以该方式配置，但是也可以未列出的方式配置。参考结合附图对具体实施例的以下详细描述，其他特征以及相关联的优点将变得显而易见。附图简述附图构成本说明书的一部分并被包括在内，以进一步阐明本实施例的特定方面。这些实施例可通过结合本文中所呈现的具体实施例的详细描述参考一幅或多幅附图来更好地理解。图I是示出用于高级多媒体结构化报告的系统的一个实施例的示意性框图。图2是示出医学图像观察器系统的一个实施例的示意性框图。图3是示出计算机系统的一个实施例的示意性框图。图4是示出用于高级多媒体结构化报告的客户机的一个实施例的示意性框图。图5是示出高级多媒体报告服务器的一个实施例的示意性框图。图6是示出高级多媒体报告服务器的另一实施例的示意性框图。图7是示出用于高级多媒体结构化报告的方法的一个实施例的示意性流程图。图8是示出用于高级多媒体结构化报告的方法的另一实施例的示意性流程图。图9是话音捕捉设备的一个实施例的立体图。

图10是用于自动地剪辑医学图像以供在合成医学报告中使用的方法的一个实施例的逻辑图。图11是用于生成合成医学报告的方法的一个实施例的逻辑图。图12是捕捉医学图像和存储医学图像以供在合成医学报告中使用的方法的一个实施例的逻辑图。图13是链接医学图像和发现以形成合成医学报告的方法的一个实施例的逻辑图。图14是列表图合成医学报告的一个实施例的屏幕截图。图15是合成医学报告的人体模型图的一个实施例的屏幕截图。图16是合成医学报告的人体模型图的另一实施例的屏幕截图。图17是示出包括时间线和图像度量的合成报告的其他实施例的逻辑图。图18A是RECIST结果的一个实施例的曲线图。图18B是RECIST百分比变化结果的一个实施例的曲线图。图19是包括根据本实施例所捕捉的图像的图形RECIST结果的一个实施例的屏幕截图。
图20A是具有已标记为紧急的发现的列表图报告的一个实施例的屏幕截图。图20B是具有用于接收与图20A所示的紧急发现相对应的紧急通知的应用的移动设备的前视图。图21A是适于与本实施例一起使用的眼动跟踪系统的一个实施例的示意性框图。图21B是图形以及相关 联的眼动跟踪数据的示图。图21C是用于将所捕捉医学图像与通过自然语言处理从经隔离的话音片断导出的标签相关联的方法的一个实施例的逻辑表不。解说性实施例的描述参考在附图中示出且在以下描述中详述的非限制性实施例来更全面地解释各个特征和有利细节。省略公知的原材料、处理技术、组件、以及装备的描述，以免在细节方面不必要地混淆本发明。然而，应当理解，在指定本发明的各个实施例时的详细描述和具体示例只是作为示例而非作为限制给出。根据本公开，以下发明概念的精神和/或范围内的各种替换、修改、添加、和/或重排将对本领域技术人员变得显而易见。本说明书中所述的特定单元已被标注为模块，以更具体地强调其实现的独立性。模块是“与较大系统交互的独立硬件或软件组件”(Alan Freedman，“计算机术语表(TheComputer Glossary)"268 (第8版，1998))。模块包括机器或机器可执行指令。例如，模块可被实现为包括自定义VLSI电路或门阵列、现成半导体(诸如逻辑芯片、晶体管、或其他分立组件)的硬件电路。模块还可在诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等可编程硬件设备中实现。模块还可包括在由处理机器或设备执行时将数据存储设备上所存储的数据从第一状态转换到第二状态的软件定义单元或指令。例如，可执行代码的标识模块可包括可被识别为对象、过程、或功能的计算机指令的一个或多个物理或逻辑块。然而，标识模块的可执行件不需要在物理上位于一起，而可包括存储在不同位置中的不同指令，这些指令在逻辑上结合在一起时包括该模块、并且在由处理器执行时实现所声明的数据变换。实际上，可执行代码的模块可以是单个指令、或许多指令，并且甚至可在若干不同的代码段上、在不同程序之间、以及跨若干存储设备分布。类似地，操作数据可在本文中在模块内标识或示出，并且可体现为任何合适的形式并在合适类型的数据结构内组织。操作数据可被收集为单个数据集，并且可在包括不同存储设备的不同位置上分布。在以下描述中，提供大量具体细节(诸如编程、软件模块、用户选择、网络交易、数据库查询、数据库结构、硬件模块、硬件电路、硬件芯片等的示例)来提供对本实施例的透彻理解。然而，本领域技术人员将认识到，本发明可在没有一个或多个具体细节的情况下、或者通过其他方法、组件、材料等来实践。在其他实例中，没有详细示出或描述公知的结构、材料、或操作以免混淆本发明的诸方面。图I示出用于高级多媒体结构化报告的系统100的一个实施例。系统100可包括服务器114、数据存储设备116、以及医学图像观察器112。在附加实施例中，系统100可包括医学成像设备102和医学图像处理设备104。医学成像设备102可生成医学图像数据，并将该医学图像数据传送到医学图像处理设备104以供进一步处理。在特定实施例中，医学图像数据可根据专用格式化方案、或工业标准格式化方案(诸如，医学数字成像和通信(DICOM))来格式化。本领域普通技术人员将认识到，各种格式化方案可结合本发明实施例使用。在系统100包括PACS 112的一个实施例中，系统100还可包括被配置成接收表示医学图像的图像数据的PACS服务器108。系统100还可包括耦合到PACS服务器108的PACS数据存储设备110，该PACS数据存储设备110被配置成存储表示医学图像的图像数据。在一个实施例中，系统100的各个组件中的每一个可通过网络106耦合在一起。例如，网络106可单独或以各种组合包括局域网(LAN)、广域网(WAN)、存储区域网(SAN)、个域网(PAN)、以及因特网。在一个实施例中，医学图像观察器112可耦合到服务器114和数据存储设备116中的至少一个。医学图像观察器112可包括被配置成显示医学图像的医学图像显示设备112。例如，图2示出医学图像观察器112的一个实施例。在一个实施例中，医学图像观察器112可包括第一 PACS观察器204、第二 PACS观察器206、RIS显示器202、以及处理设备208。医学图像观察器112还可包括一个或多个用户界面设备，其包括鼠标指针210、话音记录设备212、诸如摄像机或web相机之类的视频捕捉设备(未示出)、如图21A所示的眼动跟踪设备等。用户界面设备可收集来自用户的图像描述数据。例如，放射科医生可观察第一 PACS观察器204上的放射图像，并且口述他在语音记录设备212上的发现。图9示出可根据本实施例使用的语音记录设备212的一个实施例。具体而言，该语音记录设备可包括用于记录话音数据的话筒1202、用于回放话音片断的扬声器1204、用于通过接口连接PACS的触发按钮1206、客户机400、和/或处理设备208。医学图像观察器112还可包括诸如计算机之类的处理设备208。如图4进一步描述的，图像捕捉实用工具406可耦合到医学图像显示设备112。例如，图像捕捉实用工具406可以是被配置成在处理设备208上运行且被配置成捕捉来自第一 PACS观察器204和第二PACS观察器06中的至少一个的医学图像的软件客户机400。客户机400的一个实施例在图4中示出。替换地，图像捕捉实用工具406可以是被配置成与医学图像观察器112通过接口连接并捕捉医学图像或医学图像的副本的单独的设备或计算机。在一个实施例中，图像捕捉实用工具406可包括处理设备208的微软Windows 操作系统的屏幕捕捉功能、或者耦合到医学图像观察器112的另一计算机。这些实施例的一个优点是，客户机400不需要安装或与PACS观察器204、206直接集成。因此，本发明实施例可用于捕捉来自任何医学图像观察器的图像，不管制造商、模型、或专用要求如何。由此，本发明实施例可以是平台无关的。另外，医学图像观察器112还可包括耦合到图像捕捉实用工具406和用户界面设备212的通信适配器314，该通信适配器314可将医学图像、以及与医学图像相关的描述数据传送到服务器114。图3示出根据各个服务器108、114、处理设备208的特定实施例、和/或根据本发明实施例的报告观察器118而适配的计算机系统300。中央处理单元(CPU) 302耦合到系统总线304。CPU 302可以是通用CPU或微处理器。本发明实施例不受CPU 302的体系结构的限制，只要CPU 302支持如本文中所述的模块和操作即可。CPU 302可根据本发明实施例执行各种逻辑指令。例如，CPU 302可根据以下参考图7和8所述的示例性操作来执行机器级指令。计算机系统300还可包括随机存取存储器(RAM) 308，该RAM 308可以是SRAM、DRAM、SDRAM等。计算机系统300可利用RAM 308来存储配置成生成患者病历的合成报告的软件应用所使用的各种数据结构。计算机系统300还可包括只读存储器(ROM) 306，该ROM306可以是PR0M、EPR0M、EEPR0M、光学存储等。该ROM可存储用于引导计算机系统300的配置信息。RAM 308和ROM 306保存用户和系统100的数据。计算机系统300还可包括输入/输出(I/O)适配器310、通信适配器314、用户界面适配器316、以及显示适配器322。在特定实施例中，I/O适配器310和/或用户界面适配器316可使用户能够与计算机系统300交互，从而输入信息以输入与医学图像相关的描述数据、以及与检验相关联的其他发现。在又一实施例中，显示适配器322可显示与软件或基于web的应用相关联的图形用户界面，以供传输度量、对图像分类等。I/O适配器310可将一个或多个存储设备312 (诸如硬盘驱动、压缩盘(⑶)驱动、软盘驱动、磁带驱动中的一个或多个)连接到计算机系统300。通信适配器314可适于将计算机系统300耦合到网络106，该网络106可以是LAN和/或WAN、和/或因特网中的一个或多个。用户界面适配器316将诸如键盘320和定点设备318中的用户输入设备耦合到计 算机系统300。显示适配器322可由CPU 302驱动以控制在显示设备324上的显示。本发明实施例不限于系统300的体系结构。相反，计算机系统300被设置为可适于执行服务器102和/或用户界面设备110的功能的一类计算设备的示例。例如，可使用包括但不限于个人数字助理(PDA)、平板计算机、游戏控制台、以及多处理器的服务器的任何合适的基于处理器的设备。此外，本发明实施例可在专用集成电路(ASIC)或极大规模集成(VLSI)电路上实现。实际上，本领域普通技术人员可使用能够根据所述实施例执行逻辑操作的任意数量的合适结构。在诸如图5所示的各个实施例中，服务器114可包括诸如接收机502的被配置成接收医学图像、以及与医学图像相关的描述数据的接口。服务器114还可包括耦合到接收机502的数据处理器506，该数据处理器506可被配置成处理医学图像、以及与医学图像相关的描述数据。另外，服务器114可包括耦合到数据处理器506的数据存储接口 512。数据存储接口 512可被配置成将医学图像、以及与医学图像相关的描述数据存储在数据存储设备116中。数据存储设备116可耦合到数据存储接口 512。在一个实施例中，数据存储设备116可被配置成接收和存储医学图像、以及与医学图像相关的描述数据。例如，数据存储设备116可包括根据数据库方案配置的一个或多个数据存储介质。数据库可被配置成根据逻辑数据关联存储医学图像和描述数据。例如，多个医学图像可根据公共检验、或者根据另一链接准则链接。例如，如果从相同检验数据中取得多个图像，则它们可链接。这些图像可链接到诸如放射科医生之类的医疗专家所记录的图像发现。在又一实施例中，来自第一检验的图像和描述数据可链接到来自第二检验的图像和描述数据。例如，这种类型的链接可用于疾病进展分析、RECIST计算等。在一个实施例中，系统100可包括医学成像设备102。例如，该医学成像设备可以是X射线机。该医学成像设备可以是计算机断层摄影(CT)扫描仪。该医学成像设备可以是射频(RF)成像设备。该医学成像设备可以是磁共振成像(MRI)机。替换地，该医学成像设备可以是超声成像设备。本领域普通技术人员将认识到，各种医学成像设备可与装置、系统、以及方法的本实施例结合使用。
系统100还可包括被配置成接收服务器114响应于医学图像、以及与医学图像相关的描述数据所生成的基于媒体的报告的报告观察器118，该基于媒体的报告包括单次图形观察中的患者的整个放射历史。在特定实施例中，报告观察器可以是例如平板计算机。平板计算机可被配置成运行报告应用。例如，报告应用可以是可由报告观察器通过经由因特网登录到服务器114来访问的基于web的应用。替换地，报告应用可安装在报告观察器118上作为本地应用。在各个实施例中，报告观察器可以是台式计算机、膝上型计算机、平板计算机、或PDA。本领域普通技术人员将认识到，各种合适的硬件平台可被配置为报告观察器118。在一个实施例中，系统100可包括客户机-服务器配置。例如，如图4所述的客户机400可安装在处理设备208上。在这种实施例中，客户机400可包括输入接口 402、认证模块404、图像捕捉实用工具406、以及发射机414。另外，客户机400可包括话音捕捉实用工具408、视频捕捉实用工具410、以及输入捕捉实用工具412中的至少一个。服务器114可根据图5所述的实施例来配置。例如，服务器114可包括接收机502、 认证模块504、数据处理器506、报告生成器508、发现链接器510、数据存储接口 512、以及发射机514。在一个实施例中，患者可接收来自CT扫描仪102的检验，如图I所示。来自CT扫描的图像数据可被传送到图像处理设备104。然后，图像处理设备104可将图像数据通过网络106传送到PACS服务器108。然后，PACS服务器108可将图像数据存储在PACS数据存储设备110中。然后，诸如放射科医生之类的医疗专家可访问PACS观察器112。然后，放射科医生可通过向客户机400的认证模块404发送认证凭证(诸如用户名和密码)来登录到客户机400。放射科医生还可通过向服务器114的认证模块504发送认证凭证来登录到高级多媒体服务器114。放射科医生可访问RIS显示器202上的患者记录，并且向PACS服务器108请求图像数据。然后，PACS服务器108可将图像数据通过网络106传送到第一 PACS观察器204。然后，放射科医生可使用图像捕捉实用工具406来捕捉在第一 PACS观察器112上显示的医学图像的副本。例如，放射科医生可点击集成在话音记录设备212上的触发器或功能按钮。放射科医生还可使用鼠标指针210、话音记录设备212、视频捕捉设备(未示出)等来记录可分别被输入捕捉实用工具412、话音捕捉实用工具408、以及视频捕捉实用工具410捕捉的话音信息、以及关于医学图像的其他描述数据。然后，客户机400可通过发射机414将医学图像和描述数据传送到服务器114。服务器114上的接收机502可接收医学图像和描述数据。如果需要进一步的处理，则数据处理器506可自动地处理医学图像和描述数据。医学图像和描述数据还可通过发现链接器510链接到其他发现。数据存储接口 512可将医学图像和描述数据存储在数据存储设备116中。医学图像和描述数据可通过患者标识符、试验号码、记录号码等链接。然后，用户可使用报告观察器118向服务器114请求合成医学报告。接收机502可接收报告请求。例如，在一个实施例中，接收机502可接收来自报告观察器118的通过因特网106访问服务器114的web请求。然后，报告生成器508可根据报告请求的参数生成数据库请求或查询。参数可包括患者标识信息、链接参数等。然后，数据存储接口 512可从数据存储设备检索所请求的信息。然后，报告生成器可生成合成医学报告。该报告可以是如图14所示的列表图报告、或者如图18-19所示的人体模型样式报告。然后，发射机514可通过因特网10将该报告6传送到报告观察器118，以供呈现。图6示出了服务器114的又一实施例。如以上参考图5所述，服务器114可包括接收机502、认证模块504、数据处理器506、报告生成器508、发现链接器510、数据存储接口512、以及发射机514。在一个实施例中，发现链接器510可在数据存储设备116内的医学图像、以及与医学图像相关的描述数据之间创建数据关联。例如，发现链接器510可将医学图像链接到患者标识符。同样，发现链接器可将医学图像链接到一个或多个可链接医学图像。在一个实施例中，医学图像和可链接医学图像可根据公共检验链接。在另一实施例中，来自不同检验的医学图像和可链接医学图像可根据链接准则链接。另外，医学图像可链接到计费代码。本领域普通技术人员将认识到，其他数据可根据本发明实施例有利地链接到医学图像。在又一实施例中，数据处理器506可包括图像剪辑器602、图像标签机604、RECIST计算器614、疾病跟踪实用工具616、疾病分期实用工具618、以及重复合并实用工具620。在一个实施例中，数据处理器506可以是如图3所述的CPU 302。数据处理器506可耦合到接收机502。数据处理器506 —般可处理医学图像、以及与医学图像相关的描述数据。
例如，数据处理器506可包括图像剪辑器602。图像剪辑器602可自动地剪辑医学图像以隔离诊断图像组分。在替换实施例中，图像剪辑器602可与客户机400集成。图10示出图像剪辑器602的功能的一个实施例。在一个实施例中，图像剪辑器602可使用硬编码的图像坐标来剪辑图像捕捉实用工具406所捕捉的医学图像。例如，Philips PACS系统或BRIT PACS系统可包括已知像素坐标系统。图像剪辑器602可被硬编码以将图像裁短到PACS像素的子集内。光学图像坐标可根据PACS或3D工作站的品牌、并且根据图像布局而变化。在另一实施例中，图形用户界面(⑶I)工具可被设置成允许管理员通过绘制用于特定工作站配置的橡皮带式框(rubber-band box)来设置剪辑(croppy)坐标。如图10所示，橡皮带式框可由用户调节。然后，经剪辑的图像可存储在数据存储设备中，以供在诸如合成报告之类的基于多媒体的报告中使用。在一个实施例中，图像标签机604可包括自然语言处理器606、光学字符识别(OCR)实用工具608、用户输入处理器610、或数据库链接实用工具612中的一个或多个。一般而言，图像标签机604可包括用于将描述数据添加到图像捕捉实用工具406所捕捉的图像的实用工具。添加描述数据可包括收集来自医学专家(诸如放射科医生)的新描述数据。在另一实施例中，添加描述数据可包括捕捉、传送、或以其他方式获取现有描述数据，并且将该描述数据与所捕捉的医学图像相关联。例如，图像标签机604可包括自然语言处理器606。图21C示出用于将在经隔离的话音片断中所捕捉的描述数据与医学图像链接的方法的一个实施例。自然语言处理模块606解决医学专家的公共工作流程问题。例如，放射科医生可查看第一图像，并标识第一图像内的显著特征。然后，在描述该显著特征时，放射科医生可同时扫描第二图像以标识第二显著特征。在一个实施例中，放射科医生可使用话音捕捉实用工具408来记录话音片断。然后，自然语言处理器606可使用公共话音识别程序将话音转录成文字。然后，自然语言处理器606可扫描文字以标识描述该特征的度量，或者可标识关键字以及等效物。例如，一些关键字可包括“稳定的”、“没有改变”、“经改善的”、“恶化的”等。例如，自然语言处理可用于标识和分配解剖、病理、以及优先级特征。例如，观察肺的CT图像的放射科医生可声明“该图像包括左肺中需要紧急关注的赘生物”。自然语言处理器606可标识关键字“肺”、“赘生物”、以及“紧急”，并且相应地分配解剖、病理、以及优先级字段。在一个实施例中，图像标签机604可包括OCR实用工具608。OCR实用工具608可扫描图像捕捉实用工具406所捕捉的医学图像以标识出现在该图像中的文字。在一个实施例中，可扫描整个医学图像。替换地，可扫描已知包含文字的感兴趣的特定区域。在又一实施例中，针对使用图像处理的0CR，可强化该文字。OCR实用工具608还可自动地确定向特定描述数据字段分配什么文字。例如，OCR实用工具608可自动地标识患者的姓名、医疗记录号码、数据、时间、图像位置等。OCR实用工具608所确定的文字可被存储在数据存储设备116 中。在一个实施例中，图像标签机604可包括用户输入处理器610。用户输入处理器 610可生成允许用户选择向医学图像分配的标签的一个或多个菜单。例如，该菜单可以是级联菜单、下拉框菜单、文本选择框等。在另一实施例中，该菜单可包括一个或多个文本输入字段。例如，可使用文本输入字段来分配限定医学图像中的特征大小的一个或多个度量。在另一实施例中，可使用例如选择的级联菜单来分配解剖字段、病理字段、优先级字段等。每一选择可填充级联菜单的下一级，从而向用户提供相关选择的附加集合。在一个实施例中，如图21A-C所示，用户输入处理器610可接收和处理眼动跟踪数据。在眼动跟踪系统的一个实施例在图21A中示出。用户可将特定位置的其凝视保持特定时间量。眼动跟踪相机可跟踪眼睛凝视位置，并使那些位置与医学图像的部分相关。例如，图21B示出图21A的眼动跟踪设备所确定的眼睛凝视位置的一个实施例。除了眼动跟踪位置以外，用户输入处理器610可跟踪如图21C所示的眼睛凝视位置的改变时序。在特定实施例中，用户输入处理器610和自然语言处理器606可结合工作以向眼睛凝视位置所指示的医学图像的特征分配标签。其一个实施例在图21C中示出。在一个实施例中，话音片断可与眼动跟踪设备所收集的眼睛凝视位置信息隔离。在这种实施例中，可按照时间分析话音片断，并且可按照时间分析眼睛凝视位置信息。与普通眼动跟踪技术不同，本发明实施例包括来自放射科医生语言描述的信息内容(以及该信息内容的固有医学重要性)与给予所捕捉的图像一定重要程度的关键图像的相关联。在放射科医生的典型工作流程中，长的停留时间可出现在放射科医生查看错综复杂但最终不重要的图像发现时，但是放射科医生可花费较少的时间来查看更明显的重要发现。与现有技术相比，信息内容与关键图像的链接提供向显著图像分配值的更准确手段。在另一实施例中，单独的眼动跟踪I旲块可包括有客户机400。在另一实施例中，当用户将其眼睛凝视位置保持在特定位置长达达到预定阈值的持续时间时，该事件可自动地触发图像捕捉。在又一实施例中，图像标签机604可包括数据库链接实用工具612。例如，与在例如第一 PACS观察器204上显示的原始医学图像相关的描述数据可存储在PACS数据存储设备110。在一个实施例中，描述数据可通过数据库链接实用工具601自动地从PACS数据存储设备110检索。在另一实施例中，存储在数据存储设备116内的医学图像和描述数据可基于例如解剖、模态等存储在单独的数据库中。在一个实施例中，数据库链接实用工具612可使用索引或关键字段来链接或检索来自多个数据库的信息。例如，所有图像、以及与患者姓名、患者ID等相关的描述数据可通过数据库链接实用工具612来链接和检索。在另一实施例中，RECIST计算器614可自动地执行RECIST计算。例如，图18A-21C示出RECIST计算器614的采样结果。在一个实施例中，RECIST计算器614可根据定义何时癌症患者在治疗期间改善(“响应”)、保持相同(“稳定”)、或恶化(“进展”)的公布规则来计算结果。RECIST计算器614可基于描述数据中所包含的肿瘤度量来计算数值。在另一实施例中，RECIST计算器628可基于RCIST计算器614所计算的结果来生成如图18A-B所示的表示肿瘤响应水平或百分比改变水平的曲线。在又一实施例中，RECIST计算器628可基于RECIST计算器614所执行的RECIST计算来生成RECIST报告，该RECIST报告可包括如图21C所示的图像捕捉实用工具406所捕捉的链接医学图像。在各个实施例中，服务器114还可包括疾病跟踪实用工具616和疾病分期实用工具618。RECIST计算器614所生成的RECIST值可用于疾病跟踪和疾病分期。在特定实施例中，疾病分期报告可由疾病分期实用工具618生成。疾病期可包括病期O、病期I、病期2、病期3、病期4、以及复发。例如，如果患者诊断患有结肠癌，则癌症的病期可由疾病分期实 用工具618响应于描述数据自动地确定。在该示例中，病期O可指示癌症只在结肠或直肠最里面的衬层中找到。病期I可指示肿瘤已长到结肠或直肠的内壁中。肿瘤还未长成穿过该壁。病期2可指示肿瘤更深地扩展到结肠或直肠的壁中、或穿过该壁，或者指示其已侵袭附近的组织，但是癌症细胞还未扩散到淋巴结。病期3可指示癌症已扩散到附近的淋巴结，但还未扩散到身体的其他部分。病期4可指示癌症已扩散到身体的其他部分，诸如肝或肺。复发可指示这是已治疗且在可能未检测到癌症的一段时间之后重现的癌症，并且指示疾病可在结肠或直肠中、或在身体的另一部分中重现。这些病期、以及其他类型的癌症的相应病期的准则已由美国国家健康协会确定。疾病跟踪模块616可使用分期信息、RECIST信息、以及描述数据中所包含的其他度量来自动地跟踪疾病的进展。疾病跟踪模块616可以曲线、表格、时间线等形式跟踪疾病。重复合并实用工具620可合并重复发现。当在一个以上图像系列(例如，动脉、静脉的CT扫描、以及成像的延迟相)上标识发现时，经合并的发现是有用的。在一个实施例中，合并实用工具620可通过分析每一医学图像的一组特征来自动地检测重复发现。替换地，重复合并实用工具620可提供用户界面以允许用户手动地选择重复发现来进行合并。在一个实施例中，报告生成器508可包括列表图生成器622、人体模型图生成器624、时间线生成器626、RECIST报告生成器628、以及紧急通知生成器630。一般而言，医学图像、以及与医学图像相关联的描述数据可从数据存储设备116中的数据库检索，以生成列表图报告、人体模型图报告、时间线报告、RECIST报告等中的一个或多个。在特定实施例中，列表图报告和/或人体模型图报告可以是合成报告。合成报告可以是所有图像发现的集聚体，其中通过示出链接到现有发现的特定图像发现(例如，堆叠的图像外观)的指示符，来自任何模态的最近图像发现在具体解剖位置上(在人体模型报告中)、或者在解剖类别(在列表型报告中冲显示。这与包括关于具体模态/日期/时间/成像解剖(例如，在特定日期和时间获取的胸部X射线)的图像发现列表的常规报告不同。然而，根据存储在数据库116上的图像发现的数据库，可过滤掉关于具体检验的发现以创建等效于常规放射报告的发现子集。
图14不出合成列表图报告的一个实施例。如图14所不,列表图报告可以表格形式呈现。列表图报告可包括一个或多个医学图像缩略图。该报告可根据用户指定给列表图报告生成器622的解剖、病理、时间、或任何其他准则来组织。在图14的实施例中，列表图报告包括发现类别、医学图像的缩略像、方位的指示、解剖位置、病理指示符、优先级指示符、特征度量、改变指示符(如疾病跟踪实用工具616所生成的)、医学专家描述发现的视频或音频、医学专家发现的文字转录、以及附加支持图像的指示符。当然，本领域普通技术人员将认识到，更多或更少的字段可被包括在列表图报告中。图15不出人体模型图生成器624所生成的人体模型图报告的一个实施例。图16示出替换实施例。普通技术人员将认识到人体模型和人体模型图报告的许多不同的实施例。在图18和19的人体模型图报告的一个实施例中，最近发现可出现在人体模型上与患者的物理解剖相关的位置中。在一个实施例中，如果存在与最近发现的解剖相关的附加发现，则存在附加发现的指示符可出现在人体模型报告上。例如，如图18和19所示，多个发现可表现为堆叠图像。替换地，框、星星、或其他指示符可指示存在附加发现。然后，用户可在发现的缩略图上点击，并且关于发现或附加发现的附加信息可出现在新的观察面板中、 或在同一观察面板中。如图17所示，时间线生成器626可生成这些图像的时间线。在一个实施例中，时间线生成器626可生成包括来自多个不同模态的图像和发现的疾病时间线。例如，疾病时间线可包括到CT发现、超声发现、实验室发现等的链接。在一个实施例中，这些链接可包括与医学图像相对应的缩略像。附加信息可被包括在图17所示的详细视图中。例如，详细视图可包括特征度量、曲线、RECIST信息、疾病病期信息、疾病跟踪信息、以及描述数据中所包括的其他信息。在一个实施例中，报告生成器508可包括紧急通知生成器630。响应于发现具有紧急优先级的确定，紧急通知生成器630可自动地生成给例如医学专家的通知。例如，放射科医生可查看腹部CT以确定患者是否有阑尾炎、以及患者的阑尾是否处于破裂的危险中。如果放射科医生将优先级字段设置为紧急，则紧急通知生成器630可通知顾问内科医生、夕卜科医生、手术室工作人员等需要紧急关注。紧急通知生成器630可生成自动的电话呼叫、寻呼、电子邮件、文本消息等。在另一实施例中，紧急通知生成器630可与加载在移动设备上的移动应用通过接口连接。例如，如图20A和20B所示，当优先级字段被设为紧急时，远程移动设备上的移动应用可触发通知。在一个实施例中，该通知可包括医学图像的副本、优先级的指示符、以及用以监听放射科医生发现的音频或视频的链接。以下的示例性流程图一般被阐述为逻辑流程图。由此，所描绘的次序、以及所标记的步骤指示所呈现方法的一个实施例。可构想在功能、逻辑、或效果方面等效于所示方法的一个或多个步骤、或者其部分的其他步骤和方法。另外，所采用的格式和符号被设置成解释该方法的逻辑步骤，并且被理解为不限制该方法的范围。虽然在流程图中可采用各种箭头类型和线类型，但是其被理解为不限制相应方法的范围。实际上，一些箭头或其他连接符可用于只指示该方法的逻辑流程。例如，箭头可指示在所描绘方法的枚举步骤之间的未指定持续时间的等待或监视时间段。另外，特定方法出现的次序可能或可能不严格地遵循所示的相应步骤的次序。图7示出用于生成合成医学报告的方法700的一个实施例。在一个实施例中，当图像捕捉实用工具406捕捉被配置成在医学图像显示设备112上显示的医学图像(702)时，方法700开始。在一个实施例中，图像捕捉实用工具406可复制在可购得的PACS观察器204上显示的图像。例如，图像捕捉实用工具406可包括屏幕捕捉功能。然后，话音捕捉实用工具408、视频捕捉实用工具410、以及输入捕捉实用工具412可捕捉与医学图像相关的描述数据(704)。例如，话音捕捉实用工具408可捕捉医学专家口述发现的话音片断。视频捕捉实用工具410可包括被配置成捕捉医学专家描述发现的视频记录的web-相机(未示出)。输入捕捉实用工具可包括眼动跟踪数据、菜单选择、文本输入等。另外，方法700可包括在数据处理设备(诸如服务器114)上处 理医学图像、以及与医学图像相关的描述数据。具体而言，服务器114上的数据处理器506可处理医学图像和描述数据。同样，方法700可包括将医学图像、以及与医学图像相关的描述数据存储在数据存储设备116中(708)。例如，数据存储接口 512可将医学图像和描述数据存储在数据存储设备116中。方法800的另一实施例在图8中描述。方法800可在用户访问PACS观察器(802)时开始。然后，用户可访问高级多媒体报告客户机(804)。例如，用户可通过将凭证发送到认证模块404来登录到客户机400。然后，用户可选择在PACS上观察的患者(806)。例如，用户可选择RIS系统202中的患者。然后，用户可访问高级多媒体报告服务器114 (808)。然后，用户可触发客户机上的图像捕捉实用工具406以捕捉在PACS观察器204上显示的图像的副本(702)。该屏幕捕捉702可与任何图像观察平台合作，并且可能不需要与PACS观察器的集成。例如，用户可使用口述设备212的触发器或功能,诸如Philips Speechmike。替换地，用户可通过鼠标210的点击或键盘上的击键来触发捕捉。然后，话音捕捉实用工具408、视频捕捉实用工具410、以及输入捕捉实用工具412中的一个或多个可捕捉与医学图像相关联的描述数据。该过程一般在图11中示出。可使用发射机414将医学图像以及相关联的描述数据传送到服务器114，如图12所示。服务器114可处理医学图像和描述数据(706)，如在以上实施例中所描述的。例如，描述数据可由OCR实用工具608、自然语言处理器606、以及用户输入处理器610进一步生成或细化。数据存储接口 512然后可将医学图像、以及与医学图像相关的描述数据存储在数据存储设备116中(708 )。在又一实施例中，发现链接器510可基于数据库中的链接字段等将医学图像和描述数据链接到其他医学图像和描述数据。该过程一般在图13中示出。接着，第二用户可向服务器114请求报告。例如，第二用户可将对与所选患者相关联的合成报告的请求经由报告观察器118发送到服务器114。服务器114可接收对合成报告的请求(810)，并且报告生成器508可通过存取来自存储在数据存储设备116上的医学图像和描述数据的数据库的医学图像和描述数据来生成合成报告(812)。然后，发射机514可通过网络106将合成报告发送到报告观察器118(814)。该合成报告可以是如图14所示的列表图报告、或者如图15-16所示的人体模型图报告。响应于点击合成报告上的图像缩略图，报告观察器可向服务器114请求关于所选发现的附加信息。服务器114可查询存储在数据存储设备116上的数据库，并且将附加报告信息返回报告观察器118。在又一实施例中，方法800还可包括生成包括医学图像的合成医学报告。合成医学报告还可包括可链接医学图像中的链接到医学图像的至少一个。在一个实施例中，医学图像、以及每一可链接医学图像包括患者的整个放射历史。在其他实施例中，试验结果、实验室工作结果、病历等也可在该报告上表不。在一个实施例中，合成医学报告排列成表格。该表格可包括医学图像、以及描述数据与医学图像相关的至少一部分。在另一实施例中，合成医学报告可以是包括人体模型的图形报告。在另一实施例中，合成医学报告可以是时间线。时间线可类似地包括医学图像、以及至少一个可链接医学图像。处理医学图像(706)可包括自动地剪辑捕捉到的医学图像以隔离诊断图像组分。经剪辑的图像可被包括在合成医学报告中。在又一实施例中，处理医学图像(706)可包括通过光学字符识别(OCR)实用工具从医学图像中提取文字信息；以及将与医学图像相关联的提取文字存储在数据存储设备116中。另外，该处理可包括显示具有图像表示和描述数据表示的图形用户界面；以及接收用于将图像与描述数据链接的用户命令。另外，图形用户界面可包括时间线。同样，在服务器114上处理图像和描述数据可包括响应于眼睛凝视位置和眼睛凝视停留时间中的至少一个，自动地将图像与描述数据链接。例如，一个实施例可包括响应于在特定眼睛凝视位置的眼睛凝视停留时间达到阈值，自动地触发图像捕捉。在又一实施例中，处理医学图像(706)可包括对医学图像运行图像匹配算法以生成与医学图像相关联的唯一数字签名。处理医学图像(706)还可包括用自动量化工具来量化医学图像的特征。 处理医学图像(706)还可包括响应于链接到与一个或多个可链接图像相关联的医学图像描述数据的多个可链接医学图像，自动地跟踪疾病进展。在一个实施例中，该处理包括响应于医学图像、以及与医学图像相关的描述数据，自动地计算实体瘤疗效评价标准(RECIST)值。该处理还可包括响应于医学图像的特征、以及与医学图像相关联的描述数据，自动地确定疾病病期。在一个实施例中，与医学图像相关联的描述数据包括与医学图像相关联的标签。该标签可与医学图像的特征相关联。在一个实施例中，该标签可根据自然语言处理算法从经隔离的话音片断确定。该标签还可根据出现在图像上的文字的光学字符识别确定。在又一实施例中，该标签可根据用户接收到的计算机输入确定。在又一实施例中，方法700可包括确定数据存储设备116中是否存在重复医学图像；确定数据存储设备116中是否存在与医学图像相关联的重复描述数据；以及合并重复医学图像和重复描述数据。在一个实施例中，一种包括计算机可读介质的有形计算机程序产品可包括指令，这些指令在执行时使得计算机(诸如服务器114)执行与以上所述的方法700的步骤相关联的操作。例如，这些操作可包括接收在医学图像显示设备112上捕捉的医学图像；接收与医学图像相关的描述数据；在数据处理设备上处理医学图像、以及与医学图像相关的描述数据(706);以及将医学图像、以及与医学图像相关的描述数据存储在数据存储设备116中(708)。在一种包括具有指令的计算机可读介质的有形计算机程序产品的另一实施例中，由计算机(诸如处理设备208)执行的操作可包括捕捉医学图像显示设备112上的医学图像(702);捕捉与医学图像相关的描述数据(704)；以及将医学图像、以及与医学图像相关的描述数据传送到处理设备；该处理设备被配置成在数据处理设备上处理医学图像、以及与医学图像相关的描述数据，并且将医学图像、以及与医学图像相关的描述数据存储在数据存储设备116中。根据本公开，本文中公开和要求保护的所有设备、系统和/或方法无需过多的实验即可作出和执行。尽管参考一些实施例已描述了本发明的组合和方法，但将对本领域技术人员显而易见的是，可向本文中所述的组合和方法、以及本文中所述的方法的各个步骤或各步骤的顺序施加变体，而不背离本发明的概念、精神和范围。更具体地，显而易见的是，在可实现相同或类似的结果时，化学和生理相关的特定试剂可替换本文中所述的试剂。对 本领域技术人员显而易见的所有这些类似的替换和改变被认为是在所附权利要求所限定的本发明的精神、范围和概念内。
权利要求
1.一种方法，包括 捕捉被配置成在医学图像显示设备上显示的医学图像； 捕捉与所述医学图像相关的描述数据； 在数据处理设备上处理所述医学图像、以及与所述医学图像相关的描述数据；以及 将所述医学图像、以及与所述医学图像相关的描述数据存储在数据存储设备中。
2.如权利要求I所述的方法，其特征在于，还包括在所述数据存储设备内的所述医学图像、以及与所述医学图像相关的描述数据之间创建数据关联。
3.如权利要求1-2中任一项所述的方法，其特征在于，还包括将所述医学图像链接到患者标识符。
4.如权利要求1-3中任一项所述的方法，其特征在于，还包括将所述医学图像链接到一个或多个可链接医学图像。
5.如权利要求1-4中任一项所述的方法，其特征在于，所述医学图像和所述可链接医学图像根据公共检验链接。
6.如权利要求1-5中任一项所述的方法，其特征在于，来自不同检验的所述医学图像和所述可链接医学图像根据链接准则链接。
7.如权利要求1-6中任一项所述的方法，其特征在于，还包括将所述医学图像链接到计费代码。
8.如权利要求1-7中任一项所述的方法，其特征在于，还包括生成合成医学报告，所述合成医学报告包括所述医学图像。
9.如权利要求1-8中任一项所述的方法，其特征在于，还包括生成包括所述医学图像、以及所述可链接医学图像中的链接到所述医学图像的至少一个的合成医学报告。
10.如权利要求1-9中任一项所述的方法，其特征在于，还包括生成包括所述医学图像、以及包含患者的整个放射历史的每一可链接医学图像的合成医学报告。
11.如权利要求1-10中任一项所述的方法,其特征在于,所述合成医学报告包括表格，所述表格包括所述医学图像、以及所述描述数据的与所述医学图像相关的至少一部分。
12.如权利要求1-11中任一项所述的方法，其特征在于，所述合成医学报告包括包含具有相关联图像发现的人体模型的图形报告。
13.如权利要求1-12中任一项所述的方法，其特征在于，所述合成医学报告包括包含时间线的图形报告，所述时间线包括所述医学图像、以及至少一个所述可链接医学图像。
14.如权利要求1-13中任一项所述的方法，其特征在于，所述医学图像显示设备包括图片归档和传送系统(PACS)。
15.如权利要求1-14中任一项所述的方法，其特征在于，所述医学图像显示设备被配置成显示根据专用医学图像数据格式配置的医学图像。
16.如权利要求1-15中任一项所述的方法，其特征在于，所述描述数据包括话音数据。
17.如权利要求1-16中任一项所述的方法，其特征在于，所述描述数据包括视频数据。
18.如权利要求1-17中任一项所述的方法，其特征在于，所述描述数据包括文字。
19.如权利要求1-18中任一项所述的方法，其特征在于，所述描述数据包括眼动跟踪数据，所述眼动跟踪数据包括 一个或多个眼睛凝视位置；以及一个或多个眼睛凝视停留时间。
20.如权利要求1-19中任一项所述的方法，其特征在于，所述描述数据包括指针位置和指针点击中的至少一个。
21.如权利要求1-20中任一项所述的方法，其特征在于，所述处理所述医学图像包括自动地剪辑捕捉到的医学图像以隔离诊断图像组分。
22.如权利要求1-21中任一项所述的方法，其特征在于，所述处理所述医学图像包括通过光学字符识别(OCR)实用工具从所述医学图像中提取文字信息，以及将与所述医学图像相关联的提取文字存储在所述数据存储设备中。
23.如权利要求1-22中任一项所述的方法，其特征在于，在所述数据处理设备上处理所述医学图像和在所述数据处理设备上处理所述描述数据还包括显示具有图像表示和描述数据表示的图形用户界面，以及接收用于将所述图像与所述描述数据链接的用户命令。
24.如权利要求1-23中任一项所述的方法，其特征在于，所述图形用户界面包括时间线。
25.如权利要求1-24中任一项所述的方法，其特征在于，在所述服务器上处理所述图像和在所述服务器上处理所述描述数据还包括响应于眼睛凝视位置和眼睛凝视停留时间中的至少一个，自动地将所述图像与所述描述数据链接。
26.如权利要求1-25中任一项所述的方法，其特征在于，包括响应于在特定眼睛凝视位置眼睛凝视停留时间达到阈值，自动地触发图像捕捉。
27.如权利要求1-26中任一项所述的方法，其特征在于，包括显示半透明弹出窗口，所述半透明弹出窗口显示与所述医学图像的特征相关联的先前检验发现。
28.如权利要求1-27中任一项所述的方法，其特征在于，所述处理所述医学图像包括对所述医学图像运行图像匹配算法以生成与所述医学图像相关联的唯一数字签名。
29.如权利要求1-28中任一项所述的方法，其特征在于，所述处理所述医学图像包括用自动量化工具来量化所述医学图像的特征。
30.如权利要求1-29中任一项所述的方法，其特征在于，所述处理所述医学图像包括响应于链接到与所述一个或多个可链接图像相关联的所述医学图像描述数据的多个可链接医学图像，自动地跟踪疾病进展。
31.如权利要求1-30中任一项所述的方法，其特征在于，所述处理所述医学图像包括响应于所述医学图像、以及与所述医学图像相关的描述数据，自动地计算实体瘤疗效评价标准(RECIST)值。
32.如权利要求1-31中任一项所述的方法，其特征在于，所述处理所述医学图像包括响应于所述医学图像的特征、以及与所述医学图像相关联的描述数据，自动地确定疾病期。
33.如权利要求1-32中任一项所述的方法，其特征在于，与所述医学图像相关联的描述数据包括与所述医学图像相关联的标签。
34.如权利要求1-33中任一项所述的方法，其特征在于，所述标签与所述医学图像的特征相关联。
35.如权利要求1-34中任一项所述的方法，其特征在于，包括根据自然语言处理算法从经隔离的话音片断确定所述标签。
36.如权利要求1-35中任一项所述的方法，其特征在于，包括根据出现在所述图像上的文字的光学字符识别确定所述标签。
37.如权利要求1-36中任一项所述的方法，其特征在于，包括根据用户接收到的计算机输入确定所述标签。
38.如权利要求1-37中任一项所述的方法，其特征在于，包括 确定所述数据存储设备中是否存在重复医学图像； 确定所述数据存储设备中是否存在与所述医学图像相关联的重复描述数据；以及 合并重复医学图像和重复描述数据。
39.一种包括具有指令的计算机可读介质的有形计算机程序产品，所述指令在执行时使得所述计算机执行以下操作，包括 接收在医学图像显示设备上捕捉的医学图像； 接收与所述医学图像相关的描述数据； 在数据处理设备上处理所述医学图像、以及与所述医学图像相关的描述数据；以及 将所述医学图像、以及与所述医学图像相关的描述数据存储在数据存储设备中。
40.如权利要求39所述的有形计算机程序产品，其特征在于，所述操作还包括在所述数据存储设备内的所述医学图像、以及与所述医学图像相关的描述数据之间创建数据关联。
41.如权利要求39-40中任一项所述的有形计算机程序产品，其特征在于，所述操作还包括将所述医学图像链接到患者标识符。
42.如权利要求39-41中任一项所述的有形计算机程序产品，其特征在于，所述操作还包括将所述医学图像链接到一个或多个可链接医学图像。
43.如权利要求39-42中任一项所述的有形计算机程序产品，其特征在于，所述医学图像和所述可链接医学图像根据公共检验链接。
44.如权利要求39-43中任一项所述的有形计算机程序产品，其特征在于，来自不同检验的所述医学图像和所述可链接医学图像根据链接准则链接。
45.如权利要求39-44中任一项所述的有形计算机程序产品，其特征在于，所述操作还包括将所述医学图像链接到计费代码。
46.如权利要求39-45中任一项所述的有形计算机程序产品，其特征在于，所述操作还包括生成合成医学报告，所述合成医学报告包括所述医学图像。
47.如权利要求39-46中任一项所述的有形计算机程序产品，其特征在于，所述操作还包括生成包括所述医学图像、以及所述可链接医学图像中的链接到所述医学图像的至少一个的合成医学报告。
48.如权利要求39-47中任一项所述的有形计算机程序产品，其特征在于，所述操作还包括生成包括所述医学图像、以及包含患者的整个放射性历史的每一可链接医学图像的合成医学报告。
49.如权利要求39-48中任一项所述的有形计算机程序产品，其特征在于，所述合成医学报告包括表格，所述表格包括所述医学图像、以及所述描述数据的与所述医学图像相关的至少一部分。
50.如权利要求39-49中任一项所述的有形计算机程序产品，其特征在于，所述合成医学报告包括包含人体模型的图形报告。
51.如权利要求39-50中任一项所述的有形计算机程序产品，其特征在于，所述合成医学报告包括包含时间线的图形报告，所述时间线包括所述医学图像、以及至少一个所述可链接医学图像。
52.如权利要求39-51中任一项所述的有形计算机程序产品，其特征在于，所述医学图像显示设备包括图片归档和传送系统(PACS)。
53.如权利要求39-52中任一项所述的有形计算机程序产品，其特征在于，所述医学图像显示设备被配置成显示根据专用医学图像数据格式配置的医学图像。
54.如权利要求39-53中任一项所述的有形计算机程序产品，其特征在于，所述描述数据包括话音数据。
55.如权利要求39-54中任一项所述的有形计算机程序产品，其特征在于，所述描述数据包括视频数据。
56.如权利要求39-55中任一项所述的有形计算机程序产品，其特征在于，所述描述数据包括文字。
57.如权利要求39-56中任一项所述的有形计算机程序产品，其特征在于，所述描述数据包括眼动跟踪数据，所述眼动跟踪数据包括 一个或多个眼睛凝视位置；以及 一个或多个眼睛凝视停留时间。
58.如权利要求39-57中任一项所述的有形计算机程序产品，其特征在于，所述描述数据包括指针位置和指针点击中的至少一个。
59.如权利要求39-58中任一项所述的有形计算机程序产品，其特征在于，所述处理所述医学图像包括自动地剪辑所述医学图像以隔离诊断图像组分。
60.如权利要求39-59中任一项所述的有形计算机程序产品，其特征在于，所述处理所述医学图像包括通过光学字符识别(OCR)实用工具从所述医学图像中提取文字信息，以及将与所述医学图像相关联的提取文字存储在所述数据存储设备中。
61.如权利要求39-60中任一项所述的有形计算机程序产品，其特征在于，在所述数据处理设备上处理所述医学图像和在所述数据处理设备上处理所述描述数据还包括显示具有图像表示和描述数据表示的图形用户界面，以及接收用于将所述图像与所述描述数据链接的用户命令。
62.如权利要求39-61中任一项所述的有形计算机程序产品，其特征在于，所述图形用户界面包括时间线。
63.如权利要求39-62中任一项所述的有形计算机程序产品，其特征在于，在所述服务器上处理所述图像和在所述服务器上处理所述描述数据还包括响应于眼睛凝视位置和眼睛凝视停留时间中的至少一个，自动地将所述图像与所述描述数据链接。
64.如权利要求39-63中任一项所述的有形计算机程序产品，其特征在于，所述操作包括响应于在特定眼睛凝视位置的眼睛凝视停留时间达到阈值，自动地触发图像捕捉。
65.如权利要求39-64中任一项所述的有形计算机程序产品，其特征在于，所述操作包括显示半透明弹出窗口，所述半透明弹出窗口显示与所述医学图像的特征相关联的先前检验发现。
66.如权利要求39-65中任一项所述的有形计算机程序产品，其特征在于，所述处理所述医学图像包括对所述医学图像运行图像匹配算法以生成与所述医学图像相关联的唯一数字签名。
67.如权利要求39-66中任一项所述的有形计算机程序产品，其特征在于，所述处理所述医学图像包括用自动量化工具来量化所述医学图像的特征。
68.如权利要求39-67中任一项所述的有形计算机程序产品，其特征在于，所述处理所述医学图像包括响应于链接到与所述一个或多个可链接图像相关联的所述医学图像描述数据的多个可链接医学图像，自动地跟踪疾病进展。
69.如权利要求39-68中任一项所述的有形计算机程序产品，其特征在于，所述处理所述医学图像包括响应于所述医学图像、以及与所述医学图像相关的描述数据，自动地计算实体肿瘤疗效评价准则(RECIST)值。
70.如权利要求39-69中任一项所述的有形计算机程序产品，其特征在于，所述处理所述医学图像包括响应于所述医学图像的特征、以及与所述医学图像相关联的描述数据，自动地确定疾病期。
71.如权利要求39-70中任一项所述的有形计算机程序产品，其特征在于，与所述医学图像相关联的描述数据包括与所述医学图像相关联的标签。
72.如权利要求39-71中任一项所述的有形计算机程序产品，其特征在于，所述标签与所述医学图像的特征相关联。
73.如权利要求39-72中任一项所述的有形计算机程序产品，其特征在于，所述操作包括根据自然语言处理算法从经隔离的话音片断确定所述标签。
74.如权利要求39-73中任一项所述的有形计算机程序产品，其特征在于，所述操作包括根据出现在所述图像上的文字的光学字符识别确定所述标签。
75.如权利要求39-74中任一项所述的有形计算机程序产品，其特征在于，所述操作包括根据用户接收到的计算机输入确定所述标签。
76.如权利要求39-75中任一项所述的有形计算机程序产品，其特征在于，所述操作包括 确定所述数据存储设备中是否存在重复医学图像； 确定所述数据存储设备中是否存在与所述医学图像相关联的重复描述数据；以及 合并重复医学图像和重复描述数据。
77.—种包括具有指令的计算机可读介质的有形计算机程序产品，所述指令在执行时使得所述计算机执行以下操作，包括 捕捉医学图像显示设备上的医学图像； 捕捉与所述医学图像相关的描述数据；以及 将所述医学图像、以及与所述医学图像相关的描述数据传送到处理设备，所述处理设备被配置成在数据处理设备上处理所述医学图像、以及与所述医学图像相关的描述数据，并且将所述医学图像、以及与所述医学图像相关的描述数据存储在数据存储设备中。
78.一种装置，包括 被配置成接收医学图像、以及与所述医学图像相关的描述数据的接口 ； 耦合到所述接口的处理设备，所述处理设备被配置成处理所述医学图像、以及与所述医学图像相关的描述数据；以及耦合到所述处理设备的数据存储接口，所述数据存储接口被配置成存储所述医学图像、以及与所述医学图像相关的描述数据。
79.如权利要求78所述的装置，其特征在于，包括被配置成响应于如权利要求39-76所述的有形计算机程序产品所存储的指令来执行操作的一个或多个软件定义模块。
80.一种装置,包括 被配置成显示医学图像的医学图像显示设备； 耦合到所述医学图像显示设备的图像捕捉实用工具，所述图像捕捉实用工具被配置成捕捉所述医学图像； 被配置成收集来自用户的描述数据的用户界面设备；以及 耦合到所述图像捕捉设备和所述用户界面设备的通信适配器，所述通信适配器被配置成将所述医学图像、以及与所述医学图像相关的描述数据传送到处理设备，所述处理设备被配置成在数据处理设备上处理所述医学图像、以及与所述医学图像相关的描述数据，并且将所述医学图像、以及与所述医学图像相关的描述数据存储在数据存储设备中。
81.如权利要求80所述的装置，其特征在于，所述图像捕捉设备包括耦合到所述显示设备的计算机，所述计算机具有配备有屏幕捕捉功能的操作系统。
82.如权利要求80-81中任一项所述的装置，其特征在于，所述医学图像显示设备包括图片归档和传送系统(PACS)。
83.如权利要求80-82中任一项所述的装置，其特征在于，所述用户界面设备包括眼动跟踪设备。
84.如权利要求80-83中任一项所述的装置，其特征在于，所述用户界面设备包括摄像机。
85.如权利要求80-84中任一项所述的装置，其特征在于，所述用户界面设备包括话音记录设备。
86.如权利要求80-85中任一项所述的装置，其特征在于，所述话音记录设备包括具有触发组件的口述设备。
87.如权利要求80-86中任一项所述的装置，其特征在于，包括被配置成响应于如权利要求77所述的有形计算机程序产品所存储的指令来执行操作的一个或多个软件定义模块。
88.—种系统,包括 服务器，包括 被配置成接收医学图像、以及与所述医学图像相关的描述数据的接口 ； 耦合到所述接口的处理设备，所述处理设备被配置成处理所述医学图像、以及与所述医学图像相关的描述数据；以及 耦合到所述处理设备的数据存储接口，所述数据存储接口被配置成存储所述医学图像、以及与所述医学图像相关的描述数据； 耦合到所述数据存储接口的数据存储设备，所述数据存储设备被配置成接收和存储所述医学图像、以及与所述医学图像相关的描述数据；以及 耦合到所述服务器和所述数据存储设备中的至少一个的医学图像观察器，所述医学图像观察器包括被配置成显示医学图像的医学图像显示设备； 耦合到所述医学图像显示设备的图像捕捉实用工具，所述图像捕捉实用工具被配置成捕捉所述医学图像； 被配置成收集来自用户的描述数据的用户界面设备；以及 耦合到所述图像捕捉设备和所述用户界面设备的通信适配器，所述通信适配器被配置成将所述医学图像、以及与所述医学图像相关的描述数据传送到所述服务器。
89.如权利要求86所述的系统，其特征在于，包括被配置成响应于如权利要求39-77所述的有形计算机程序产品所存储的指令来执行操作的一个或多个软件定义模块。
90.如权利要求86-87中任一项所述的系统，包括耦合到所述医学图像观察器的医学成像设备。
91.如权利要求86-88中任一项所述的系统，其特征在于，所述医学成像设备包括X射线机。
92.如权利要求86-89中任一项所述的系统，其特征在于，所述医学成像设备包括计算机断层摄影(CT)扫描仪。
93.如权利要求86-90中任一项所述的系统，其特征在于，所述医学成像设备包括射频(RF)成像设备。
94.如权利要求86-91中任一项所述的系统，其特征在于，所述医学成像设备包括磁共振成像(MRI)机。
95.如权利要求86-92中任一项所述的系统，其特征在于，所述医学成像设备包括超声成像设备。
96.如权利要求86-93中任一项所述的系统，其特征在于，还包括被配置成接收表示所述医学图像的图像数据的PACS服务器。
97.如权利要求86-94中任一项所述的系统，其特征在于，还包括耦合到所述PACS服务器的PACS数据存储设备，所述PACS数据存储设备被配置成存储表示所述医学图像的图像数据。
98.如权利要求86-95中任一项所述的系统，其特征在于，还包括被配置成响应于所述医学图像、以及与所述医学图像相关的描述数据来接收所述服务器所生成的基于媒体的报告的报告观察器，所述基于媒体的报告包括单次图形观察中的患者的整个放射性历史。
全文摘要
描述用于生成基于多媒体的合成报告的方法、系统和装置的各个实施例。在一个实施例中，一种方法包括捕捉被配置成在医学图像显示设备上显示的医学图像。本发明方法可独立于医学图像显示，并且能够捕捉来自任何专用医学图像观察器的图像。该方法还可包括捕捉与医学图像相关的描述数据。另外，该方法可包括在数据处理设备上处理医学图像、以及与医学图像相关的描述数据。同样，该方法可包括将医学图像、以及与医学图像相关的描述数据存储在数据存储设备中。
文档编号G06F19/00GK102883660SQ201080059227
公开日2013年1月16日 申请日期2010年11月27日 优先权日2010年9月20日
发明者D·J·维宁 申请人:德克萨斯州大学系统董事会