用于提供医学视频报告的方法和系统与流程

本发明的实施方式涉及用于提供医学视频报告的方法和系统。特别地，本发明的实施方式涉及与医学图像研究相对应的医学视频报告的自动生成。此外，本发明的实施方式涉及为诸如患者的外行生成医学报告。

背景技术：

1、医学文本报告是将医学诊断转发至病例的利益相关者的主要医学文据。医学报告不仅在医生之间交换，而且被提供给患者。医学文本报告的生成受时间和法律限制。因此，医学文本报告通常不是指导读物。此外，在不同医生之间医学报告的风格可能显著变化。

2、因此，大多数患者难以理解医学文本报告。通常，医学报告使用医学非专业人员不熟悉并且无法理解的术语和表达。因此，当面对不利于患者参与的医学报告时，患者感到不安和被忽视。

3、甚至许多转诊医生在解释他们从专家医生接收到的医学报告时有时也会遇到困难。此外，治疗医生可能面临来自其患者关于医学报告的问题，并且不得不投入额外的时间来说明报告并澄清患者侧的误解。

4、为了改善状况，已经提出使用简化语言下的放射学报告模板。然而，这些目前仅能够用于少数标准化治疗。此外，准备除了所需的医疗法律文本报告之外的这样的简化版本对医生来说构成了额外的工作，对于医生来说紧张的临床工作流程通常无法提供足够的时间。

技术实现思路

1、因此，本发明的实施方式的目的是提供实现将临床结果传达给接收者的改进方式的改进的方法和系统。特别地，本发明的实施方式的目的是实现允许接收者更好地理解医学背景和特定结果的含义的制品的创建。此外，目的是实现在不显著增加诊断医生/放射科医生的工作量的情况下并且对读取和报告工作流程的干扰最小的情况下生成该制品。

2、该目的通过根据本发明的实施方式的用于提供医学视频报告的方法、相对应的系统、相对应的计算机程序产品和计算机可读存储介质来解决。替选和/或优选实施方式也是本发明的目的。

3、在下文中，关于所要求保护的装置以及关于所要求保护的方法来描述根据本发明的技术解决方案。本文中所描述的特征、优点或替选实施方式同样可以分配给其他要求保护的目的，反之亦然。换句话说，处理本发明方法的实施方式可以通过关于装置描述或要求保护的特征来改进。在这种情况下，例如，该方法的功能特征由装置的目标单元或元件来实现。

4、根据一方面，提供了用于提供医学视频报告的计算机实现的方法。该方法包括几个步骤。一个步骤涉及接收患者的医学图像研究。另一步骤涉及基于医学图像研究来确定与医学图像研究有关的上下文信息。另一步骤涉及基于上下文信息从多个候选模板视频脚本中选择模板视频脚本，每个候选模板视频脚本编码了下述指令：所述指令用于医学图像研究的图像处理步骤，以生成针对人类接收者的与医学图像研究相关的视频(或：与医学图像研究相关的视频可视化信息)。另一步骤涉及对医学图像研究执行所选择的模板视频脚本，以生成医学视频报告。另一步骤涉及提供医学视频报告。

5、医学图像研究可以包括提供空间中的三维或空间中的二维和时间中的一维的三维数据集、提供空间中的二维的二维数据集和/或提供空间中的三维和时间中的一维的四维数据集。

6、医学图像研究可以在其包含患者身体部位的三维图像数据的意义上描绘患者的身体部位。医学图像研究可以表示图像体。患者的身体部位可以被包括在图像体中。

7、医学图像研究包括例如像素或体素的二维或三维阵列的形式的图像数据。这样的像素或体素的阵列可以表示作为三维位置的函数的强度、吸收或其他参数，并且可以例如通过对由医学成像模态获得的测量信号进行合适处理来获得。

8、医学成像模态与用于生成或产生医学图像数据的系统相对应。例如，医学成像模态可以是计算机断层扫描系统(ct系统)、磁共振系统(mr系统)、血管造影(或c-臂x-射线)系统、正电子发射断层摄影系统(pet系统)、超声成像系统等。具体地，计算机断层扫描是广泛使用的成像方法，并且利用由特殊旋转仪器产生并检测的“硬”x-射线。所得到的衰减数据(也被称为原始数据)由计算机分析软件呈现，该计算机分析软件产生患者身体部位的内部结构的详细图像。所产生的图像集被称为ct扫描，该ct扫描可以构成多个系列的连续图像，以垂直于人体的轴线的截面来呈现内部解剖结构。用于提供另一示例的磁共振成像(mri)是先进的医学成像技术，该先进的医学成像技术利用有效磁场对质子的移动的影响。在mri机器中，检测器是天线，并且信号由计算机分析，以创建人体的任何部分中的内部结构的详细图像。

9、医学图像研究可以以诸如医学数字成像和通信(digital imaging andcommunications in medicine，dicom)格式的标准图像格式被存储，并且被存储在存储器或计算机存储系统例如图片存档和通信系统(picture archiving and communicationsystem，pacs)、放射学信息系统(radiology information system，ris)、供应商中立档案(vendor neutral archive，vna)、电子健康记录(electronic health record，her)存储装置或数据库等中。无论何时在本文中提及dicom，应理解，dicom是指例如根据dicom ps3.12020c标准(或所述标准的任何更晚或更早的版本)的“医学数字成像和通信”(dicom)标准。

10、医学视频报告可以被配置成以视频格式向人类接收者示出与医学图像研究相关联的情况、事实和/或发现。特别地，人类接收者可以是医学图像研究的患者。此外，人类接收者可以是参与患者治疗的医生，特别地转诊医生或治疗医生。

11、医学视频报告可以包括图像序列的形式的多个单独图像。医学视频报告的各个图像可以包括医学图像研究的表示，该医学图像研究的表示已经基于医学图像研究中包括的图像数据被渲染。此外，医学视频报告的各个图像可以包括与医学图像研究中的观察或发现相关的渲染注释。

12、此外，医学视频报告的各个图像可以基于医学图像研究中不包括的图像数据。特别地，各个图像或图像的序列可以预先配置，或者可以已经预先产生。

13、医学视频报告可以包括多个(逻辑)块，所述多个(逻辑)块各自被配置成示出与医学图像研究相关的给定事实或情况。例如，一个块可以示出基础检查的原因和情况，而其他块分别致力于示出从检查得出的某些发现。

14、上下文信息可以包括或表征与医学视频报告的生成相关的病例的情况。特别地，上下文信息可以包括多个预定义参数的值(作为信息)。预定义参数可以与医学视频报告的生成相关。

15、例如，上下文信息可以包括表征医学图像研究的信息(例如，作为多个预定义参数的值)。附加地或可替选地，上下文信息可以包括表征医学图像研究的分析结果的信息(例如，作为多个预定义参数的值)。附加地或可替选地，上下文信息可以包括(例如，在接收者的专业水平的意义上)表征医学视频报告的人类接收者的信息(例如，作为多个预定义参数的值)。

16、根据一些示例，上下文信息可以包括从医学图像研究中提取的例如，与图像研究的类型、成像参数、所示的图像数据、患者等相对应的语义信息。

17、可以从医学图像研究(以及任何补充信息)中自动提取上下文信息。具体地，可以从医学图像研究(以及任何补充信息)中提取与一个或更多个预定义参数相对应的值。

18、例如，可以针对指示图像研究的类型和/或在图像研究中成像的身体部位或器官等的值查询医学图像研究的dicom数据结构。类似地，可以针对诸如患者的年龄或性别的相关参数来挖掘任何补充信息。

19、根据一些示例，视频脚本可以被设想为一组计算机可读指令，所述一组计算机可读指令在由视频渲染引擎等执行时引起视频的生成。视频脚本可以定义某些图像处理操作，利用所述某些图像处理操作可以将医学图像研究的原始图像数据转换成用于人类接收者的视频。此外，视频脚本可以被配置成提供自然语言文本的伴随视频图像的画外音。

20、具体地，视频脚本可以包含以下指令，其用于处理原始图像数据以产生可以形成医学视频报告的一部分的预先脚本化场景或各个图像的序列。这可以包括预处理参数(例如对比度增强)、图像渲染参数(例如体渲染参数)、定义图像数据的平移、缩放或裁剪的参数、定义要针对医学视频报告渲染的图像的要添加的注释等的参数。

21、每个模板视频脚本可以定义要针对特定用例生成的特定类型的医学视频报告。从而，用例可以由上下文信息来表征。用例可以涉及医学图像研究隐含的临床问题或决策。此外，用例可以涉及在其下获取医学图像研究以及/或者在其下将图像数据变换成医学视频报告的技术环境(例如，模态和成像参数)。

22、可以针对特定用例预配置每个候选模板视频脚本。这可以由专业用户或由被配置成从现有(经验证的)医学视频报告中得出脚本的自动化过程来完成。

23、候选模板视频脚本中的每一个候选模板视频脚本可以与特定用例联系起来，该特定用例可以由一个或更多个预定义参数或由与一个或更多个预定义参数相对应的值来定义。根据一些示例，预定义参数可以是与上下文信息中的相同的预定义参数。

24、根据一些示例，从候选模板视频脚本中选择适当的模板视频脚本的步骤可以包括将上下文信息与候选模板视频脚本进行比较，并且将(最佳)适配上下文信息的候选模板视频脚本与上下文信息相匹配。根据一些示例，这可以涉及将表征上下文信息的值与表征相应候选模板视频脚本的用例的对应值进行比较。具体地，这可以涉及将上下文信息的一组预定义参数的值与候选模板视频脚本的一组预定义参数的对应值进行比较。

25、应当注意，预定义参数的使用只是示例。根据其他示例，还可以基于上下文信息与候选模板视频脚本的语义匹配来选择正确的模板视频脚本。具体地，这可以包括：从候选模板视频脚本获得(语义)信息；以及基于所获得的(语义)消息，例如，通过将所获得的(语义)信息与上下文信息或从上下文信息获得的/上下文信息中包括的对应语义信息进行比较来选择所选择的模板视频脚本。针对候选模板视频脚本而获得的语义信息可以对应于上下文信息。

26、根据一些示例，执行所选择的模板视频脚本的步骤可以包括将所选择的模板视频脚本和医学图像研究输入至被配置成根据模板视频脚本处理图像数据的渲染引擎中。换句话说，步骤可以包括基于所选择的模板视频脚本来控制渲染引擎。

27、根据一些示例，提供医学视频报告可以包括例如通过将医学视频报告转发至人类接收者或通过向人类接收者提供下载链接使其对于人类接收者来说可访问。此外，提供医学视频报告可以包括将医学视频报告存储在适当的存储装置中，人类接收者可以例如通过下载医学视频报告从该适当的存储装置访问医学视频报告。

28、由于提供了多个预先配置的模板视频脚本以及基于患者病例对适当脚本的自动选择，可以以有效方式提供用于自动生成医学视频报告的指令。利用此，医学视频报告可以被提供，而不需要医生指定用于生成医学视频报告的指令。因此，医生的工作量没有显著增加。此外，所提出的方法无缝集成在通常的读取和报告工作流程中，因为医学视频报告可以与通常的读取和报告并行地自动生成。另一方面，视频格式下的报告向接收者提供了对病例的情况的指导性总结。

29、根据一些示例，上下文信息包括以下中的至少一者：医学图像研究的医学原因、患者的疑似诊断、用于患者的医学成像模态、医学图像研究中描绘的身体部位和/或器官、患者的人口统计信息、人类接收者的专业水平和/或基于用户与医学图像研究或其的表示的交互的用户输入。

30、根据一些示例，针对候选模板视频脚本分别获得的(语义)信息反映(对应于)上下文信息，并且同样可以指示以下中的至少一者：医学图像研究的医学原因、患者的疑似诊断、用于患者的医学成像模态、医学图像研究中描绘的身体部位和/或器官、患者的人口统计信息和/或人类接收者的专业水平，针对候选模板视频脚本设想相应候选视频模板结构。

31、利用上面的信息，可以针对相应病例进行适当模板视频脚本的可靠关联。

32、根据一些示例，确定上下文信息的步骤包括：获得与医学图像研究相关联的关联数据；以及另外基于关联数据来确定上下文信息。

33、可以通过例如基于数字患者标识符查询一个或更多个数据库来获得关联数据。一个或更多个数据库可以被包括在医疗保健信息系统例如图片存档或通信系统(pacs)、电子健康记录(ehr)、放射学信息系统(ris)和/或实验室信息系统(laboratory informationsystem，lis)中。

34、关联数据可以包括以下中的至少一者：患者的(先前)医学报告、先前医学视频报告、患者的另外(先前)医学图像研究、患者的一个或更多个实验室值和/或患者的电子健康记录。

35、利用关联数据，可以更精确地确定上下文信息。反过来，可以有利于选择适当的模板视频脚本。

36、根据一些示例，医学视频报告包括向人类接收者示出医学图像研究的一个或更多个方面的部分，例如从医学图像研究得出的结论和/或根据医学图像研究的随后推荐的类型、原因。

37、利用此，人类接收者可以对医学图像研究的情况更清楚，这提高了透明度和患者参与度。

38、根据一方面，该方法还包括获得与医学图像研究相关的医学文本报告，其中，在确定的步骤中，从医学文本报告上提取上下文信息。

39、医学文本报告可以包括与患者的基于患者的检查结果(例如医学图像研究或实验室报告)的医学观察和结论相关的结构化或非结构化文本。此外，医学文本报告还可以包括从检查结果中提取的一个或更多个图像和/或图表。

40、医学文本报告可以是可以从数据库中被主动拉取的已经存在且最终确定的报告(例如，作为关联数据)。根据其他示例，医学文本报告可以处于正在由用户“即时”生成的过程。从而，用户可以是当前正在审查医学图像研究的某个人，例如医生，特别地放射科医生。从而，用户通常不同于人类接收者。用于生成医学文本报告的用户交互可以被记录并且用于确定上下文信息。

41、如果未另外指示，术语“医学报告”是指文本化的医学报告或医学文本报告，而不是指医学视频报告。

42、医学报告可以提供病例的情况的简洁易懂(concise and well accessible)的表示。因此，医学报告为提取上下文信息提供了良好的基础。反过来，这使得能够有效地找到合适的模板视频脚本。

43、根据一些示例，医学文本报告基于文本报告模板，其中，上下文信息包括文本报告模板(或文本报告模板的类型)。

44、换句话说，根据用于医学文本报告的文本报告模板来选择模板视频脚本。这具有可以生成对医学文本报告进行最佳地补充的医学视频报告的优点。

45、根据一些示例，从多个预先配置的文本报告模板中选择文本报告模板，其中，该方法包括提供多个候选模板视频脚本，使得每个候选模板视频脚本与多个预先配置的文本报告模板之一相关联，以及在选择模板视频脚本的步骤中，从候选模板视频脚本中选择与文本报告模板相关联的模板视频脚本。

46、换句话说，保存的可用的候选模板视频脚本与要用于生成医学文本报告的报告模板相匹配。这使得模板视频脚本的选择过程变得明确。此外，可以确保医学视频报告对医学文本报告进行最佳地补充。

47、根据一方面，上下文信息包括预定义发现类型的医学发现，并且所选择的模板视频脚本编码了下述指令：所述指令用于医学图像研究的图像处理步骤，以生成用于人类接收者的对预定义发现类型的医学发现进行可视化的视频。

48、根据一些示例，在选择的步骤中，基于预定义发现类型来选择所选择的模板视频脚本。从而，根据一些示例，候选模板视频脚本中的每一个可以编码了下述指令：所述指令用于对不同的预定义发现类型进行可视化，其中，在选择的步骤中，从候选模板视频脚本中识别编码了用于对预定义发现类型进行可视化的指令的至少一个模板视频脚本。

49、根据一方面，提供了用于提供医学视频报告的计算机实现的方法，该方法包括以下步骤：接收患者的医学图像研究；获得与图像研究有关的医学发现；基于发现类型从多个候选模板视频脚本中选择模板视频脚本，每个候选模板视频脚本编码了下述指令：所述指令用于医学图像研究的图像处理步骤，以生成用于人类接收者的对特定发现类型的医学发现进行可视化的视频；将所选择的视频模板元素应用于医学图像研究以生成医学视频报告；以及提供医学视频报告。

50、每个医学发现可以与医学图像研究中的对应图像数据相关。医学发现可以指示患者的某种状况或病理。状况或病理可以与患者的诊断相关。

51、医学发现可以与将患者与其他患者区分开的解剖结构相关。医学发现可以位于患者的不同器官内(例如，在患者的肺内，或者在患者的肝脏内)或者在患者的器官之间。特别地，医学发现也可以与异物相关。

52、特别地，医学发现可以与赘生物(也被称为“肿瘤”)特别地良性赘生物、原位赘生物、恶性赘生物和/或不确定/未知行为的赘生物相关。特别地，医学发现可以与结节、特别地肺结节相关。特别地，医学发现可以与病变、特别地肺部病变相关。

53、医学发现可以从现有的医学文本报告或由用户当前正在创建的医学文本报告中获得。可以通过应用被配置成在医学图像研究中识别医学发现的图像处理算法(即，计算机辅助检测功能)来获得另外的医学发现。此外，可以(例如，通过将测量工具应用于医学图像研究的表示/可视化)从与医学图像研究交互的用户直接获得医学发现。

54、医学发现可以根据其类型或类别被分类。该类型或类别被称为“发现类型”。发现类型可以指定医学发现的一般性质。此外，发现类型可以指定在其中已经发现医学发现的解剖结构或器官。根据一些实现，发现类型也可以被设想为医学发现的标签。例如，发现类型可以是肺结节、肝脏结节、囊肿、肋骨骨折、不明病变等。

55、可以通过依赖于发现类型(并且预配置符合多个发现类型新的模板视频脚本)有效地提供并选择模板视频脚本。利用此，可以产生严格反映病例的情况的适当视频序列。

56、根据一些示例，图像处理步骤包括：确定与医学发现相对应的器官；通过应用图像分割算法在医学图像研究中分割器官以生成分割图像数据；基于分割图像数据渲染预定义的图像序列，其中，医学发现在序列的图像的至少一部分中被突出显示。

57、利用此，医学发现可以被适当地创建，并且引起人类接收者的注意。

58、根据一些示例，上下文信息还包括与医学发现相关的补充信息，并且所选择的视频模板还被配置成将补充信息转变成对医学发现进行可视化的视频，使得补充信息对于人类接收者来说优选地以视觉标记的形式可感知。根据一些示例，补充信息包括以下中的至少一者：医学发现的危急性、医学发现随着时间的进展、医学发现的分类和/或医学发现的医学评分。

59、根据一些示例，所选择的模板视频脚本可以附加地编码了下述指令：所述指令用于医学图像研究的图像处理步骤，以生成对与预定义发现类型不同的发现类型的另外医学发现进行可视化的视频。

60、根据一些示例，另外发现可以与偶然发现相关。利用此，即使模板视频脚本可能主要与另一发现或另一主题例如向人类接收者说明所需治疗的治疗视频相关，也可以对另外或偶然发现进行可视化。

61、根据一些示例，上下文信息包括与医学图像研究相关的用户输入。具体地，用户输入可以经由用户接口输入，并且可以涉及在用户接口中可视化的医学图像研究的表示下的可见医学发现。

62、表示可以是从医学图像研究渲染的二维表示图像，以用于在用户接口中显示给用户。表示可以包括多个图像像素。特别地，表示可以是医学图像的二维渲染。二维渲染通常可以依赖于已知的渲染过程，例如射线投射、射线跟踪、纹理渲染等。根据一些示例，渲染可以使得结合医学图像的图像数据显示已经识别的医学发现和/或任何候选医学发现。

63、用户输入可以是涉及指定医学发现的任何输入。用户输入可以包括进入用户接口，特别地图形用户界面的语音命令或任何其他、特别地物理输入。例如，用户可以使用像计算机鼠标、轨迹球设备、智能笔、触摸板、触敏显示器等一样的输入设备。此外，可以通过眼睛跟踪或通过跟踪手势来捕获用户输入。特别地，用户输入可以包括例如通过点击、绘制轮廓或调用表示中特定位置中的测量工具来在表示中直接指定医学发现。用户输入可以使得其完全列出医学发现，或者使得其仅指示了表示中的部分或者甚至仅指示了表示中的然后与可能的医学发现自动相关的点。

64、根据一些实现，用户输入可以包括与用户接口的多个单独用户交互(例如关于表示、显示设置、一般设置、测量等的用户输入)。

65、根据一些示例，候选模板视频脚本分别包括多个可选地可激活的视频模板结构，每个视频模板结构编码了下述指令：所述指令用于基于医学图像研究提供医学视频报告的一部分，执行的步骤包括：基于上下文信息激活所选择的视频脚本的视频模板结构中的至少一个；以及基于至少一个激活的视频模板结构生成医学视频报告。

66、换句话说，每个模板视频脚本可以包括多个独立的块或元素，所述多个独立的块或元素原则上适合于对由上下文信息描述的用例的各个方面进行可视化。根据实际可用信息，可以选择性地激活这些块。然后，每个激活后的块可以对应于最终医学视频报告的一部分。

67、根据一些示例，脚本的各个结构可以与特定用例的不同医学发现和/或标准视频序列相关。例如，用于患者的肺的x射线扫描的脚本可以包括与关于x射线检查的一般说明相关的结构和用于可能的肺相关发现例如肺结节或间质性肺疾病的结构。

68、从而，可以在不同的模板视频脚本之间共享各个模板结构。例如，与作为医学图像研究的ct检查相关的每个脚本可以包括与关于ct检查的一些一般说明相同的模板结构。

69、通过在脚本中预配置可以根据相应用例激活的不同结构，模板视频脚本变得更灵活。因此，模板视频脚本很好地集成至现有的工作流程中。

70、根据一方面，候选模板视频脚本的可选地可激活的视频模板结构包括具有用于对预定义发现类型的医学发现进行可视化的指令的特定于发现的视频模板结构。该方法还包括从医学图像研究和/或医学图像研究的任何关联信息中至少获得与医学图像研究有关的给定发现类型的医学发现，以及激活的步骤包括基于给定发现类型激活所选择的模板视频脚本的至少一个特定于发现的视频模板结构，所述至少一个特定于发现的视频模板结构的预定义发现类型与给定发现类型相匹配。

71、通过针对不同的发现类型预先配置不同的指令，模板视频脚本可以更灵活地被渲染，并且顺利地集成至现有的工作流程中。

72、根据一些示例，激活至少一个视频模板结构的步骤包括确定医学发现的属性并且基于属性激活至少一个视频模板结构。根据一些示例，属性可以包括以下中的至少一者：医学发现的大小、医学发现的危急性、医学发现随着时间的进展、医学发现的分类和/或医学发现的医学评分。利用此，可以选择反映医学发现的属性的医学视频报告的构建块。例如，与结节较大的情况相比，如果结节小于特定大小，则这允许生成不同的视频序列。

73、根据一方面，获得至少一个医学发现的步骤包括查询医学图像研究是否指示预定义发现类型的一个或更多个医学发现。

74、换句话说，可以基于所选择的模板视频脚本针对可能的发现来主动查询医学图像研究。利用此，可以提供另一安全层，以确保不会忽视用例的相关发现。

75、根据一些示例，查询的步骤包括将图像处理算法自动应用于医学图像研究，该图像处理算法被配置成识别预定义医学发现中的至少一个，所选择的模板视频脚本包括用于预定义医学发现的视频模板结构。

76、(以图像处理算法的形式)自动调用计算机辅助检测工具还减少了用户的工作量，并且报告工作流程还可以被自动化。

77、根据一些示例，查询的步骤包括向用户通知预定义医学发现中的至少一个，所选择的模板视频脚本包括用于预定义医学发现的视频模板结构。

78、基于通知，然后，用户可以查看医学图像研究是否包括针对至少一个发现的任何指示。利用此，用户被提供有寻找内容的额外指导。

79、根据一些示例，查询的步骤包括处理与医学图像研究相关的医学文本报告，以确定医学文本报告是否指示预定义发现类型的一个或更多个医学发现。

80、根据一方面，候选模板视频脚本分别包括与预先存在的视频序列相关的至少一个视频模板结构，以及执行的步骤包括从被配置成存储多个预先存在的视频序列的储存库中检索预先存在的视频序列并且将预先存在的视频序列包括在医学视频报告中。

81、根据一些示例，该方法还可以包括提供储存库。

82、利用预先存在的视频序列，可以保持与独立于医学图像研究中的图像数据的标准视频片断相关的内容可用。这可以涉及说明某个图像检查的说明性或介绍性序列。因此，内容可以被预先产生并重复使用，这使得该方法更高效并消耗更少的计算资源。

83、根据一方面，该方法还包括：从上下文信息和/或医学图像研究中获得自然语言文本；基于自然语言文本生成画外音；以及将画外音包括在医学视频报告中。

84、根据一些示例，获得自然语言文本可以包括从医学图像研究或上下文信息中包括的结构化或非结构化文本元素中(直接)提取自然语言文本。这样的文本元素可以是医学图像研究的dicom标签或医学文本报告的文本字段。根据其他示例，获得自然语言文本可以包括传送自然语言文本中的非文本数据。根据一些示例，获得可以包括将文本生成功能应用于医学图像研究和/或上下文信息，以获得自然语言文本。

85、根据一些示例，生成画外音的步骤可以包括在被配置成基于自然语言文本生成语音输出的聊天功能中输入自然语言文本。从而，聊天功能可以被配置成对输入的自然语言文本进行过滤、总结或重新拼写，以生成适合于医学视频报告的伴随的画外音的输出。此外，生成画外音的步骤可以包括基于画外音生成视频医学报告的声道。

86、根据一些示例，文本生成功能和/或聊天功能可以包括变换器网络，并且特别地包括诸如bert或chatgpt的大型语言模型。

87、变换器网络是通常包括编码器、解码器或编码器和解码器二者的神经网络架构。在一些实例中，编码器和/或解码器分别由几个对应的编码层和解码层组成。在每个编码层和解码层内有注意力机制。注意力机制——有时被称为自注意力——将一系列数据项内的数据项(例如词或像素)与该系列内的其他数据项相关。例如，自注意力机制允许模型检查医学图像或句子内的体素组或词组，并确定医学图像或句子内的其他体素组或词组对正在检查的体素组或词组的相对重要性。

88、特别地，编码器可以被配置成将输入(医学图像或文本)变换成数字表示。数字表示可以包括每个输入令牌(例如，每个词)的矢量。编码器可以被配置成实现注意力机制，使得令牌的每个矢量受到输入中的其他令牌的影响。特别地，编码器可以被配置成使得表示解析变换器网络的期望输出。

89、特别地，解码器可以被配置成将输入变换成输出令牌的序列。特别地，解码器可以被配置成实现掩蔽的自注意力机制，使得令牌的每个矢量仅受序列的一侧的其他令牌的影响。此外，解码器可以是自回归的，这意味着中间结果(例如先前预测的令牌序列)被反馈。

90、根据一些示例，编码器的输出被输入至解码器中。

91、此外，变换器网络可以包括分类模块或单元，该分类模块或单元被配置成将编码器或解码器的输出映射至一组学习的输出，例如自然语言文本或画外音文本。

92、根据一些示例，变换器模型的训练可以发生在两个阶段，预训练阶段和微调阶段。在预训练阶段中，可以在大型数据语料库上训练变换器模型，以学习问题的潜在语义。这样的经预训练的变换器模型能够用于不同的语言。对于本文所描述的某些应用，微调可以包括用具有专业注释含义的医学文本和/或医学本体(例如radlex和/或snomed)来进一步训练变换器网络。特别地，利用后者，根据一些示例的变换器模型可以学习医学表达的典型关系和同义词。

93、关于变换器网络的综述，请参考vaswani等人的“attention is all you need(注意力是您所需要的全部)”，arxiv:1706.03762，2017年6月12日，其内容通过引用整体包括在本文中。

94、通过提供画外音，可以使医学视频报告对人类接收者更有指导性且更好访问。同时，由于画外音的自动生成，临床人员的工作量未增加。

95、变换器网络的优点是，由于注意力机制，变换器网络可以有效地处理输入数据中的长程依赖关系。此外，变换器网络中使用的编码器能够并行处理数据，这节省了推理中的计算资源。此外，由于自回归，变换器网络的解码器能够以极大的置信度迭代地生成输出令牌的序列。

96、根据一些示例，生成画外音的步骤可以包括提供画外音模板并且基于自然语言文本填充画外音模板。根据一些示例，提供画外音模板还可以包括：针对每个视频模板结构提供画外音模板；以及根据激活的视频模板结构选择至少一个画外音模板。

97、根据一方面，在获得自然语言文本的步骤中，从医学文本报告中提取自然语言文本。

98、通过挖掘医学文本报告，可以收集与医学图像研究直接相关的信息，此外，这对于将该信息转变成画外音不需要太多处理。具体地，通过依赖医学文本报告，报告的段落可以逐字逐句地被采用至画外音中。

99、根据一些示例，生成画外音的步骤可以包括收听由用户输入至用户接口中的语音，并且基于输入的语音生成画外音。

100、换句话说，画外音可以根据用户的直接口述至少部分地生成，这简化了工作流程。由于医生反正倾向于口述他们的发现以生成医学文本报告，因此这也不会影响用户的工作量。

101、根据一方面，获得自然语言文本的步骤包括提供被配置成将医学发现映射至结构化文本上的映射功能，并且通过将映射功能应用于医学发现来生成自然语言文本。

102、根据一些示例，映射功能可以是如本文所描述的文本生成功能。特别地，映射功能可以包括变换器网络。

103、映射功能的使用使得能够将可用信息结构化地处理成可行动的结果，该可行动的结果可以被随后的视频生成容易地使用。

104、根据一方面，生成画外音的步骤包括：提供被配置成将自然语言文本从第一版本转录至第二版本的聊天功能；将聊天功能应用于自然语言文本以将自然语言文字转录成第二版本；以及，在生成画外音的步骤中，基于第二版本的自然语言文本来生成画外音。

105、聊天功能可以根据本文描述的聊天功能的方面和示例来配置。特别地，聊天功能可以包括变换器网络和/或大型语言模型。

106、根据一些示例，自然语言文本的第一版本可以是如从可用数据中提取的文本。根据一些示例，第二版本可以适用于人类接收者。根据一些示例，第二版本可以基于上下文信息中包括的关于人类接收者的信息而适用于人类接收者。根据一些示例，与第一版本相比，第二版本可以对应于不同的语言、不同的复杂度水平、特别地更简单的语言、和/或不同水平的文本总结、特别地更简洁的语言。更简单的语言可以通过避免第一版本中包括的技术术语和/或用第二版本中的外行术语代替第一版本中包括的技术术语来表征。

107、根据一些示例，可以基于上下文信息和/或所选择的模板视频脚本和/或激活的视频模板结构(例如，通过适当配置的聊天功能)来确定第二版本、并且特别地第二版本的至少一个目标属性。至少一个目标属性可以包括所使用的语言的目标复杂度水平、第二版本中得到的自然语言文本的目标长度、第二版本中的自然语言文本的目标语言等。

108、通过在该基础上在生成医学视频报告的音轨之前传送可用文本信息，画外音可以自动适用于例如人类接收者的需求。利用此，在不需要用户干涉的情况下生成能够容易使用的结果。

109、根据一方面，医学图像研究包括三维医学图像数据集，模板视频脚本编码了下述指令：所述指令用于体图像渲染、特别地实现基于路径跟踪或射线投射的渲染过程，以及医学视频报告包括经由体图像渲染生成的一个或更多个图像。

110、在射线投射中，从想象的观察者的眼睛发出的模拟射线透射穿过被检查的身体或被检查的对象(参见levoy：“display of surfaces from volume data”，ieee计算机图形和应用，第8期，第3卷，1988年5月，第29至37页)。沿着射线，rgba值针对来自体素的样本点进行确定并借助于α合成或α混合进行组合以形成二维图像的像素。在此，表达rgba中的字母r、g和b表示颜色分量红色、绿色和蓝色，由颜色分量红色、绿色和蓝色组成对应样本点的颜色贡献。a表示alpha值，alpha值表示样本点处透明度的度量。相应透明度用于样本点处的rgb值的叠加，以形成像素。通常借助于被称为“着色(shading)”的方法的范围内的照明模型来考虑照明效果。

111、另一种体渲染的方法是所谓的路径跟踪方法(参见kajiya：“the renderingequation”，acm siggraph computer graphics，第20期，第4卷，1986年8月，第143至150页)。在此，多个模拟射线被射入至每个可视化像素的体数据中，然后所述模拟射线与体相互作用，即所述模拟射线被反射、折射或吸收，其中，每次生成至少一个随机射线(除了在吸收的情况下之外)。因此，每个模拟射线通过体数据找到其路径。每个可视化像素使用的虚拟射线越多，图像越好。在此，特别地，可以使用ep 3 178068b1中描述的处理和方法。通过引用将ep 3 178 068b1的内容全部并入本文。

112、因此，模板视频脚本可以指定用于路径和/或射线投射过程的参数，例如缩放水平、视角、传递函数、纹理值、射线的数目、透明度水平、场景照明等。

113、一方面，这样的方法允许生成特别逼真的可视化。这向人类接收者提供了图像检查及其结果的指导性图片。另一方面，由于体图像渲染被自动触发，因此用户不需要参与，这省得用户她自己或他自己熟悉体渲染管线的微妙之处(这可能是复杂的)。

114、根据一些示例，提供医学视频报告的步骤可以包括：将医学视频报告提供给用户以供在用户接口中审查；从用户接收指示同意医学视频报告的反馈；以及基于反馈将医学视频报告发布给人类接收者。根据一些示例，向用户提供医学视频报告包括将画外音提供为文本以供审查。

115、根据一些示例，将医学视频报告提供给用户的步骤可以包括根据一些示例通过缩略图来对医学视频报告的不同块(该块分别可以与单独的视频模板结构相关)进行可视化。根据一些示例，反馈包括对各个块的同意，以及发布包括将那些块包括在针对其同意被包括在反馈中的医学视频报告中。

116、通过在将视频医学报告发布给人类接收者之前将其示出给用户，可以由用户执行端控制。利用此，可以确保医学视频报告具有足够的质量并符合适用的规则。同时，在可管理的工作负载下启用端控制。特别地，如果医学视频报告的不同块在视觉上被呈现，则是这种情况，因为这允许“一目了然”地对内容进行良好的概述。

117、根据一方面，提供了用于提供医学视频报告的系统。该系统包括接口单元和计算单元。接口单元被配置成接收患者的医学图像研究并提供医学视频报告。计算单元被配置成基于医学图像研究来确定与医学图像研究有关的上下文信息。此外，计算单元被配置成基于上下文信息从多个候选模板视频脚本中选择模板视频脚本，每个候选模板视频脚本编码了下述指令：所述指令用于医学图像研究的图像处理步骤，以生成针对人类接收者的将医学诊断可视化的视频。此外，计算单元被配置成对医学图像研究执行所选择的模板视频脚本，以生成医学视频报告。此外，计算单元被配置成提供医学视频报告。

118、计算单元可以被实现为数据处理系统或实现为数据处理系统的一部分。这样的数据处理系统可以例如包括云计算系统、计算机网络、计算机、平板计算机、智能手机等。计算单元可以包括硬件和/或软件。硬件可以包括例如一个或更多个处理器、一个或更多个存储器及其组合。一个或更多个存储器可以存储用于执行根据本发明的方法步骤的指令。硬件可以能够由软件配置以及/或者能够由软件操作。通常，所有单元、子单元或模块可以例如经由网络连接或相应接口彼此至少暂时地进行数据交换。因此，各个单元可以彼此分开定位。此外，计算单元可以被配置为边缘设备。

119、根据一些示例，计算单元可以包括被配置成从医学图像研究和/或任何关联数据中提取上下文信息的上下文提取模块或单元。此外，计算单元可以包括被配置成根据上下文信息选择模板视频脚本的视频内容模块或单元。此外，计算单元可以包括被配置成基于所选择的脚本和医学图像研究来渲染医学视频报告的渲染模块或单元。根据一些示例，计算单元可以包括画外音模块或单元，其被配置成基于可用信息和数据，也就是说，上下文信息、医学图像研究和任何关联信息(例如，在医学图像研究中识别的医学发现)生成文本。根据一些示例，画外音模块可以包括：发现2文本引擎，其被配置成从可用信息中提取自然语言文本；以及聊天引擎，其被配置成将提取的文本转录成适合于医学视频报告的声道的版本。

120、接口单元可以包括用于与模板数据库进行数据交换以用于解析模板数据库并检索模板视频脚本的接口。接口单元还可以适用于例如通过(例如，在图形用户界面中)接收查询以及/或者向用户显示处理的结果，即信息而与系统的一个或更多个用户对接。

121、系统可以适用于在其用于修改医学图像数据的各个方面中实现本发明的方法。结合方法方面和示例描述的优点也可以通过对应配置的系统部件来实现。因此，结合方法方面和示例描述的优点也可归因于对应的系统。

122、根据另一方面，本发明涉及包括程序元素的计算机程序产品，当程序元素被加载至被配置成提供医学视频报告的系统的计算单元的存储器中时，该程序元素使该计算单元执行根据上面的方法方面和示例中的一个或更多个的步骤。

123、根据另一方面，本发明涉及其上存储有程序元素的计算机可读介质，该程序元素能够由系统的计算单元读取并执行，该计算单元被配置成当该程序元素由计算单元执行时根据一个或更多个方法方面和示例提供医学视频报告。

124、由计算机程序产品和/或计算机可读介质对本发明的实现具有以下优点：已经存在的提供系统可以容易地被软件更新适配，以按照本发明提出的那样工作。

125、计算机程序产品可以是例如计算机程序或者包括像这样的计算机程序旁边的另一元素。该另一元素可以是：硬件，例如其上存储有计算机程序的存储器设备、用于使用计算机程序的硬件密钥等；和/或软件，例如用于使用计算机程序的文档或软件密钥。计算机程序产品还可以包括开发材料、运行时系统和/或数据库或库。计算机程序产品可以在若干计算机实例之中分发。