基于图像的特征性眼睛移动的检测的制作方法

本发明涉及一种用于确定患者的特征性眼睛移动的类型的方法。本发明还涉及一种用于训练基于ai的算法(ai＝人工智能)的方法，该基于ai的算法用于确定患者的视神经的位移量。此外，本发明涉及一种眼睛移动确定设备。本发明还涉及一种医学成像系统。

背景技术：

1、眼睛移动或眼球运动功能是用于描述由外部眼肌引起的眼球(眼珠)的移动的术语，人类的外部眼肌在生理上与对侧眼睛结合。在眼睛跟随移动的类型中，移动对象是固定的。眼睛通过缓慢的眼睛跟随移动来跟随对象的移动。扫视是眼睛的快速移动，注视点不断变化。只有从注视时开始的图像才被感知，图像偏移被抑制。眼球震颤是扫视和眼睛跟随移动的组合。眼球震颤的方向的指示取决于快速的反冲移动。关于负责眼睛移动的大脑结构的知识使得可能在许多情况下识别潜在的疾病过程或在解剖学上定位疾病。因此，眼能动性的检查是许多神经和神经眼科疾病的重要诊断程序。

2、前庭偏头痛作为一种类型的神经系统疾病是影响全世界数百万人的现象。如今，术语“偏头痛”对每个人来说或多或少都很熟悉。科学家认为，偏头痛症状是由流向大脑的血液的快速下降以及由此导致的受影响大脑区域中的活动的变化引起的。如果属于前庭系统的大脑区域受到影响，则头晕和/或眩晕可能是主要症状。

3、发作性的永久性旋转或摇晃性眩晕会发生，这种旋转或眩晕可能会持续几分钟、几小时，有时甚至几天。与其他类型的偏头痛一样，一些患者抱怨对光、噪音或移动越来越敏感，因此在发作期间更需要休息。另外，经常有严重的恶心以及步态、平衡和视力障碍。头痛可能发生在发作之前、发作期间或发作之后，但是至少30％的病例没有头痛。这往往使得难以将其与导致类似症状的梅尼埃病(meniere's disease)的临床表现相区分。

4、此外，前庭偏头痛可能表现出在许多其他疾病中也出现的症状。因此，前庭偏头痛难以诊断，并且使用当前现有的方法也不能准确诊断。此外，在没有确凿证据的情况下，宣布患者患有前庭偏头痛所需的时间很长，并且有时不确定。因此，有时，患者被置于试验基础上的临床相关性上长达数年至终生。

5、直到今天，在个人患有眩晕的情况下，通常生成大脑的磁共振图像，然而，生成大脑的磁共振图像是为了排除诸如肿瘤、癫痫或多发性硬化症的疾病。然而，前庭偏头痛不是基于大脑的磁共振图像来检测的。因此，前庭偏头痛的诊断是相对不确定的。因此，患者仅仅被置于临床相关性和试验药物之下，可能对患者有帮助或者可能对患者没有帮助的这些试验药物被应用于患者。

6、此外，一种在全世界许多国家几乎闻所未闻的被称为视频眼球震颤描记术(nystagmography)的测试被用于检测导致眩晕的疾病。将带有集成的相机的视频面罩放在患者身上。随着变暗(去除光学注视)，可以用红外相机自动跟踪瞳孔的移动，因此可以记录自发或诱发的眼球震颤。

7、然而，这种测试的可靠性完全取决于相关经验或进行测试的技术人员。因此，它不是100％准确的。

8、因此，存在提供可靠的患者测量数据的问题，该测量数据被用作明确确定患者是否患有某种神经系统疾病特别是前庭偏头痛的基础。

技术实现思路

1、前面提到的问题通过根据本发明的技术方案所述的用于确定患者的特征性眼睛移动的类型的方法、根据本发明的技术方案所述的用于训练用于确定患者的视神经的位移量的基于ai的算法的方法、根据本发明的技术方案所述的眼睛移动确定设备以及根据本发明的技术方案所述的医学成像系统来解决。

2、在用于确定患者的眼睛移动的类型的方法中，为患者提供用于特征性眼睛移动(优选地，眼球震颤)的视动刺激。此外，生成患者的大脑的医学图像，该医学图像也包括患者的眼睛。患者包括人类。在生成视动刺激的同时记录医学图像，使得医学图像表示患者的眼睛对光学刺激的反应。优选地，与光学刺激同时或者直接或者在光学刺激的生成之后不久记录医学图像。如后面详细描述的，“医学图像”可以包括正好一个医学图像，优选地多于一个医学图像，特别优选地，“医学图像”可以包括多个医学图像的整个序列，使得获得患者的眼睛的一种视频序列。

3、换句话说，医学图像优选地包括患者的头部的截面内部视图。更优选地，作为截面平面，使用相对于患者的身体的纵轴的横向平面，其位于患者的眼睛的高度位置处，使得除了大脑之外，还示出了包括患者的眼球和视神经的眼睛的截面图。因此，医学图像意味着患者的头部内部的图像，优选地截面图，其也包括患者的眼睛的截面描绘。医学图像可以包括在具有相同或不同取向的不同平面中的多个这样的截面图，使得可以从医学图像得到视神经在二维方向上或者甚至在三维方向上的方向。基于医学图像，确定患者的视神经的位移的速度和视神经的位移量。

4、视动刺激包括为患者显示一个或多个移动的对象的视频，其中移动的对象对患者的眼睛施加移动刺激。

5、然后，基于所确定的视神经的位移量和优选的视神经的位移的速度，确定是否检测到特征性眼睛移动，优选地眼球震颤。对于正常的健康患者，当视动刺激被显示时，视神经位移可能根本不会发生。只有当健康的患者有意移动眼睛时，这种情况才会发生。正常情况下，视动刺激对健康患者没有任何影响。基于视神经的眼睛移动的确定是高度确定性的，因为视神经的医学图像清楚地记录了视神经位移。通过比较在没有视动刺激的情况下记录的医学图像和与这种视动刺激同时记录的医学图像，可以测量视神经的位移和优选地移位的视神经的速度。在患有前庭偏头痛的患者中，视神经的位移的速度较高。由于这种医学图像可以是例如基于诸如眩晕的症状的常规扫描的一部分，这种确定可以减少神经系统疾病的诊断特别是在出现眩晕的情况下前庭偏头痛的诊断的周转时间。此外，由于可靠地确定眼睛的特征性移动的类型，特别是眼球震颤移动，可以避免通过试误医学(trial anderror medicine)对患者的干扰。

6、必须提到的是，存在可以基于特征性眼睛移动确定的多种不同的神经系统疾病。例如，在缓慢跟随眼睛移动的情况下，人们检查这些是平滑的还是扫视的。后者代表中枢动眼神经功能障碍。在健康受试者中也经常发现轻微扫视的垂直向下凝视。前庭-眼反射的生理性注视抑制也是一项重要的测试，并且在中央小脑病变中受损。

7、应该注意扫视的速度和准确性以及两个眼睛是否平行移动。高视性扫视(hypermetric saccade)见于小脑疾病，低视性扫视(hypometric saccade)大多见于脑干病变和神经退行性疾病。在进行性核上凝视性麻痹——特发性帕金森氏综合征的重要鉴别诊断——的情况下，通常最初会出现垂直扫视的减慢，然后在疾病过程中也会出现水平扫视的减慢，并且最后会出现一般凝视性麻痹。

8、根据本发明的眼睛移动确定设备包括刺激单元，该刺激单元用于为患者提供用于预定类型的特征性眼睛移动(优选地眼球震颤)的视动刺激。此外，眼睛移动确定设备包括图像接口单元，该图像接口单元用于从医学成像系统或医学成像系统的扫描单元接收患者的大脑和眼睛的医学图像。眼睛移动确定设备的一部分也是位移确定单元和分析单元，位移确定单元用于基于医学图像确定患者的视神经的位移量和视神经的位移的速度，分析单元用于基于所确定的患者的视神经的位移量和移位的视神经的速度来确定是否检测到预定的特征性眼睛移动，优选地眼球震颤移动。眼睛移动确定设备共享用于确定患者的眼睛移动的类型的方法的优点。

9、根据本发明的医学成像系统包括用于从患者获取医学成像数据的扫描单元和根据本发明的眼睛移动确定设备。医学成像系统共享根据本发明的眼睛移动确定设备和根据本发明的用于确定患者的眼睛移动的类型的方法的优点。

10、上面提到的眼睛移动确定设备中的一些单元或模块可以完全地或部分地被实现为在相应计算系统(例如医学成像系统的控制设备)的处理器上运行的软件模块。在很大程度上以软件模块的形式实现可以具有以下优点：已经安装在现有计算系统上的应用可以用相对少的努力来更新，以安装和运行本技术的这些单元。本发明的目的还通过具有计算机程序的计算机程序产品来实现，该计算机程序可直接加载到计算系统的存储器中，并且该计算机程序包括程序单元以在由计算系统执行程序时执行本发明方法的步骤，至少那些可以由计算机执行的步骤，特别是以下步骤：基于医学图像确定患者的视神经的位移量和视神经的位移的速度，以及基于所确定的视神经的位移量和视神经的位移的速度来确定是否检测到特征性眼睛移动，优选地眼球震颤移动。除了计算机程序之外，这种计算机程序产品还可以包括其他部分，例如文档和/或附加组件，还可以包括硬件部件，例如硬件密钥(加密狗等)以便于访问软件。

11、诸如记忆棒、硬盘或其他可运输的或永久安装的载体的计算机可读介质可以用于运输和/或存储计算机程序产品的可执行部分，使得可以从计算系统的处理器单元读取这些。处理器单元可以包括一个或更多个微处理器或它们的等同物。

12、从属权利要求和以下描述各自包含本发明的特别有利的实施方式和发展。特别地，一个权利要求类别中的权利要求也可以类似于另一个权利要求类别中的从属权利要求进一步发展。另外，在本发明的范围内，不同示例性实施方式和权利要求的各种特征也可以进行组合以形成新的示例性实施方式。

13、优选地，使用磁共振成像系统记录一个或多个医学图像。如上面所提到的，在人患有眩晕的情况下，通常生成大脑的磁共振图像，其中生成大脑的磁共振图像以用于排除诸如肿瘤、癫痫或多发性硬化症的疾病。优选地，根据本发明的方法可以有利地与这种常规医学成像相结合。因此，特别优选的是，医学图像包括磁共振图像或者甚至磁共振图像序列。有利地，为了排除上面提到的严重疾病而记录的这种磁共振图像可以另外用于：检测和标识特征性眼睛移动的类型，以在排除上面提到的严重疾病的情况下，找出患者确实患有哪种疾病。因此，不需要额外的单独检查，并且可以节省时间和医疗资源。特别优选的，使用动态序列特别是电影序列来记录磁共振图像。有利地，可以容易地记录患者的眼睛的移动。

14、在大脑的常规医学图像没有任何明显发现的情况下，可以根据新的常规协议并基于新的序列随后执行用于确定患者的特征性眼睛移动的类型的方法，其中使用视动刺激来检测视神经位移。如后面所讨论的，为了检测和标识特殊类型的特征性眼睛移动，动态医学成像方法以及尤其是动态磁共振成像方法是优选的。在使用磁共振成像方法的情况下，由于没有辐射，这是有利的，优选地使用电影序列。这种动态磁共振成像方法特别是电影序列——包括多个连续记录的帧——使得能够实时记录患者的内脏器官的移动，特别是患者的眼睛的视神经的移动。有利的是，还确定所有记录的帧的时间戳，使得可以记录患者的视神经的确切的地点-时间行为。

15、因此，优选地，在根据本发明的方法中，医学图像包括一系列医学图像或医学图像序列。有利的是，可以记录患者的眼睛的移动，并将其与预定的移动模式进行比较，以确定特征性眼睛移动。基于特征性眼睛移动，可以确定特定的神经系统疾病。

16、优选地，在根据本发明的方法中，视动刺激包括对象在预定方向上的移动。对象的预定方向的移动包括以下中的至少一个：

17、-从左到右的移动，

18、-从右到左的移动，

19、-上下移动，

20、-旋转运动。

21、有利的是，可以由视动刺激刺激不同的移动模式。视动刺激包括许多触发眼球震颤的模式。这可以是水平的(左或右)或垂直的(上或下)。因此，显示视动刺激的各种各样的模式是重要的，因为我们不知道患有特定疾病(尤其是前庭偏头痛)的患者可能会患哪种类型的眼球震颤。

22、优选地，视动刺激包括失真的移动棋盘的视频图像。有利的是，这种移动模式刺激眼睛移动，特别是眼睛的眼球震颤移动。这种眼球震颤包括水平(左或右移动)、垂直(上或下移动)或旋转移动中的至少一种。

23、优选地，确定视神经的位移量的步骤包括基于ai的确定(ai＝人工智能)。有利的是，这种基于ai的确定视神经的位移量使得能够避免放射科医师容易出错和非确定性的手动确定，所述放射科医师容易出错和非确定性的手动确定通常可能会导致误诊，因为在显示视动刺激期间，患者可能会移动他/她的眼睛。为了生成视神经的位移量的基于ai的确定，创建并训练ai模型或算法，以检测特定类型的眼睛位移或甚至移动，所述特定类型的眼睛位移或甚至移动对于特殊神经现象特别是特殊神经系统疾病而言是特征性的。如稍后详细描述的，这种类型的特征性眼睛移动优选地包括一种类型的眼球震颤。这种眼球震颤可以包括以下类型中的至少一种：

24、-左跳动眼球震颤，

25、-右跳动眼球震颤，

26、-上跳动眼球震颤，

27、-下跳动眼球震颤。

28、所有这些眼球震颤移动可能是前庭偏头痛的征兆。如果患者看到视动刺激并出现眼球震颤，则这意味着患者患有前庭偏头痛。现在眼球震颤可以是任何东西，例如左水平或右水平或上垂直或下垂直。

29、一种用于训练用于基于至少一个医学图像确定患者的视神经的位移量的基于ai的算法的方法包括接收标记的医学图像数据的步骤。还记录了这些医学图像的相应时间戳。利用视神经的位移量和医学图像的时间戳，通过速度等于距离除以时间的公式来计算显示的视神经的速度。对于患有前庭偏头痛的患者来说，这一速度将会较高。

30、为了训练人工智能模型，作为标记的医学图像数据，需要具有两个不同医学图像集的数据集：第一训练集包括与具有常规眼睛移动的患者有关的医学图像，并且第二训练集包括具有要检测的特征性眼睛移动的类型的患者的医学图像。如上面所提到的，这种特征性眼睛移动可能与特殊类型的神经系统疾病特别是前庭偏头痛有关。

31、为了生成标记的训练数据，每个训练医学图像被手动设置有标记视神经的位置的边界框。此外，添加简单的文本，所述简单的文本给出标记的对象(在这种情况下是视神经)的分类以及其边界框的坐标和大小。训练数据集包含的医学图像越多，训练就将越有效。可以通过提供标记的测试数据集来测试训练的准确性。该测试的结果是被称为平均精度的得分，其范围从0到1(即0到100％)。

32、在训练完成并且已经获得足够高的平均精度得分之后，输出是经训练的模型或算法，其可以被传送到眼睛移动确定设备并且用于检测实时数据。接近1的平均精度得分将允许视神经的可靠且准确的定位，从而提供准确的诊断。

33、优选地，通过使用“你只用看一遍(you only look once)”算法(通过短yolo算法)来实现视神经的检测。这种yolo算法是一种允许实时分析医学图像的高性能算法。在以下文献中描述了yolo算法：joseph redmon,santoshdivvala,ross girshick,ali fahrhadi，“you only lookonce:unified,real-time object detection”，华盛顿大学，allenai研究所，脸书(facebook)ai研究。yolo算法对分析大量图像很有用。如上面所提到的，在分析整个图像序列并且存在病理性神经现象(特别是前庭偏头痛)的情况下，这种图像序列中的每个帧或图像包含与和正常或常规眼睛移动有关的视神经定位相比不同的视神经定位部分。有利的是，yolo算法是可靠且快速地检测视神经的高性能算法，使得它允许对医学图像进行实时分析。

34、优选地，以与根据本发明的方法的训练中的上面提到的步骤类似的方式，基于ai确定视神经的位移量的步骤包括分割医学图像中的视神经的子步骤。如稍后详细描述的，视神经的标识、定位和分割优选地使用上面提到的yolo算法来实现。

35、优选地，分割视神经的子步骤包括以下步骤：

36、-将医学图像划分成包括多个单元的网格，

37、-在网格的每个单元内检测最可能的对象，

38、-通过边界框标记检测到视神经的每个单元，

39、-使用“并集上的交集(intersectionover union)”来创建检测到的视神经的统一的单个边界框。

40、优选地，医学图像被划分成相等尺寸的网格，通常被划分成7*7矩形单元的网格。对于每个单元，在每个单元内检测最可能的对象包括确定是否存在视神经的一部分。

41、对于包含视神经或视神经的一部分的每个单元，生成预测视神经的边界的边界框。该过程产生围绕视神经的整个区域的不同部分的多个边界框。

42、为了仅为一个单个视神经提供一个单个边界框，使用了统一过程，优选地基于“并集上的交集”。具有“单个边界框”意味着针对一个单个视神经的一个整体边界框。也被称为jaccard指数或jaccard相似性系数的并集上的交集(简称iou)是允许我们评估我们预测的边界框与真实(ground truth)边界框的相似程度的度量。构思是我们想要比较两个边界框交叠的面积与两个框的总组合面积的比率。在以下文献中描述了“并集上的交集”的原理以及此外广义版本：hamid rezatofighi等人，“generalized intersectionover union:ametric and aloss for boundingboxregression”，斯坦福大学计算机科学系，美国计算机科学学院，澳大利亚阿德莱德大学，美国aibee公司。

43、与并集上的交集有关的得分是通过将真实边界框与预测的边界框之间交叠的面积除以并集的面积而产生的。

44、每个网格单元给出其边界框的预测以及置信度得分。置信度得分是iou计算的一个参数。在置信度得分等于1的情况下，边界框代表真实的整体边界框。这种机制消除了不等于视神经的真实边界框的边界框。因此，我们得到最终的检测结果作为每个检测到的视神经的边界框。也给该边界框指定了属性，例如边界框的尺寸和中心位置。尺寸尤其包括与边界框的高度和宽度有关的值。

45、优选地，基于边界框的高度和宽度来计算检测到的视神经的取向的角度，并且基于所计算的角度来确定视神经的位移量。使用边界框的对角线作为包括边界框的宽度和高度的直角三角形的斜边，可以根据勾股定理基于边界框的高度和宽度来计算斜边。于是，角度α可以被计算为：

46、α＝反余弦(高度/斜边)或者

47、α＝反正弦(宽度/斜边)。

48、在根据本发明的方法中，优选地，生成一系列医学图像，并且基于医学图像中的每一个的位移量和时间戳来确定眼睛移动的速度。此外，基于所确定的速度检测眼睛移动模式，优选地眼球震颤。如果针对记录的医学图像中的每个帧计算角度α，则使得能够实时跟踪在各种情况下在医学成像期间视神经移动的方式和速度。基于时间戳，众所周知，这些医学图像拍摄时的精确度为毫秒。因此，也确定了记录的眼睛移动的速度。这种记录的眼睛移动的速度可以与参考值进行比较，以确定是否已经记录了眼睛移动，这对于患者的特定生理状况来说是特征性的。

49、特别地，如果检测到眼球震颤，并且速度大于在常规眼睛移动期间捕获的速度，则基于光学刺激确定患者被认为经历了眩晕。这种生理状况可以用于发现患者患有前庭偏头痛。因此，基于医学图像(优选地磁共振图像)序列，使得能够发现患者是否患有神经系统疾病，特别是前庭偏头痛。