专利名称：制作虚拟设备模型的装置和方法
技术领域：
本发明涉及用于制作作为真实设备的图像的虚拟设备模型的一种装置和一种方法。
这样一种真实设备例如指一种设计的或业已存在的工业设备、机器或单个组件等。在此在实践中常常出现如下情况真实设备与设备的原始设计并不一致，因为例如在制造设备时已经进行了特殊的适配或追加配备，或者其设计没有包含为进行数据的进一步处理而必需的信息。
本发明的目的在于提供用于制作作为真实设备图像的虚拟设备模型的一种方法和一种装置。
本发明的目的是通过一种用于制作作为真实设备的图像的虚拟设备模型的装置来实现的，该装置具有一个第一存储器，用于存储真实设备的图像数据；一个第二存储器，用于存储零部件库中设备零部件的信息数据；一个第三存储器，用于存储虚拟设备模型；以及一个分析和控制装置，用于将设备零部件的信息数据与真实设备的图像数据进行比较，以便识别图像数据中的设备零部件，导出是否接纳图像数据中的设备零部件并在虚拟设备模型中产生已分别识别出的设备零部件。
本发明的目的是通过一种用于制作作为真实设备的图像的虚拟设备模型的方法来实现的，在此方法中，虚拟设备模型由真实设备的图像数据用下述方法产生，即，零部件库中设备零部件的信息数据与真实设备的图像数据相比较，在相吻合时将一个已分别出识别的设备零部件添加到虚拟设备模型上。
制作虚拟设备模型数据的原始基础是两个数据源，第一数据源包含真实设备的图像数据，而第二数据源包含预先定义的设备零部件，它们在构造设备时应用。图像分析和控制装置实施图像分析，也就是说，图像数据的信息和预先定义的设备零部件的信息有时在用户的支持下被组合和分析。只要在图像数据中识别到一个设备零部件，它就添到用于虚拟产生的识别模型的图像中。因此用户可基于真实设备的图像数据和借助一个所采用的设备零部件的零部件库来虚拟地仿造真实设备。因此用户对设备的当前装备状态就有一个全局了解，有时即便在设备转换到新状态时也可以获得。
该装置的最大程度的自动化运行方式用下述方法得到保证，即，分析和控制装置设计用于对图像数据、零部件库中设备零部件的信息数据、虚拟设备模型的当前状态和/或用户的附加信息进行图像分析。
图像分析可以有利的方式进行，即，分析装置设计用于对图像数据的几何特性和/或零部件库中的设备零部件的几何特性进行图像分析。
为了实现一种一目了然和全面的用户操作以及操作界面，有利的是所述装置具有一个用于显示三张视图的显示装置，其中，第一张视图示出以图像数据为基础的真实设备，第二张视图示出零部件库中的设备零部件的信息数据，第三张视图示出虚拟设备模型。
由用户控制制作虚拟设备模型可以简便方式进行，即，分析和控制装置设计将从零部件库选出的设备零部件移入配给示出真实设备的图像数据的第一屏幕范围内，从而控制虚拟设备模型的结构。
将各个设备零部件配置到包含在真实设备的图像数据中的“真实”设备零部件上有利地用下述方式实现，即，分析和控制装置尤其在分析了几何特性的前提下将所选出的和移入第一屏幕范围的设备零部件与可在真实设备的图像中识别的零部件相协调，在成功探测到这些零部件后进行配置。
可通过下述方式进一步提高识别设备零部件的安全性，即，配给设备零部件的结构信息，尤其是几何信息和功能信息得到同步分析，以便将设备零部件配置到图像数据。
一张一目了然的并与制作过程的各个状况相配的总图这样来得到保证，即，分析和控制装置设计用于在成功识别一个设备零部件之后将其添入虚拟设备模型的第三张视图中。
所述装置的自动运行方式可这样来实现，即，分析和控制装置设计用于控制一种自动功能，即自动选择设备零部件、将其定位和添入设备模型中的功能。在此要求通过产生假设并通过所述分析和控制装置校验这些假设来考虑结构信息，从而进行选择设备零部件、将其配置到真实设备的图像数据中以及将其定位在虚拟设备模型中。
图像数据采集的实现方式是为了产生数字图像数据，设置一个数字照相机、一个数字摄像机、数字化照片和/或一套CAD系统的数据。
这样来得到整个真实设备的包容形总图，即，为了采集真实设备的数字图像数据，设置真实设备的不同视图，其中在识别零部件时将已识别的设备零部件配置到设备的所有图像数据中。
下面借助附图所示实施例对本发明作进一步说明，附图中
图1为制作设备模型的装置的原理性方块图；图2示出一个屏幕区，它带有一个附有真实设备的数字照片的屏幕范围；图3示出一个屏幕区，它带有针对真实设备的第一张视图和针对设备零部件“箱体”的第二张视图；图4示出一个屏幕区，它带有针对真实设备的第一张视图和针对设备零部件“箱体”的第二张视图和虚拟设备模型的第三张视图；图5示出一个屏幕区，它带有针对真实设备的第一张视图和针对设备零部件“阀门”的第二张视图；图6示出一个屏幕区，它带有针对真实设备的第一张视图和针对设备零部件“阀门”的第二张视图和针对虚拟设备的第三张视图；图7示出一个屏幕区，它带有针对真实设备的第一张视图和针对设备零部件“管道”的第二张视图和针对虚拟设备的第三张视图；图8示出一个屏幕区，它带有一张针对设备零部件“箱体”的视图和针对附有配给设备零部件“箱体”的结构数据的另一张视图；图9示出一种基于虚拟设备模型的信息、操作和观察系统；图10示出一个用于零部件库的结构和虚拟设备模型的结构的数据模型的实施例。
图1为制作虚拟设备模型的装置的方块图。附图标记1表示一个真实设备。借助于一个图像采集系统3可从该真实设备1上采集图像，这些图像存储在装置22的一个存储器20中，以制作虚拟设备模型2。图像数据4(在下面也将称作数字图像数据)被引导到一个分析和控制装置5。该分析和控制装置5除图像数据4外还处理一个零部件库6中的零部件数据13，而零部件库6存储在装置22的第二存储器21中。此外，零部件库6的第二存储器21还包含一个存储器分区24，用于存储设备零部件6的结构信息23。在图1所示实施例中用箭头14形象地表示分析和控制装置5也有能力处理用户7的用户数据14。分析和控制装置5的输出端的输出数据27用作虚拟设备模型2的输入数据。一个屏幕8构成一个显示装置，用于显示由图像数据20所代表的真实设备1、设备零部件6以及所产生的虚拟设备模型2。
图1所示制作真实设备1的虚拟图像2的装置22的中心要素是控制和分析装置5。该控制和分析装置5实施一种图像分析，其中，包含在数字图像数据4中的几何信息得到识别，并与包含在零部件信息13中的几何信息相协调。图像分析5有时由用户控制借助用户数据14来确定各个识别零部件13的位置和取向。用户7在制作的各个阶段通过屏幕8来了解虚拟制作的设备的当前状态，在需要时介入制作过程以给予支持，恰如在图2至图8中还要说明的那样。
图2示出一个屏幕区，它可在图1所示装置的屏幕8上示出。在此在一个第一屏幕区9内示出真实设备1的一个基于数字图像数据的数字图像4，该图像4经过方析和控制装置到达屏幕8(参见图1)。此外屏幕8具有所谓的光电条12a、12b、12c，它们作为用户的人机对话或操作界面。这些光电条分别包含控制元件，例如用于选择、抓取和移动图像数据和/或零部件。右屏幕区在上图像区10内包含一个屏幕窗口13，它用于显示各个设备零部件。这些设备零部件可借助光电条12a来选择。右下屏幕区11包含一个第三屏幕窗口15，它用于显示虚拟设备，即已经通过图像数据(显示在屏幕窗口4内)配给“真实”设备的设备零部件。此外，通过光电条12c、12d可以进行一种“摄像控制”，即在屏幕区13、15内所示的零部件在三维空间中运动。作为对选择零部件的光电条12a的替代或补充，在屏幕8上也可用图表设置另一个自我视图或作为所示零部件的景象。
图1所示屏幕区例如在调用某些数字图像数据4之后应用，并形成制作虚拟设备模型的入口。对一些复杂设备，用户可以从显示在左屏幕区内的“真实”图像出发起动一个自动运行，其中先后调用零部件库中的各个零部件，分析和控制装置尝试将这些零部件配置到数字图像数据4。在此分析和控制装置根据一个预定的搜索码分析配给各个待定位零部件的信息数据。这样第一分析涉及属于该零部件的几何数据，第二分析涉及配给该零部件的结构数据。在制作虚拟设备模型时的另一触发可借助于已经定位的零部件和仍存在的空隙来实现。因此可以限定搜索方案，使得在一个已经定位的具有信息数据“连接阀位置xxx”的零部件“箱体”的范围内仅仅检测具有“阀门”特性的零部件。在复杂的设备结构中，通常至少部分进行一种手动运行，恰如在图3至图7中还要说明的那样。
图3示出一个屏幕区，它带有针对真实设备4的第一张视图和针对设备零部件箱体16a的第二张视图。虚拟设备零部件16a是数字图像数据4中所示真实箱体16b的虚拟镜像。在图3所示实施例中屏幕区10内的显示借助于菜单条12a由用户实施。借助于虚线所示箭头17a形象地表示用户将虚拟设备零部件箱体16a移入数字图像数据4的左屏幕区中，并在真实箱体16b的区域内定位。因此用户在零部件视图10内选择设备零部件，并将它们移到图像视图4上(拉和放方法)。
图4示出在将虚拟设备零部件16a放入真实设备4的左屏幕区之后的下一步骤。借助部件17b形象地表示将虚拟设备零部件16a拖入左屏幕区，并释放在真实箱体16b的区域中。借助分析和控制设备装置的图像分析，尝试在这一位置的周围将设备零部件16a的几何特性与屏幕区的几何特性相协调。在此，例如棱边或棱边的组合得到分析。在成功的分析之后，设备零部件16a根据其位置和取向配给数字图像数据并相应地标记。与此同时，在右下屏幕区11内对虚拟设备模型内的虚拟设备零部件16a进行所谓的快速取舍(Instanzierung)。虚拟设备景象16a由此出现在屏幕区11内所示设备视图中。
图5示出在数字图像数据4的区域内安置设备零部件的另一实施例。为此在右上屏幕区10内示出一个阀门18a，它借助菜单条12a从设备零部件库中激活。借助菜单条12b，阀门18a在真实阀18b的方向上被移在由虚线箭头26a所示的线上，并在那儿释放。
图6示出落在左屏幕区9内的虚拟阀门18a，其中也附加示出了已经识别和安置的虚拟箱体16a。在右下屏幕平面11内显示了这样产生的由虚拟设备箱体16a和虚拟阀门18a组成的虚拟设备视图。只要设备零部件的定位不能自动进行，那么也可由用户对设备零部件进行定位和取向。在此，在图像中分析的几何特性与设备零部件的几何特性相协调。这样接确定了设备零部件的位置和取向。只要在数字图像数据4的图像视图中存在的几何信息不足以进行配置，那么可以尝试通过另一幅有数字图像数据4的格式的所示图像来得到各个设备零部件的配置。
图7作为另一实施例示出将管道19a分配给在数字图像数据4的左图像视图内所示的真实设备。在右下屏幕区11内可以看到哪些设备零部件已经在设备的虚拟视图内探测到。
图8在示出在右下屏幕区10内的虚拟设备零部件16a的实施例中示出了其它结构数据23的分配。这些结构数据23示出在左屏幕区内，例如包含对尺寸和连接箱体16a的可能性的指示说明。结构数据23可在将该箱体分配给数字图像数据时得到同步分析，因此支持对各个零部件的取向和定位。在此，这些结构数据23例如可用于产生假设如何可以制作另一零部件和/或另一零部件可能位于何处。
为了获得虚拟设备模型的有效功能，该设备模型的各个设备零部件包含一个对所应用于各个结构的图像数据的出处。在此设备零部件除了与各个图像的关系外还能识别其在图像中的位置。图像，即数字图像数据包含对包含在设备模型11内的与图像有关的零部件的出处。
图9示出一种基于借助于图1所示装置22所产生的虚拟设备模型的信息、操作和观察系统31。该信息、操作和观察系统31，在下面简称为B&B系统，通过一个转换器30与虚拟设备模型2相耦接。此外通过一根双向连接线，该B&B系统与真实设备1相耦接。制作虚拟设备模型2的装置22的各部件与在图1所示实施例中的相对应，因此对装置22的说明及其附图标记可参见图1。
包含在虚拟设备模型2或设备零部件库6的零部件中的信息13、23可应用于不同的后面接入的系统。例如在此示出了操作和观察系统(例如西门子公司的WinCC)。转换器30从虚拟设备模型2中提取对操作和观察系统31有关的信息并将其转换。该操作和观察系统的一个独立工程就省却了或大大地减少了。该操作和观察系统30与真实设备1相连接，例如借助一种基于虚拟设备模型的三维视频系统有能力示出当前的处理状态。通过确定的零部件中的操作元件可以介入处理进程。
其它可在虚拟设备模型上安置的系统例如有控制系统、模拟系统、诊断系统和信息系统。
虚拟设备模型与真实设备1相耦接的基本优点在于，虚拟设备模型2不仅仅用作设备1的静态视频系统和文档，而是可以承担大量其它真实功能，如真实设备的信息、操作和观察。因此借助在确定的功能方面代表真实设备1的精确镜像的虚拟设备模型2，例如危险的区域、离得较远的区域和难于接近的区域等就可以毫无困难地采用精确的视频系统进行观察。借助设想的模拟数据和借助该虚拟设备模型也可以进行模拟，以达到训练目的。
图10示出一个用于零部件库6的结构和虚拟设备模型的结构的数据模型的实施例及其零部件库和虚拟设备模型的联结，恰如该数据模型可与在图1和图10中所示的装置22一起得到使用。在此，只要可能，就采用图1至图9中所用的附图标记。下面，在一个图像存储器20(即为图1和图9中的第一存储器20)中存储着表示为源的图像数据201(例如数字照片或CAD图)和与其相关的图像信息202、203、204和205。包含在图像存储器20的源201中的信息由分析和控制装置5转换成一个整理后的源51。对一个源配置52而言，借助一个几何尺寸配置54来描述一个零部件61中的哪些几何要素53可与整理源中的几何要素相协调。零部件库的第二存储器6包含预制的零部件，例如箱体、阀门管道…(参见图1至图9的说明)。虚拟设备模型的第三存储器2既包含虚拟设备的零部件61、有关整理源51的信息，还包含零部件61和处理好的图像201之间的分配信息52。
图10所示数据模型可借助UML(统一模型语言，Unified ModellingLanguage)标志法来说明。在此所采用的标志法具有下述语义。一个所谓的“等级”说明一个“信息单位”，例如信息单位“零部件”。一个等级可以具有一个或多个“属性”，在此属性确定具体的“特性”或一个等级的“状态”或“瞬态”(属性值)。因此，等级“结构信息62”具有属性“+零部件类型”。各等级可以建立与其它等级或与自身的“关系”。一种关系是指在等级之间在所谓的“角色”方面和“基本点”方面具有何种“配置”(0…n→无，一种配置或多个配置)。
用菱形来表示关系，该关系建立一个至另一等级的“由…组成”角色，例如一个零部件由结构信息62、物理行为63、控制行为64等。另一种特殊关系是“遗传”，它通过一个在一个所谓的高级的末端的小三角形来表示。遗传是指一个“次级”的特性从高级中导出，因此该次级遗传高级的特性。例如次级“点55、直线56、曲线57”遗传高级“几何要素53”的特性。除了属性外，属于特性的还有关系以及没有详细说明的一个等级的“方法”。图10所示的数据结构可以应用两种不同的源201。两个源类型(次级说明一个待成像设备的视图。图像202是一种源类型，代表一幅数字图像，它由多个像素(Pixel)组合而成。CAD图203是一种源类型，代表一张CAD图203，它由CAD要素205(直线、多边形、弧、…)组合而成。
包含在源201中的信息由分析和控制装置5转换成一个整理源51。在此，一幅图像202的像素204或一张CAD图203的CAD要素205转换成几何要素53(例如点55、直线56、曲线57…58)。在几何要素53的基础上，分析和控制装置5尝试配置一个整理源51中选出的零部件61。
分析和控制装置5自动地或由人机对话地尝试分辨整理源51(图像202或CAD图)中的零部件并将其添加到虚拟设备模型2上。这种配置在几何要素53的基础上进行，这些几何要素53在一个整理源51中得到分析或经过几何特性68配给零部件61。
如果一个零部件61可以配给一个整理源51，那么该信息就存留在源配置52中。该源配置52说明哪些得到分析的零部件61可配给哪些源201。在此，一个零部件61可通过多个源配置52配给不同的源201。
对一个源配置52而言，借助多个几何配置54说明一个零部件中哪些几何要素53可与一个整理源51中的几何要素53相协调。
虚拟设备模型2由已经得到分析的零部件组成。虚拟设备模型2或包含在其中的零部件61的信息为不同的后面接入的系统诸如操作和观察系统所利用。
总之，本发明涉及用于制作作为真实设备的图像的虚拟设备模型的一种装置和一种方法。在此作为数据基础，一是描述真实设备图像的数字图像数据，另一是零部件库的设备零部件。借助于图像分析，设备零部件的数据以及真实设备的数字图像数据得到分析。借助这种分析将分别识别的设备零部件配置到虚拟产生的设备模型上。这样产生的真实设备的虚拟图像可作为设备实际结构的文档，以及在故障情况下简化的故障分析。除了存储几何数据外，对设备零部件而言还可存储功能数据等。
权利要求
1．一种用于制作作为真实设备(1)的图像的虚拟设备模型(2)的装置(22)，它具有一个第一存储器(20)，用于存储真实设备(1)的图像数据；一个第二存储器(21)，用于存储零部件库(6)中设备零部件(13)的信息数据(13、23)；一个第三存储器(28)，用于存储虚拟设备模型(2)；以及一个分析和控制装置(5)，用于对设备零部件(13)的信息数据(13、23)与真实设备(1)的图像数据(4)进行比较，以便识别图像数据(4)中的设备零部件(13)，导出是否接纳图像数据(4)中的设备零部件(13)和在虚拟设备模型(2)中产生已分别识别的设备零部件(13)。
2．根据权利要求1所述的装置，其特征在于分析和控制装置(5)设计用于对图像数据(4)、零部件库(6)中设备零部件(13)的信息数据(13、23)、虚拟设备模型(2)的当前状态和/或用户的附加信息(14)进行图像分析。
3．根据权利要求1或2所述的装置，其特征在于分析装置(5)设计用于对图像数据(4)的几何信息和/或零部件库(6)中的设备零部件(13)的几何信息进行图像分析。
4．根据上述任一项权利要求所述的装置，其特征在于它具有一个用于显示三张视图(9、10、11)的显示装置(8)，其中，第一张视图(9)示出以图像数据(4)为基础的真实设备，第二张视图(10)示出零部件库(6)中的设备零部件(13)的信息数据(13、23)，第三张视图(11)示出虚拟设备模型(2)。
5．根据上述任一项权利要求所述的装置，其特征在于分析和控制装置(5)设计将从零部件库(6)选出的设备零部件(13)移入配给示出真实设备(1)的图像数据(4)的第一屏幕范围(9)内，从而控制虚拟设备模型(2)的结构。
6．根据上述任一项权利要求所述的装置，其特征在于分析和控制装置(5)尤其在分析了几何特性的前提下将所选出的和移入第一屏幕范围(9)的设备零部件与可在真实设备的图像中识别的零部件相协调，在成功探测到这些零部件后进行配置。
7．根据上述任一项权利要求所述的装置，其特征在于配给设备零部件(13)的结构信息(23)，尤其是几何信息和功能信息得到同步分析，以便将设备零部件(13)配置到图像数据(4)。
8．根据上述任一项权利要求所述的装置，其特征在于分析和控制装置(5)设计用于在成功识别一个设备零部件(13)之后将其添入虚拟设备模型(2)的第三张视图(11)中。
9．根据上述任一项权利要求所述的装置，其特征在于分析和控制装置(5)设计用于控制一种自动功能，即自动选择设备零部件、将其定位和添入设备模型(2)中的功能。
10．根据上述任一项权利要求所述的装置，其特征在于为了产生图像数据(4)，设置一个数字照相机、一个数字摄像机、数字化照片和/或一套CAD系统的数据。
11．根据上述任一项权利要求所述的装置，其特征在于为了采集真实设备(1)的图像数据(4)，设置真实设备(1)的不同视图。
12．一种用于制作作为真实设备(1)的图像的虚拟设备模型(2)的方法，在其中，虚拟设备模型(2)由真实设备(1)的图像数据(4)用下述方法产生，即，零部件库(6)中设备零部件(13)的信息数据(13、23)与真实设备(1)的图像数据(4)相比较，在相吻合时将一个已分别识别出的设备零部件(13)添加到虚拟设备模型(2)上。
13．根据权利要求12所述的方法，其特征在于对图像数据(4)和零部件库(6)中的设备零部件(13)的数据进行图像分析(5)，在其中，图像数据(4)的信息、设备零部件(13)的信息和/或用户(7)的信息得到分析。
14．根据权利要求12或13所述的方法，其特征在于在图像分析(5)时，图像数据(4)的几何信息和/或零部件库(6)中的设备零部件(13)的几何信息得到分析。
15．根据权利要求12至14中任一项所述的方法，其特征在于在制作虚拟设备模型(2)时在一个显示装置(8)上示出三张视图(9、10、11)，其中，第一张视图(9)示出以图像数据(4)为基础的真实设备，第二张视图(10)示出零部件库(6)中的设备零部件(13)，第三张视图(11)示出虚拟设备模型(2)。
16．根据权利要求12至15中任一项所述的方法，其特征在于为了从零部件库(6)构造虚拟设备模型(2)，选出一个设备零部件(13)；该选出的设备零部件(13)移入配给示出真实设备(1)的第一屏幕范围(9)。
17．根据权利要求12至16中任一项所述的方法，其特征在于图像分析(5)尤其在分析了所移入第一屏幕范围(9)的设备零部件(16a)的几何特性的前提下将其与一个可在真实设备的图像中识别的零部件(16b)相协调，在成功探测后使这些零部件相互配置。
18．根据权利要求12至17中任一项所述的方法，其特征在于为虚拟设备零部件(16a)配设结构信息(23)，这些信息得到同步分析，以便将设备零部件(13)配设到图像数据(4)。
19．根据权利要求12至18中任一项所述的方法，其特征在于在成功识别一个设备零部件之后将其添入虚拟设备模型(2)的第三张视图(11)中。
20．根据权利要求12至19中任一项所述的方法，其特征在于本方法具有一种自动图像分析，在其中，自动选择设备零部件、将其定位和添入设备模型中。
21．根据权利要求12至20中任一项所述的方法，其特征在于借助于一个数字照相机、一个数字摄像机、数字化照片和/或一套CAD系统的数据来产生图像数据(4)。
22．根据权利要求12至21中任一项所述的方法，其特征在于采用真实设备的不同视图的图像数据(4)，其中，在成功识别一个设备零部件(13)之后，将该识别的设备零部件(13)自动配设到不同视图的图像数据。
全文摘要
本发明涉及用于制作作为真实设备(1)的图像的虚拟设备模型(2)的一种装置和一种方法。在此作为数据基础,一是描述真实设备图像的数字图像数据(4),另一是零部件库(6)的设备零部件(13)。借助于图像分析(5),设备零部件的数据以及真实设备的数字图像数据(4)得到分析。借助这种分析将已分别识别的设备零部件(13)配置到虚拟产生的设备模型(2)上。这样产生的真实设备的虚拟图像可作为设备实际结构的文档,例如对难于触及的区域进行简便的故障分析和/或操作和观察设备。除了存储几何数据外,对设备零部件而言还可存储功能数据等。
文档编号G06T17/00GK1286780SQ99801666
公开日2001年3月7日 申请日期1999年6月29日 优先权日1998年6月30日
发明者索伦·莫里茨, 沃尔夫冈·弗里德里克, 艾里雷扎·巴尼－哈谢米, 尼古拉斯·克拉夫特, 内西尔·纳瓦布, 弗兰克·索尔 申请人:西门子公司