Web多媒体资源开放标注数据的可视化方法及装置制造方法
【专利摘要】本发明公开了一种Web多媒体资源开放标注数据的可视化方法，包括：从数据源获取Web多媒体资源开放标注的序列化格式数据；将序列化格式数据解析成RDF三元组集；将RDF三元组集按照开放标注数据模型的语义变换成图形抽象数据结构；将图形抽象数据结构映射成与特定屏幕可视化技术相匹配的具体图示数据；基于具体图示数据在屏幕视图区域中显示可视化图，并响应用户对可视化图的鼠标操纵。本发明还公开了一种Web多媒体资源开放标注数据的可视化装置。本发明提供的Web多媒体资源开放标注数据的可视化方法及装置可直观表示符合W3C《开放标注数据模型规范》的Web多媒体资源开放标注数据，有利于该规范的有效实施。
【专利说明】Web多媒体资源开放标注数据的可视化方法及装置
【技术领域】
[0001]本发明涉及数据可视化【技术领域】，尤其涉及一种Web多媒体资源开放标注数据的可视化方法及装置。
【背景技术】
[0002]尽管当前万维网(World Wide Web，简称Web)上包含了海量的各种格式的多媒体(multimedia)资源，并且其数据量一直在不断增长，但是，与文本和数值等传统内容格式的Web资源相比，图像、音频与视频等多媒体资源还是Web的“二等公民”。导致这种局限性的原因是:一方面，多媒体资源必须嵌入到其他Web资源(如HTML网页)，依靠“plugin”软件的交互与解码后，其视听内容才能被Web用户所使用；另一方面，传统的Web基础设施难以有效支持用户对Web多媒体资源的标识、描述、发现与访问。给Web多媒体资源附上元数据或描述信息，即所谓的多媒体标注(multimedia annotation),将有助于实现Web多媒体资源的索引、检索、访问与利用。
[0003]早期的Web多媒体标注主要借助多媒体元数据标准(如MPEG_7、Dublin Core,VRN等)来实现，但是这种基于元数据标准的多媒体标注方法(本文称为“第一类标注方法”)存在很多缺陷:(1)内容描述性元数据的高层特性需要手工创建，因而内容生产者因费时费力而不愿意对多媒体资源进行标注；(2)多媒体元数据标准太多，它们的元数据模型与词汇集各异，因而难以实现不同领域与应用之间的互操作性；(3)多媒体元数据标准大多采用基于XML的(语法的)元数据模型，本质上也无法提供基于语义的内容描述，即无法实现语义标注(semantic annotation)。
[0004]大约从2005年开始逐步兴起的Web2.0应用(如:共享图像资源的Flickr、共享视频资源的YouTube、共享音频资源的Last, fm)展现了多媒体资源生产、标注与消费的另一幅图景。Web2.0网站用户是多媒体内容及其描述信息的生产消费者(prosumers-bothproducers and consumers)。需求驱动的大众参与和用户协同为多媒体标注的研究带来了新的思路。然而，这种基于Web2.0社交软件的多媒体标注方法(本文称为“第二类标注方法”)也存在明显的缺陷:(I)用户生产的标注主要是文本标签(tags)或注释(comments)，是一种低质量的、不确定的、无形式语义的元数据，无法复用，更无法实现跨社区的交换与共享；(2)各种社交软件的标注模型各异，而且均是相互间无法有效交互的封闭系统，其中的标注数据被“锁住”，不是Web可直接访问的。
[0005]随着下一代语义网(SemanticWeb)(参见 http://www.w3.0rg/2001/sw/)或更广义的数据网(Web of Data)(参见http://www.w3.0rg/2013/data/)技术的逐步成熟及广泛应用，基于语义的、机器可处理的多媒体内容描述已成为Web多媒体标注的追求目标。语义网的统一资源标识符(URI )、资源描述框架(RDF)、本体语言(OWL)等新颖Web基础设施，为Web数据资源(包括多媒体资源)的标识、描述、共享、复用与交换提供了一个具有语法与语义互操作性的、可扩充的公共框架。学术界开始探讨如何在语义网上进行多媒体语义标注，一系列在多媒体元数据标准基础上构建的多媒体本体(multimedia ontology)陆续出现，基于多媒体本体的标注工具也陆续开发出来。但是，这种基于本体的多媒体语义标注方法(本文称为“第三类标注方法”)仍存在很多缺陷:(I)各种多媒体本体大多是为特定的多媒体元数据标准提供语义描述，因此相互之间仍缺乏互操作性；(2)各种标注框架采用各自专用的标注模型，缺乏可扩展性与可交换性，导致产生的标注数据无法共享与复用；(3)基于元数据标准的多媒体本体要么缺乏对媒体片段(media fragments)的标识机制,要么其媒体片段标识采用非HTTP URI机制(即Web不可访问)。
[0006]Web多媒体标注技术现状的以上不足表明，多媒体资源能否以“一等公民”身份进入语义网或数据网不仅关乎多媒体标注领域，同时也关乎相关Web基础设施的进一步完善升级。事实上，万维网联盟(W3C)作为Web基础设施规范与技术标准的制订者，一直在这方面不断地努力着。W3C最先于2005年启动了“语义网上多媒体标注(MultimediaAnnotation on the Semantic Web)”特别行动组,2008年又正式成立了 “Web视频行动计划(Video in the Web Activity)” (参见 http://www.w3.0rg/2008/WebVideo/),该行动计划下的“媒体标注工作组(Media Annotations Working Group)”(参见 http://www.w3.0rg/2008/WebVideo/Annotations/)已于2012年2月9日颁布了《媒体资源本体1.0标准》(Ontology for Media Resources 1.0),该标准定义了一个通用的多媒体标注本体(简称“MA本体”,其名空间是http://www.w3.0rg/ns/ma-ont#,名空间前缀为ma:),其中的类和属性可用于语义描述多媒体资源；该行动计划下的“媒体片段工作组(Media FragmentsWorking Group)(参见 http://www.w3.0rg/2008/WebVideo/Fragments/)已于 2012 年 9 月25日颁布了《媒体片段URI1.0 (基本)标准》(Media Fragments URIl.0 (basic))，该标准规定了基于统一资源标识符(URI)来唯一标识Web媒体片段的技术规范。
[0007]另一方面，W3C发动的语义网上关联数据(Linked Data)运动及其产生的巨大影响也激发了多媒体标注界的灵感。一些学者提议将关联数据原理运用到Web多媒体标注，于是产生了所谓的关联标注数据(linked annotation data)方法(本文称为“第四类标注 方法”)(参见“Li Y，Wald M, Wills G.Applying LinkedData in multimedia annotations [J].1nternational Journal of SemanticComputing, 2012,6(3):289-313.，，)的概念——使用语义网数据资源(即URI标识的Web资源，包括多媒体资源)来标注多媒体资源，并将标注数据也以关联数据的方式进行发布。这将使多媒体标注数据成为Web公共可访问的“一等公民”，并且与全球数据空间中的其他Web数据资源建立“关联”，最终形成多媒体资源及其标注数据的全球开放共享网络。显然，要构造这样一个全球开放共享网络，必须使用一个公共的、可扩展的、具有互操作性的标注框架和数据模型。于是，Web开放标注(Open Annotation)的新思想于近期逐步形成。
[0008]开放标注(Open Annotation)技术规范是由W3C团体与业务组(W3C Communityand Business Groups)之一的开放标注团体(Open Annotation Community Group, OACG)(参见 http://www.w3.0rg/community/openannotation/)于 2012 ~2013 年期间制定的。
该技术规范是在综合了稍早前的两个相关提案-开放标注协作模型(Open Annotation
Collaboration model, OAC)提案(参见 “Haslhofer B, Simon R, Sanderson R, SompelH.The Open Annotation Collaboration(OAC)model[C].Proceedings of201lfforkshopon Multimedia on the Web(MMWeb2011), IEEE Computer Society,2011:5-9.? 和标注本体(Annotation Ontology, AO)提案(参见 “Ciccarese P, Ocana M, Castro LJG, DasS，Clark T.An open annotation ontology for science on web3.0[J].Journal ofBiomedical Semantics, 2011, 2 (Suppl 2):S4.http://www.jbiomedsem.com/content/pdf72041-1480-2-S2-S4.pdf.”)的基础上进一步发展而来的一种Web资源标注新思想。W3C的目标是开发一个“公共的、基于RDF的数字资源标注规范”，并于2013年2月颁布了《开放标注数据模型规范》(Open Annotation Data Model)第2版草案(参见“Sanderson R, Ciccarese P, Van de Sompel H(Eds).0pen Annotation Data Model[S/0L].W3C Community Draft,8 Feb 2013.http://www.0penannotation.0rg/spec/core/20130208/index, html.，，)(简称OA数据模型)，以寻求全球的反馈与实现验证；当前，W3C开放标注(OA)数据模型已成为一种标准、通用的Web资源标注模型(参见“CiccareseP, Soiland-Reyes S，Clark T.Web annotation as a first-class object.1EEE InternetComputing, November/December2013, 17(6):71-75.”)。基于 W3C 的 OA 数据模型，形成了一种标准、通用、可扩充的Web资源(包括多媒体资源)开放标注方法(本文称为“第五类标注方法”)。
[0009]OA数据模型是一个基于RDF的可扩充标注模型，包括一个核心模型(Core Model)和若干个扩充模块。OA数据模型中定义了一个称为开放标注本体(Open Annotationontology)(简称OA本体)的OWL本体,其名空间是http://www.w3.0rg/ns/oa#,名空间前缀为oa:，该本体中定义的类和属性用于语义上描述Web资源(包括多媒体资源)。OA数据模型把一个标注(annotation)看作是一个(或多个)标注体(body)资源与一个(或多个)标注对象(target)资源之间的一种关联。其中，标注是oa:Annotation类的实例，是一个由HTTP URI标识的资源(如:RDF文档);标注体和标注对象分别是定义在oa: Annotation类上的对象属性oa:hasBody和oa:hasTarget的值，可以是任何媒体类型/内容格式的Web资源(如:文本，图片，音频，视频资源)，一般也由HTTP URI标识(除非它们被嵌入到标注中或用不可解析的URN来标识)。一个标注、标注体或标注对象可进一步用OA本体词汇或其他Web本体的词汇进行描述,例如使用Provenance Ontology (名空间前缀为prov: )、DublinCore Type Vocabulary (名空间前缀为 dctypes: )、Friend-of-a-Friend Vocabulary (名空间前缀为foaf:)等；对多媒体(片段)资源还可用多媒体标注本体(即MA本体)的词汇来描述。这样，标注、标注体和标注对象构成了一个关于标注的RDF图(即RDF三元组集)，称为标注图(Annotation graph)。由于标注图中的资源可以是任何URI标识资源，因此，标注数据作为一种具有特定语法和语义的RDF数据可按关联数据(Linked Data)方式以RDF图的序列化格式(serialization format)(如RDF/XML、JSON-LD等语法格式)进行Web发布，从而形成Web资源(包括多媒体资源)及其标注数据的全球开放共享网络。这就是开放标注与以往传统标注的本质区别和巨大优势所在。
[0010]从以上【背景技术】的简要介绍中不难看出以下两点:(1)开放标注的实施者即标注生产者(producer)使用标注器(工具)按照OA数据模型产生Web多媒体资源开放标注的序列化格式数据的过程中，需要一种方法及装置来直观形象地显示开放标注的序列化格式数据，以便标注生产者能有效地生成、察看、修改与维护标注数据；(2)开放标注的用户即标注消费者(consumer)也需要一种方法及装置来直观形象地显示开放标注的序列化格式数据，以便标注消费者能有效地浏览、察看、理解、分析与复用标注数据。因此，Web多媒体资源开放标注数据的可视化(visualization)方法及装置是有效实施新近颁布的W3C《开放标注数据模型规范》的关键。
[0011]所谓数据可视化(datavisualization)(参见 http://en.wikipedia.0rg/wiki/Data_visualization)就是创建数据的直观视觉表示(visual representation),以便用特定的示意图形式来形象地表现具有特定模型、语法与语义的信息。按OA数据模型生成的Web多媒体资源开放标注数据(一种特定RDF图的序列化格式)具有特定的结构、语法与语义，这种数据既不同于一般的基于RDF数据模型的关联数据，也不同于传统的标注数据。W3C的《开放标注数据模型规范》中不仅规定了开放标注数据的模型、语法与语义，而且还约定了各种标注数据元素的图形符号。由于《开放标注数据模型规范》刚刚颁布，而且W3C相关工作组的《媒体资源本体1.0标准》与《媒体片段URI1.0 (基本)标准》也是最近才颁布，因此，目前尚不存在Web多媒体资源开放标注数据的可视化方法及装置。这个结论可通过对以下几类现有技术的分析与论述中进一步得到证实。
[0012](一)在多媒体资源(语义)标注数据的可视化方面:
[0013]这类数据可视化属于前述的基于元数据标准的多媒体标注方法(即第一类标注方法)、基于Web2.0社交软件的多媒体标注方法(即第二类标注方法)、基于本体的多媒体语义标注方法(即第三类标注方法)所涉及的标注数据可视化。
[0014]Dasiopoulou等人在一篇关于图像与视频语义标注工具的技术现状综述报告(参见“Dasiopoulou S，Giannakidou E, Litos G, Malasioti P, Kompatsiaris Y.A surveyof semantic image and video annotation tools[M].Paliouras G, Spyropoulos CD,Tsatsaronis G (Eds.).Knowledge-Driven Multimedia Information Extraction andOntology Evolution, Lecture Notes in Computer Science Vol.6050, Springer, 2011:196-239.”)中汇总、分析与评价了 7个图像标注工具和7个视频标注工具，这些早期的多媒体资源(语义)标注数据工具中有部分工具具备了对标注数据的可视化功能，但是它们没有完整地可视化标注数据元素之间的全部关系，更重要的是，相应的标注方法采用各自专用的标注数据模型，没有采用W3C新近颁布的开放标注数据模型，也就是说，它们无法对Web多媒体资源开放标注数据进行可视化。
[0015](二)在关联(标注)数据的可视化方面:
[0016]这类数据可视化属于一般的关联数据可视化以及前述的关联标注数据方法(即第四类标注方法)所涉及的标注数据可视化。
[0017]Dadzie与Rowe在一篇关于关联数据可视化方法的技术现状综述报告(参见“Dadzie A~S, Rowe M.Approaches to visualising Linked Data:A survey[J].SemanticWeb, 2011,2(2):89-124.”)中分析评价了大量现有的关联数据浏览器(LD browser)，其中8个浏览器具有关联数据的直观视觉表示(visual representation)功能；该综述报告指出了现有关联数据可视化技术的不足，提出了适合普通Web用户的、具有低技术门槛的关联数据可视化的技术需求与设计要求。然而，该综述报告中列举的所有可视化方法与工具均无法实现Web多媒体资源开放标注数据的可视化。
[0018]Brunetti等人设计了一种简单抽象的关联数据可视化模型LDVM (参见“Brunetti J M, Auer S，Garcia R.The I inked data visualization model[C].Proceedings of the ISffC 2012 Posters & Demonstrations Track, CEUR WorkshopProceedings,Vol.914,CEUR-ffS.0rg, 0ctober2012, http://ceur-ws.0rg/Vol-914/paper_29.pdf.”),允许用户用可视化方式动态连接数据。但是，LDVM可视化模型的缺陷在于它并不是针对Web多媒体资源开放标注数据的可视化，而且也未给出可视化模型与工具的具体实现方法。
[0019]如前所述，开放标注思想是在综合了稍早前的OAC模型提案和AO本体提案的基础上进一步发展而来的一种新思想。根据Haslhofer等人最新公开发表的相关综述报告(参见“Haslhofer H, Sanderson R, Simon R, Sompel H.0pen annotations onmultimedia Web resources[J].Multimedia Tools and Applications:An InternationalJournal, published online 05 May 2012, Springer, DOI 10.1007/sll042-012-1098-9.http://link.springer, com/article/10.1007/sll042-012-1098_9.，，),截止该综述报告发表时还没有使用OA数据模型进行多媒体标注的原型实现，但已有少量研究尝试基于关联标注数据方法,使用OAC模型和AO本体进行多媒体标注。这类工作列举如下:
[0020]Simon等人公开了其研发的YUMA标注框架(参见“Simon R, Jung J, Haslhofer
B.The YUMA media annotation framework[C].Proceedings of InternationalConference on Theory and Practice of Digital Libraries(TPDL 2011), LectureNotes in Computer Science Vol.6966，Springer, 2011:434-437.，，)，YUMA 标注框架采用OAC模型，尝试运用关联数据原理对数字图书馆门户网站中的媒体资源进行协作式标注。Li等人公开了其研发的Synote标注框架(参见“Li Y, Wald M, Wills
C.Applying Linked Data in multimedia annotations[J].1nternational Journal ofSemantic Computing, 2012，6(3):289-313” 以及“Li Y, Wald M, Omitola T, ShadboltN, Wills G.Synote:weaving media fragments and Linked Data[C].Proceedings ofInternational Workshop on Linked Data on the Web(LDOff 2012), CEUR WorkshopProceedings, Vol.937, CEUR-ffS.0rg, Apri I 2012.http: //ceur-ws.0rg/Vol-937/Idow2012-paper-01.pdf.，，), Synote标注框架采用OAC模型对Web2.0视听资源(如YouTube视频)进行标注，主要思想是将视听资源连接到Web本体词汇、主题词表、LinkedData云。然而，以上两个标注框架的共同不足在于:(I)它们采用的是OAC模型，而不是W3C的OA数据模型，因此，既不能产生Web多媒体资源的开放标注数据，更无法对开放标注数据进行可视化；(2)以上两个文献中展示的OAC模型数据图是论文写作时手工绘制的示意图，并不是标注框架自动生成的可视化图。
[0021]Ciccarese等人公开了一种使用AO本体对科学文献进行标注的D0ME0工具(参 见“Ciccarese P, Ocana M, Clark T.0pen semantic annotation of scientificpublications using D0ME0[J].Journal of Biomedical Semantics, 2012，3(Suppll):S1.http://www.jbiomedsem.com/content/pdf/2041-1480-3-Sl-Sl.pdf.，，)，然而，D0ME0 工具既无法产生又无法可视化Web多媒体资源的开放标注数据。
[0022](三)在多媒体资源开放标注数据的可视化方面:
[0023]这类数据可视化属于前述的Web资源(包括多媒体资源)开放标注方法(即第五类标注方法)所涉及的标注数据可视化。
[0024]Hunter和Gerber于2012年8月在国际学术期刊《未来互联网》上发表的论文(参见“Hunter J, Gerber A.Towards Annotopia-Enabling the Semantic Interoperabilityof Web-Based Annotations [J].Future Internet, August 2012, 4(3):788-8064.”)中描述并用案例评价了 OA数据模型的Web开放标注表达力，同时展示了用来存储、搜索、检索标注数据的原型实现方案。但是，该原型实现存在以下不足:(1)标注客户端被假定可创建、搜索和浏览标注数据，但对标注数据的可视化并未给出具体实现方法与手段；(2)论文中展示的基于OA数据模型的标注图是论文写作时手工绘制的示意图，并不是标注工具自动生成的可视化图。
[0025]对以上【背景技术】及现有相关技术进行综合分析后，不难得出如下最终结论:目前，该领域现有技术中尚不存在对遵循W3C《开放标注数据模型规范》的Web多媒体资源开放标注数据进行可视化的方法及装置。
【发明内容】
[0026]本发明要解决的技术问题是，为了填补现有技术中未提供对Web多媒体资源开放标注数据进行可视化的解决方案的空白，按照W3C的《开放标注数据模型规范》中规定的开放标注(OA)数据的模型、语法与语义以及约定的各种标注数据元素的图形符号，提供一种Web多媒体资源开放标注数据的可视化方法及装置，以便能够为标注技术的生产者与消费者提供一种Web多媒体资源开放标注数据的直观视觉表示。
[0027]为了解决以上技术问题，本发明提供了 Web多媒体资源开放标注数据的可视化方
法及装置。
[0028]根据本发明的一个方面，提供了一种Web多媒体资源开放标注数据的可视化方法，包括如下步骤:从数据源获取Web多媒体资源开放标注的序列化格式数据；将序列化格式数据解析成资源描述框架(RDF)三元组集；将所述RDF三元组集按照开放标注数据模型的语义变换成图形抽象数据结构；将所述图形抽象数据结构映射成与特定屏幕可视化技术相匹配的具体图示数据；基于所述具体图示数据在屏幕视图区域中显示可视化图，并响应用户对可视化图的鼠标操纵。
[0029]进一步地，所述将RDF三元组集按照开放标注数据模型的语义变换成图形抽象数据结构，可以包括:按W3C的《开放标注数据模型规范》中对各种标注数据元素的图形符号规定进行如下任意一种变换:将RDF实例变换成彩色椭圆抽象数据结构，其中，由可解析URI标识的RDF实例的彩色椭圆用单线边框表示，由不可解析URN标识的RDF实例或RDF空白结点的彩色椭圆用双线边框表示JfRDF类变换成白色矩形抽象数据结构JfRDF字面量变换成白色圆角矩形抽象数据结构JfRDF谓词变换成黑色实心箭头线抽象数据结构；将RDF类实例化变换成黑色空心箭头线抽象数据结构。
[0030]进一步地，所述基于具体图示数据在屏幕视图区域中显示可视化图，并响应用户对可视化图的鼠标操纵，可以包括:基于屏幕可视化的具体图示数据，在屏幕视图区域中显示可视化图；响应用户对已显示的可视化图的鼠标操纵，具体包括如下任意一种鼠标操纵的响应:当鼠标操纵移动和缩放可视化图时，在屏幕视图区域中移动和缩放该可视化图；当鼠标点击可视化图中媒体资源实例结点时，在Web浏览器中播放或显示该媒体资源；当鼠标点击可视化图中由可解析URI标识的文本实例结点时，在Web浏览器中打开该URI标识的文本文件。
[0031]根据本发明的另一个方面，提供了一种Web多媒体资源开放标注数据的可视化装置，包括:数据获取模块，用于从数据源获取Web多媒体资源开放标注的序列化格式数据；数据解析模块，用于将序列化格式数据解析成资源描述框架(RDF)三元组集；数据变换模块，用于将RDF三元组集按照开放标注数据模型的语义变换成图形抽象数据结构；具体化映射模块，用于将图形抽象数据结构映射成与特定屏幕可视化技术相匹配的具体图示数据；屏幕图示及用户操纵响应模块，用于基于具体图示数据在屏幕视图区域中显示可视化图，并响应用户对可视化图的鼠标操纵。
[0032]进一步地，所述数据变换模块，可以包括:按W3C的《开放标注数据模型规范》中对各种标注数据元素的图形符号规定进行如下任意一种变换:将RDF实例变换成彩色椭圆抽象数据结构，其中，由可解析URI标识的RDF实例的彩色椭圆用单线边框表示，由不可解析URN标识的RDF实例或RDF空白结点的彩色椭圆用双线边框表示；将RDF类变换成白色矩形抽象数据结构；将RDF字面量变换成白色圆角矩形抽象数据结构；将RDF谓词变换成黑色实心箭头线抽象数据结构；将RDF类实例化变换成黑色空心箭头线抽象数据结构。
[0033]进一步地，所述屏幕图示及用户操纵响应模块，可以包括:屏幕图示单元，用于基于屏幕可视化的具体图示数据，在屏幕视图区域中显示可视化图；用户操纵响应单元，用于响应用户对已显示的可视化图的鼠标操纵。
[0034]进一步地，所述用户操纵响应单元，可以包括:响应用户对已显示的可视化图的鼠标操纵，具体包括如下任意一种鼠标操纵的响应:当鼠标操纵移动和缩放可视化图时，在屏幕视图区域中移动和缩放该可视化图；当鼠标点击可视化图中媒体资源实例结点时，在Web浏览器中播放或显示该媒体资源；当鼠标点击可视化图中由可解析URI标识的文本实例结点时，在Web浏览器中打开该URI标识的文本文件。
[0035]本发明提供的Web多媒体资源开放标注数据的可视化方法及装置填补了现有技术的空白，本发明技术方案能按W3C的《开放标注数据模型规范》中规定的开放标注(OA)数据的模型、语法与语义以及约定的各种标注数据元素的图形符号，为标注生产者与标注消费者提供一种Web多媒体资源开放标注数据的直观视觉表示，以便标注生产者能借助该直观视觉表示来有效地生成、察看、修改与维护标注数据，标注消费者也能借助该直观视觉表示来有效地浏览、察看、理解、分析与复用标注数据，从而为有效实施W3C《开放标注数据模型规范》奠定基础。
[0036]本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
【专利附图】
【附图说明】
[0037]图1示出了根据本发明技术方案的Web多媒体资源开放标注数据的可视化方法的流程示意图；
[0038]图2示出了根据本发明技术方案的Web多媒体资源开放标注的实例数据在Web浏览器中打开的截屏图；
[0039]图3示出了根据本发明技术方案的Web多媒体资源开放标注数据的可视化方法及装置对实例标注数据的可视化示意图；
[0040]图4示出了根据本发明技术方案的Web多媒体资源开放标注数据的可视化方法及装置对实例标注数据的可视化图的用户操纵响应示意图；
[0041]图5示出了根据本发明技术方案的Web多媒体资源开放标注数据的可视化装置的模块结构图；
[0042]图6示出了根据本发明技术方案的Web多媒体资源开放标注数据的可视化装置的一种典型的体系结构实现方案示意图。
【具体实施方式】
[0043]下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0044]本【技术领域】技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
[0045]本【技术领域】技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
[0046]下面结合附图对本发明的【具体实施方式】作进一步说明。
[0047]本发明实施例提供一种Web多媒体资源开放标注数据的可视化方法，本实施例的Web浏览器选用微软的Internet Explorer 11浏览器。图1示出了根据本发明技术方案的Web多媒体资源开放标注数据的可视化方法的流程示意图，如图1所示，该方法包括如下步骤:
[0048]步骤S1:从数据源获取Web多媒体资源开放标注的序列化格式数据，具体包括:
[0049]本实施例以一个用RDF/XML格式(一种典型的序列化格式)表不并发布在Web上的开放标注数据的 RDF 文档(参见 http://dbws.hhu.edu.cn/oamm/anno tat i on/anno 1.rdf )作为Web多媒体资源开放标注的实例数据(序列化格式),该开放标注的实例数据中主要包括以下多媒体标注:用2008年奥运会主题曲《You and Me))的网页和视频文件来标注2008年奥运会主题曲的演唱者图片。图2示出了根据本发明技术方案的Web多媒体资源开放标注的实例数据在Web浏览器中打开的截屏图。如图2所示,在Internet Explorer 11浏览器中打开了上述开放标注实例数据的RDF文档(RDF/XML格式)。
[0050]本步骤从以上数据源获取Web多媒体资源开放标注的序列化格式数据。
[0051]步骤S2:将序列化格式数据解析成资源描述框架(RDF)三元组集，具体包括:
[0052]本实施例借助开源语义网应用开发Java框架Apache Jena中的核心RDF API (参见 http: //jena.apache, org/documentation/rdf/index, html)将已获取的序列化格式数据解析成RDF三元组集，其中，每一个RDF三元组形如(〈主语 >，< 谓语 >，< 宾语 >)，例如:
[0053].(http://dbws.hhu.edu.cn / oamm / annotation / annol.rdf, rdf: type, oa:Annotation)[0054].(http://dbws.hhu.edu.cn / oamm / annotation / annol.rdf, oa:serializedBy, agentl)
[0055].(agentl，foaf:name，" Oamm v0.5")
[0056]步骤S3:将RDF三元组集按照开放标注数据模型的语义变换成图形抽象数据结构，具体包括:
[0057]按W3C的《开放标注数据模型规范》中对各种标注数据元素的图形符号规定进行如下任意一种变换:
[0058](I)将RDF实例变换成彩色椭圆抽象数据结构，其中，由可解析URI标识的RDF实例的彩色椭圆用单线边框表示，由不可解析URN标识的RDF实例或RDF空白结点的彩色椭圆用双线边框(注:本例中没有)表示；
[0059]针对上述开放标注实例数据的所有RDF实例如下:
[0060].http://dbws.hhu.edu.cn/oamm/annotation/annol.rdf
[0061].2008Summer01ympicsThemeSong
[0062].http://dbpedia.0rg/page/You—and—Me—(Olympic—theme—song)
[0063].http://boonage.pjss2.net/images/content/olympic-lh_sb.jpg
[0064].http://files.beijing2008.cn/20080808/Theme_Song/youandmemv.wmv
[0065].http://boonage.pjss2.net/
[0066].0a: tagging
[0067].personl
[0068].agentl
[0069]彩色椭圆抽象数据结构定义具体如下:开放标注实例数据中的以上所有RDF实例均是Java类ColoredEllipses的对象，此Java类定义如下:
[0070]
【权利要求】
1.一种Web多媒体资源开放标注数据的可视化方法，其特征在于，包括如下步骤: 从数据源获取Web多媒体资源开放标注的序列化格式数据； 将序列化格式数据解析成资源描述框架RDF三元组集； 将所述RDF三元组集按照开放标注数据模型的语义变换成图形抽象数据结构； 将所述图形抽象数据结构映射成与特定屏幕可视化技术相匹配的具体图示数据；基于所述具体图示数据在屏幕视图区域中显示可视化图，并响应用户对可视化图的鼠标操纵。
2.根据权利要求1所述的Web多媒体资源开放标注数据的可视化方法，其特征在于，所述将RDF三元组集按照开放标注数据模型的语义变换成图形抽象数据结构，进一步包括: 按W3C的《开放标注数据模型规范》中对各种标注数据元素的图形符号规定进行如下任意一种变换: 将RDF实例变换成彩色椭圆抽象数据结构，其中，由可解析URI标识的RDF实例的彩色椭圆用单线边框表示，由不可解析URN标识的RDF实例或RDF空白结点的彩色椭圆用双线边框表示； 将RDF类变换成白色矩形抽象数据结构； 将RDF字面量变换成白色圆角矩形抽象数据结构； 将RDF谓词变换成黑色实心箭头线抽象数据结构； 将RDF类实例化变换成黑色空心箭头线抽象数据结构。
3.根据权利要求1所述的Web多媒体资源开放标注数据的可视化方法，其特征在于，所述基于具体图示数据在屏幕视图区域中显示可视化图，并响应用户对可视化图的鼠标操纵，进一步包括: 基于屏幕可视化的具体图示数据，在屏幕视图区域中显示可视化图； 响应用户对已显示的可视化图的鼠标操纵，具体包括如下任意一种鼠标操纵的响应: 当鼠标操纵移动和缩放可视化图时，在屏幕视图区域中移动和缩放该可视化图； 当鼠标点击可视化图中媒体资源实例结点时，在Web浏览器中播放或显示该媒体资源； 当鼠标点击可视化图中由可解析URI标识的文本实例结点时，在Web浏览器中打开该URI标识的文本文件。
4.一种Web多媒体资源开放标注数据的可视化装置，其特征在于，包括: 数据获取模块，用于从数据源获取Web多媒体资源开放标注的序列化格式数据； 数据解析模块，用于将序列化格式数据解析成资源描述框架(RDF)三元组集； 数据变换模块，用于将RDF三元组集按照开放标注数据模型的语义变换成图形抽象数据结构； 具体化映射模块，用于将图形抽象数据结构映射成与特定屏幕可视化技术相匹配的具体图示数据； 屏幕图示及用户操纵响应模块，用于基于具体图示数据在屏幕视图区域中显示可视化图，并响应用户对可视化图的鼠标操纵。
5.根据权利要求4所述的Web多媒体资源开放标注数据的可视化装置，其特征在于，所述数据变换模块，进一步包括:按W3C的《开放标注数据模型规范》中对各种标注数据元素的图形符号规定进行如下任意一种变换: 将RDF实例变换成彩色椭圆抽象数据结构，其中，由可解析URI标识的RDF实例的彩色椭圆用单线边框表示，由不可解析URN标识的RDF实例或RDF空白结点的彩色椭圆用双线边框表示； 将RDF类变换成白色矩形抽象数据结构； 将RDF字面量变换成白色圆角矩形抽象数据结构； 将RDF谓词变换成黑色实心箭头线抽象数据结构； 将RDF类实例化变换成黑色空心箭头线抽象数据结构。
6.根据权利要求4所述的Web多媒体资源开放标注数据的可视化装置，其特征在于，所述屏幕图示及用户操纵响应模块，进一步包括: 屏幕图示单元，用于基于屏幕可视化的具体图示数据，在屏幕视图区域中显示可视化图； 用户操纵响应单元，用于响应用户对已显示的可视化图的鼠标操纵。
7.根据权利要求6所述的Web多媒体资源开放标注数据的可视化装置，其特征在于，所述用户操纵响应单元，进一步包括: 响应用户对已显示的可视化图的鼠标操纵，具体包括如下任意一种鼠标操纵的响应: 当鼠标操纵移动和缩放可视化图时，在屏幕视图区域中移动和缩放该可视化图； 当鼠标点击可视化图中媒体资源实例结点时，在Web浏览器中播放或显示该媒体资源； 当鼠标点击可视化图 中由可解析URI标识的文本实例结点时，在Web浏览器中打开该URI标识的文本文件。
【文档编号】G06F17/30GK103970820SQ201410030039
【公开日】2014年8月6日 申请日期:2014年1月23日 优先权日:2014年1月23日
【发明者】许卓明, 倪立显, 吴婷, 倪玉燕, 庾昊, 邓银成 申请人:河海大学