基于OID点读内容转换为绘本指读内容的方法及装置与流程

本发明涉及人工智能领域，具体地说，涉及一种基于oid点读内容转换为绘本指读内容的方法及装置。

背景技术：

随着科学技术的不断发展，oid点读技术获得了长足的发展，现在市场中涌现了很多针对儿童的oid点读印刷物，一般配合点读笔使用。在进行点读时，可以通过点读笔，识别隐藏在印刷物中的oid编码，播放与oid编码对应的点读数据。

但是，oid编码的数量是有限的，目前来说，只有6万多个不同的编码，大大制约了其内容丰富性的发展，oid编码无法为所有的印刷物做唯一的编码。

因此，本发明提供了一种基于oid点读内容转换为绘本指读内容的方法及装置。

技术实现要素：

为解决上述问题，本发明提供了一种基于oid点读内容转换为绘本指读内容的方法，所述方法包含以下步骤：

读取所述oid点读印刷物的分辨率信息，导入所述oid点读印刷物中包含的点读数据；

基于所述oid点读印刷物，建立与所述oid点读印刷物对应的位置坐标系；

确定所述oid点读印刷物中点读识别区域在所述位置坐标系中的位置信息，将所述位置信息转换为对应的像素坐标位置；

记录并导出所述oid点读印刷物中每一页点读识别区域所对应的像素坐标位置，与所述点读数据进行绑定后得到所述oid点读印刷物中的点读热区位置，以完成内容转换过程。

根据本发明的一个实施例，所述点读数据与所述oid点读印刷物中的点读识别区域一一对应，其中，所述点读数据包含语音数据。

根据本发明的一个实施例，扫描并确定所述oid点读印刷物的边界，基于所述oid点读印刷物的边界，建立包含x、y轴的所述位置坐标系。

根据本发明的一个实施例，识别所述oid点读印刷物中的点读识别区域，将识别到的点读识别区域带入包含x、y轴的所述位置坐标系，得到所述位置信息，其中，所述位置信息包含所述点读识别区域的顶点位置坐标。

根据本发明的一个实施例，基于所述分辨率信息，确定所述顶点位置坐标对应的所述像素坐标位置。

根据本发明的一个实施例，其特征在于，在进行用户手指指读时，扫描所述oid点读印刷物，读取当前页面中的所述点读热区位置，播放与所述点读热区位置绑定的所述点读数据。

根据本发明的一个实施例，在进行用户手指指读前，还包含以下步骤：

获取当前用户的身份特征信息，对当前用户的用户属性进行判断，确定当前用户的类别，其中，用户的类别包含：儿童用户

根据本发明的另一个方面，还提供了一种程序产品，其包含用于执行如上任一项所述的方法步骤的一系列指令。

根据本发明的另一个方面，还提供了一种基于oid点读印刷物的内容转换与指读装置，所述装置包含：

第一模块，其用于读取所述oid点读印刷物的分辨率信息，导入所述oid点读印刷物中包含的点读数据；

第二模块，其用于基于所述oid点读印刷物，建立与所述oid点读印刷物对应的位置坐标系；

第三模块，其用于确定所述oid点读印刷物中点读识别区域在所述位置坐标系中的位置信息，将所述位置信息转换为对应的像素坐标位置；

第四模块，其用于记录并导出所述oid点读印刷物中每一页点读识别区域所对应的像素坐标位置，与所述点读数据进行绑定后得到所述oid点读印刷物中的点读热区位置，以完成内容转换过程。

根据本发明的另一个方面，还提供了一种儿童专用智能设备，用于基于如上任一项所述的完成内容转换过程的所述oid点读印刷物支持用户进行手指指读。

本发明提供的基于oid点读内容转换为绘本指读内容的方法及装置能够在现有oid点读印刷物的基础上将使用oid点读笔才能够阅读的内容转换为能够通过手指指读方式的就能够阅读的内容，克服了oid编码空间只有有限点的缺陷，可以为所有图书做手指指读支持，并且，由于使用现有的oid点读印刷物，降低了内容制作的成本，还能够支持儿童进行手指指读阅读。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1显示了根据本发明的一个实施例的基于oid点读内容转换为绘本指读内容的方法流程图；

图2显示了根据本发明的另一个实施例的基于oid点读内容转换为绘本指读内容的方法流程图；

图3显示了根据本发明的一个实施例的基于oid点读印刷物的内容转换与指读装置结构框图；

图4显示了根据本发明的一个实施例的儿童专用智能设备结构框图；

图5显示了根据本发明的一个实施例的基于oid点读内容转换为绘本指读内容的方法的指读示意图；

图6显示了根据本发明的一个实施例的用户、儿童专用智能设备以及云端的三方通信示意图；以及

图7显示了根据本发明的一个实施例的基于oid点读内容转换为绘本指读内容的方法中进行指读时的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。

为表述清晰，需要在实施例前进行如下说明：

本发明提到的儿童专用智能设备支持多模态人机交互，具备自然语言理解、视觉感知、语言语音输出、情感表情动作输出等ai能力；可配置社会属性、人格属性、人物技能等，使用户享受智能化及个性化流畅体验。在具体的实施例中，儿童专用智能设备特指绘本伴读智能设备，可以是绘本机器人、儿童(可伴读)手表、智能平板等。

儿童专用智能设备获取用户的多模态数据(包含指读指令)，在云端的能力支持下，对多模态数据进行语义理解、视觉识别、认知计算、情感计算，以完成决策输出的过程。

所提到的云端为提供所述儿童专用智能设备对用户的交互需求(包含手指指读意愿)进行语义理解(语言语义理解、动作语义理解、视觉识别、情感计算、认知计算)的处理能力的终端，实现与用户的交互，以决策所述儿童专用智能设备输出多模态数据(包含点读数据)。

下面结合附图对本发明的各个实施例进行详细描述。

现有技术中，存在针对oid点读识别方法的oid点读印刷物，oid点读印刷物在印刷时，需要将点读识别区域隐藏印刷在内容之下，在进行点读笔点读时，点读笔能够识别隐藏印刷的点读识别区域。

在实际的使用中，需要通过点读笔划过或指向oid点读印刷物中的内容，在点读笔指到点读识别区域时，点读笔会识别与点读识别区域一一对应的点读数据，然后播放出来。

但是，oid编码技术本身的局限，限制了其进一步地发展。oid(objectidentifier，对象标识符又称为物联网域名)，oid-info系统负责提供全球oid注册管理情况，目前全球oid根注册系统由法国电信公司维护。截止到目前，国际oid数据库中已有643087个顶层的oid标识符进行注册，涉及物流、信息安全、rfid、3gpp、生物识别、网络管理和医疗影像等领域。相应的oid解析系统研发工作也在顺利进行中，根解析机构由韩国维护，实现了oid根目录、oid(2.27：id-based)弧解析等解析服务功能。

可知，oid编码空间只有6万个点，远远无法为所有书籍做唯一的编码，也就无法使用一个设备来阅读所有的书籍。

图1显示了根据本发明的一个实施例的基于oid点读内容转换为绘本指读内容的方法流程图。

如图1，在步骤s101中，读取oid点读印刷物的分辨率信息，导入oid点读印刷物中包含的点读数据。一般来说，点读数据与oid点读印刷物中的点读识别区域一一对应，其中，点读数据包含语音数据。

在一个实施例中，读取oid点读印刷物的分辨率信息，一般来说，oid点读印刷物都包含各自的分辨率信息，分辨率信息可以通过水平像素数×垂直像素数或图像大小或图像尺寸来表示。

一般来说，点读数据包含语音数据，举例来说，点读数据可以是故事书中某一点读识别区域对应的语音故事数据(小蝌蚪找妈妈语音数据)。

如图1，在步骤s102中，基于oid点读印刷物，建立与oid点读印刷物对应的位置坐标系。具体来说，可以通过图2中的步骤s201建立位置坐标系。在步骤s201中，扫描并确定oid点读印刷物的边界，基于oid点读印刷物的边界，建立包含x、y轴的位置坐标系。

一般来说，市面上的书籍都是矩形形状，可以通过横纵坐标轴来标定书籍中的具体位置，其他能够标定书籍的位置坐标系也能够应用到本发明的实施例中，本发明不对此作出限制。

具体来说，可以将书籍的水平面作为x轴，竖直面作为y轴，书籍翻转轴的底点作为中点。这样一来，书籍中的所有位置都可以通过[x，y]，x包含[-∞，+∞]，y包含[0，+∞]的位置坐标进行表示。

如图1，在步骤s103中，确定oid点读印刷物中点读识别区域在位置坐标系中的位置信息，将位置信息转换为对应的像素坐标位置。具体来说，可以通过点读笔来确定点读印刷物中的点读识别区域，然后标定其在坐标系中的位置信息。

在一个实施例中，可以通过图2中的步骤s202-s203来将位置信息转换为对应的像素坐标位置，在步骤s202中，识别oid点读印刷物中的点读识别区域，将识别到的点读识别区域带入包含x、y轴的坐标位置系，得到位置信息，其中，位置信息包含点读识别区域的顶点位置坐标。

具体来说，点读识别区域一般为矩形，具备四个顶点，需要首先识别点读识别区域的范围，然后确定点读识别区域的四个顶点在坐标系中的位置信息，这样就可以完成对点读识别区域的标定。

在步骤s203中，基于分辨率信息，确定顶点位置坐标对应的像素坐标位置。具体来说，像素信息是oid点读印刷物本身自带的属性，需要将建立的坐标系位置信息转换为像素坐标位置，以便在之后的识别中更加可靠、精确以及迅速。

如图1，在步骤s104中，记录并导出oid点读印刷物中每一页点读识别区域所对应的像素坐标位置，与点读数据进行绑定后得到oid点读印刷物中的点读热区位置，以完成内容转换过程。在本步骤中，需要记录整个点读印刷物的点读识别区域所对应的像素坐标位置，并与点读数据进行绑定，完成内容转换过程。

完成内容转换过程后，就可以在儿童专用智能设备的支持下，通过手指指读的方式，阅读之前只能使用点读笔才能够阅读的印刷物oid点读印刷物(类似书籍、绘本等)。如图2中的步骤s204，在进行用户手指指读时，扫描oid点读印刷物，读取当前页面中的点读热区位置，播放与点读热区位置绑定的点读数据。

在本发明中，儿童专用智能设备上设置有图像采集(扫描)设备，能够采集当前视野下的图像信息。具体来说，儿童专用智能设备上可以设置有摄像头，在用户的指示下进入手指指读阅读后，通过摄像头采集当前的图像信息，当前的图像信息可能是用户正在看的故事书，用户将摄像头对准想要指读的区域，摄像头对故事书进行拍照(扫描)，获取图像信息。

之后，将图像信息进行解析，确定点读热区位置，之后向云端请求与点读热区位置匹配的点读数据，通过儿童专用智能设备进行播放(具体来说，儿童专用智能设备通过喇叭、显示屏等展示点读数据)。另外，点读数据也可以存储在儿童专用智能设备内或本地存储设备内，点读数据的存储位置可以根据实际应用情况进行调整，本发明不对此作出限制。

根据本发明的一个实施例，获取当前用户的身份特征信息，对当前用户的用户属性进行判断，确定当前用户的类别，其中，用户的类别包含：儿童用户。本发明面向的用户群主要是儿童用户，因此需要确定用户的身份属性。判断用户身份的方式是有很多种，一般来说，可以通过面部识别功能或者指纹识别方式来辨别用户的身份。其他能够判断用户身份的方式也可以运用到本发明中来，本发明不对此做出限制。

本发明通过将点读识别的内容转换为手指指读的内容，改进了oid编码方式有限的缺点，在点读数据的支持上，是无限的，可以为所有的图示进行指读支持。另外，在点读内容的基础上进行转换，节省了内容制作的成本。

图3显示了根据本发明的一个实施例的基于oid点读印刷物的内容转换与指读装置结构框图。

如图3所示，装置包含第一模块301、第二模块302、第三模块303以及第四模块304。其中，第一模块301包含读取单元3011以及导入单元3012。第二模块302包含边界单元3021以及坐标系单元3022。第三模块303包含确定单元3031以及转化单元3032。第四模块304包含记录单元3041、导出单元3042以及绑定单元3043。

第一模块301用于读取oid点读印刷物的分辨率信息，导入oid点读印刷物中包含的点读数据。其中，读取单元3011用于读取oid点读印刷物的分辨率信息。导入单元3012用于导入oid点读印刷物中包含的点读数据。

第二模块302用于基于oid点读印刷物，建立与oid点读印刷物对应的位置坐标系。其中，边界单元3021用于确定并框定oid点读印刷物的边界。坐标系单元3022用于基于确定的边界，生成针对oid点读印刷物的坐标系，在一个实施例中，坐标系可以采用包含x、y轴的横纵坐标。

第三模块303用于确定oid点读印刷物中点读识别区域在位置坐标系中的位置信息，将位置信息转换为对应的像素坐标位置。其中，确定单元3031用于确定oid点读印刷物中点读识别区域在位置坐标系中的位置信息。转化单元3032用于将位置信息转换为对应的像素坐标位置。

第四模块304用于记录并导出oid点读印刷物中每一页点读识别区域所对应的像素坐标位置，与点读数据进行绑定后得到oid点读印刷物中的点读热区位置，以完成内容转换过程。其中，记录单元3041用于记录oid点读印刷物中每一页的点读识别区域所对应的像素坐标位置。导出单元3042用于导出记录单元3041记录的oid点读印刷物中每一页的点读识别区域所对应的像素坐标位置。绑定单元3043用于将导出单元3042导出的数据与点读数据进行绑定。

图4显示了根据本发明的一个实施例的儿童专用智能设备结构框图。如图4，儿童专用智能设备400包含信号采集器件401、显示屏402、信号输出器件403以及中央处理器404。

儿童专用智能设备400包括支持视觉、感知、控制等输入输出模块的智能设备，可接入互联网，例如绘本机器人、儿童(可伴读)手表、智能平板等，具备手指指读交互功能，能够接收用户输入的指读指令，在儿童专用智能设备上输出点读数据。

儿童专用智能设备400中可以包含专用于指读交互过程的客户端，客户端可以装载在安卓系统环境下，儿童专用智能设备可以是具备4g、甚至5g通信能力的安卓系统儿童手表等。

信号采集器件401用于获取图像信息以及用户的指令。信号采集器件401的例子包括用于语音操作的麦克风、扫描仪、摄像头、感控设备，如采用可见或不可见波长射线、信号、环境数据等等。可以通过以上提到的输入设备来获取多模态的数据(包含图像信息以及用户的指令)。多模态的数据可以包含文本、音频、视觉以及感知数据中的一种，也可以包含多种，本发明不对此作出限制。

显示屏402可以展示当前用户手指指向的内容(书籍中包含的内容)，也可以在播放内容数据时显示相应的匹配数据(播放故事时相应的插画)。

信号输出器件403用于输出音频数据。信号输出器件403可以是功放和喇叭等能够输出音频数据的设备。信号输出器件403也可以是支持其他类型数据的器件，本发明不对此作出限制。

中央处理器404用于处理进行指读交互过程中产生的数据。所用的处理器可以为数据处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是终端的控制中心，利用各种接口和线路连接整个终端的各个部分。

儿童专用智能设备400中包含存储器，存储器主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据儿童专用智能设备400的使用所创建的数据(比如音频数据、浏览记录等)，也可以存储点读印刷物对应的点读数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

此外，本发明提供的基于oid点读印刷物的内容转换与指读系统还可以配合一种程序产品，其包含用于执行完成基于oid点读内容转换为绘本指读内容的方法步骤的一系列指令。程序产品能够运行计算机指令，计算机指令包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。

程序产品可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。

需要说明的是，程序产品包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，程序产品不包括电载波信号和电信信号。

图5显示了根据本发明的一个实施例的基于oid点读内容转换为绘本指读内容的方法的指读示意图。如图5，显示了一种进行用户手指指读时的示意图，儿童专用智能设备采用儿童专用可伴读手表，oid点读印刷物502为故事书。

如图5，用户501可以通过语音的方式，开启儿童专用智能设备中的专用指读客户端，开始手指指读过程，此时用户可以将手表的摄像头对准故事书，手指在故事书上滑动，手表实时采集当前视角下的图像数据，实时分析其中是否包含点读热区位置，当识别到点读热区位置时，播放与点读热区位置绑定的点读数据。例如，当前点读热区位置绑定的点读数据为故事《乌鸦喝水》，此时，手表就开始通过喇叭播放乌鸦喝水故事，用户可以通过手表上的可触摸虚拟按键来控制故事的暂停与播放。播放乌鸦喝水故事的过程如下：

手表播放：一只乌鸦口渴了，它在低空盘旋着找水喝。找了很久，它才发现不远处有一个水瓶，便高兴地飞了过去，稳稳地停在水瓶口，准备痛快地喝水了。可是，水瓶里水太少了，瓶口又小，瓶颈又长，乌鸦的嘴无论如何也够不着水。这可怎么办呢？

手表播放：乌鸦想，把水瓶撞倒，就可以喝到水了。于是，它从高空往下冲，猛烈撞击水瓶。可是水瓶太重了，乌鸦用尽全身的力气，水瓶仍然纹丝不动。

(此时用户点击“暂停”按钮，手表暂停播放，待用户点击“开始”按钮后，继续播放。)

手表播放：乌鸦一气之下，从不远处叼来一块石子，朝着水瓶砸下去。它本想把水瓶砸坏之后饮水，没想到石子不偏不倚，“扑通”一声正好落进了水瓶里。

手表播放：乌鸦飞下去，看到水瓶一点儿都没破。细心的乌鸦发现，石子沉入瓶底，里面的水好像比原来高了一些。

(此时用户点击“下一个”按钮，手表提示“确定播放下一个？”用户点击“否”按钮，手表继续播放。)

手表播放：“有办法了，这下我能喝到水了。”乌鸦非常高兴，它“哇哇”大叫着开始行动起来。它叼来许多石子，把它们一块一块地投到水瓶里。随着石子的增多，水瓶里的水也一点儿一点儿地慢慢向上升……

手表播放：终于，水瓶里的水快升到瓶口了，而乌鸦总算可以喝到水了。他站在水瓶口，喝着甘甜可口的水，心里是那么痛快、舒畅。

图6显示了根据本发明的一个实施例的用户、儿童专用智能设备以及云端的三方通信示意图。

为了实现儿童专用智能设备400支持用户501进行手指指读，需要用户501、儿童专用智能设备400以及云端601之间建立起通信连接。这种通信连接应该是实时的、通畅的，能够保证交互不受影响的。

为了完成交互，需要具备一些条件或是前提。这些条件或是前提包含，儿童专用智能设备400中具备客户端，并且儿童专用智能设备400具备视觉、感知以及控制功能的硬件设施。

完成前期准备后，儿童专用智能设备400开始与用户501展开交互，首先，儿童专用智能设备400接收用户501输入的指读指令。

指读指令可以是语音数据、视觉数据、触觉数据，还可以是用户按下物理按钮。儿童专用智能设备400中配置有接收指读指令的相应设备，用来接收用户501发送的指读指令。此时，展开通信的两方是儿童专用智能设备400与用户501，数据传递的方向是从用户501传向儿童专用智能设备502。

然后，儿童专用智能设备400跟随用户501的手指，扫描完成内容转换过程的oid点读印刷物，读取与点读热区位置绑定的点读数据，即向云端601请求绑定内容(点读数据)，点读数据可以存储在云端601，也可以存储在儿童专用智能设备400上，当点读数据存储在云端601中时，儿童专用智能设备400需要向云端601请求用户手指在印刷物上的落点的绑定内容。点读数据一般来说包含语音数据，也可以包含其他类型的数据。此时，展开数据传递的两方是儿童专用智能设备400以及云端601，数据传递方向是从儿童专用智能设备400传向云端601。

接着，云端601向儿童专用智能设备400返回内容数据。云端601跟据儿童专用智能设备400的请求返回对应的内容数据。此时，展开通信的两方是云端601以及儿童专用智能设备400，数据传递的方向是从云端601传向儿童专用智能设备601。

然后，儿童专用智能设备400将内容数据返回至用户501，一般来说，儿童专用智能设备400可以通过喇叭播放语音数据。

图7显示了根据本发明的一个实施例的基于oid点读内容转换为绘本指读内容的方法中进行指读时的流程图。

如图7所示，在步骤s701中，儿童专用智能设备400向云端601发出请求。之后，在步骤s702中，儿童专用智能设备400一直处于等待云端601回复的状态。在等待的过程中，儿童专用智能设备400会对返回数据所花费的时间进行计时操作。

在步骤s703中，如果长时间未得到返回的应答数据，比如，超过了预定的时间长度5s，则儿童专用智能设备400会选择进行本地回复，生成本地常用应答数据。然后，在步骤s704中，输出本地常用应答，并调用语音播放设备进行语音播放。

综上，本发明提供的基于oid点读内容转换为绘本指读内容的方法及装置能够在现有oid点读印刷物的基础上将使用oid点读笔才能够阅读的内容转换为能够通过手指指读方式的就能够阅读的内容，克服了oid编码空间只有有限点的缺陷，可以为所有图书做手指指读支持，并且，由于使用现有的oid点读印刷物，降低了内容制作的成本，还能够支持儿童进行手指指读阅读。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。