记笔记辅助系统、信息递送设备、终端、记笔记辅助方法和计算机可读记录介质的制作方法
【技术领域】
[0001]本发明涉及用于帮助针对讲话者记笔记的记笔记辅助系统、信息递送设备、终端和记笔记辅助方法，以及存储用于实现其的计算机程序的计算机可读记录介质。
【背景技术】
[0002]双耳听力损失在100dB或更多的听力损伤人员(下文简称为“听力损伤人员”)即使有助听器等，将实际上不能理解演讲中的讲话语言信息。因此，传统上已经有这样的情况:当听力损伤人员参加演讲、课堂等时，将提供符号语言解释者或记笔记解释者。
[0003]当然，当提供记笔记解释者时，在课堂情况下，例如，通常提供两个或更多记笔记解释者用于每个听力损伤人员。这些记笔记的人使用PC (个人计算机)、纸质笔记本等来转录教师所说的等等，并呈现这个转录给听力损伤人员。需要两个或更多记笔记解释者是因为记笔记是要求高的工作且总结的准确性倾向于一人的话会比较困难。
[0004]日本厚生劳动省在2008年所做的调查发现，在日本有大约20，000名年龄在18岁及以下的听力损伤学生，而正式注册的记笔记解释者的人数大约为10，000。基于此，假设两个或更多记笔记解释者提供用于每个听力损伤学生，简单计算表明，所有听力损伤学生中只有四分之一能够接收到辅助。而且，在记录者的数量和听力损伤学生的数量上存在区域差异。出于这些原因，当前现实是只有非常小数量的听力损伤学生能够在学校接收辅助。
[0005]考虑到此，各种组织都在从事训练等以便增加记笔记解释者的数量，而新的记笔记解释者在经过一年的强制课程和训练等对其技能的发展之后被注册。但是，存在的问题在于，记录者的人数只是少量增加，因此仍然存在许多听力损伤学生不能接收到辅助。
[0006]专利文献1和2公开了当书写字幕时辅助转录员的系统。专利文献1和2中所公开的系统被提供有调整语音的再生速度和自动将由字幕人员输入的文本数据与视频数据相组合的功能。想到的是，这样的系统也能为解决记笔记解释者人数不足的问题做出贡献。
[0007]文献3公开了针在展示期间对语音执行语音识别的系统，识别结果实时校正且校正的识别结果显示作为字幕。想到的是，改进专利文献3中所公开的系统能够肯定为解决记笔记解释者的人数不足
[0008]现有技术文献列表
[0009]专利文献
[0010]专利文献1:JP 2003-223199A
[0011]专利文献2:JP 2003-223200A
[0012]专利文献3:JP 2007-256714A
【发明内容】
[0013]发明要解决的问题
[0014]但是，专利文献1和2中所公开的系统针对当转录员创建所听到的语音的字幕时辅助转录员，同时在视频被广播或电视播放之前观看视频，但不针对当实时转录发声时的辅助。因此，将难以通过使用专利文献1或2中所公开的系统来克服记笔记解释者的不足。
[0015]另一方面，尽管专利文献3中所公开的系统令人信服地避免了专利文献1和2的问题，因为字幕是在发声的实时显示的，但执行语音识别的情况使得出现了与之相关的问题。
[0016]也就是，通过专利文献3中所公开的系统，基于一个或多个字符串候选和各个字符串候选的确定性因素，根据当前处理状态来执行自动候选展示或手动候选展示，以便改进语音识别准确性。此外，当候选在手动候选展示的情况下不能被展示时，候选基于匹配分数而展示。
[0017]但是，语音识别的识别速率取决于做出发声的环境而可能极大降低。例如，可能有这样的情况:周围区域的环境噪声相对于发声的语音更加大声，多个讲话者同时讲话，或者方言或缩写语音被使用。在这样的情况下，存在的问题在于，专利文献3中所公开的系统不能提供准确信息。
[0018]本发明的示例目标在于解决上面的问题并且提供一种记笔记辅助系统、信息递送设备、记笔记辅助方法和计算机可读记录介质，即使在执行记笔记的人员具有很少记笔记经验的情况下，能够向听力损伤人员提供准确信息。
[0019]解决问题的手段
[0020]为了获得上面的目标，根据本发明的一个方面的记笔记辅助系统是一种用于辅助对讲话者的发声记笔记的系统，包括由执行记笔记的记录者所使用的记录者的终端以及发射发声的语音数据到所述终端的信息递送设备，所述信息递送设备包括:呼吸检测单元，其从发声的语音中指定静音部分，以及在指定的静音部分中指定满足设置条件的静音部分，作为讲话者的呼吸部分；数据处理单元，其确定在分配给记录者的每个分配时间段内，基于分配时间段的结束点的范围中是否存在呼吸部分，并且在该范围中存在呼吸部分的情况下，从分配时间段的开始点生成发声的语音数据直到呼吸部分，并且在范围中不存在呼吸部分的情况下，从开始点生成发声的语音数据直到分配时间段的结束点；以及数据发射单元，其发射由所述数据处理单元生成的语音数据到分配时间段所分配到的记录者的终端，以及所述的记录者的终端包括:数据接收单元，其接收从所述信息递送设备发射的语音数据；输入单元，其接受对应于所述语音数据而输入的文本数据的输入；以及数据发射单元，其将输入被接受的所述文本数据发射到由记笔记的用户所使用的用户终端。
[0021]而且，为了获得上面的目标，根据本发明一个方面的信息递送设备是一种用于发射讲话者的发声的语音数据到由执行对发声记笔记的记录者所使用的记录者的终端的设备，包括:呼吸检测单元，其从发声的语音中指定静音部分，以及在指定的静音部分中指定满足设置条件的静音部分，作为讲话者的呼吸部分；数据处理单元，其确定在分配给记录者的每个分配时间段内，基于分配时间段的结束点的范围中是否存在呼吸部分，并且在该范围中存在呼吸部分的情况下，从分配时间段的开始点生成发声的语音数据直到呼吸部分，并且在范围中不存在呼吸部分的情况下，从开始点生成发声的语音数据直到分配时间段的结束点；以及数据发射单元，其发射由所述数据处理单元生成的语音数据到分配时间段所分配到的记录者的终端。
[0022]为了获得上面的目标，根据本发明一个方面的终端是一种由执行对讲话者的发声记笔记的记录者所使用的终端，包括:数据接收单元，其在分配给记录者的每个分配时间段内，从发射语音数据的信息递送设备接收发声的语音数据；输入单元，其接受对应于所述语音数据而输入的文本数据的输入；以及数据发射单元，其将输入被接受的所述文本数据发射到由记笔记的用户所使用的用户终端。
[0023]而且，为了获得上面的目标，根据本发明一个方面的记笔记辅助方法是一种一种用于使用由执行对讲话者的发声记笔记的记录者所使用的记录者的终端和发射发声的语音数据到所述终端的信息递送设备来辅助记笔记的方法，包括以下步骤:(a)使用所述信息递送设备来从表达的语音中指定静音部分，以及在指定的静音部分中指定满足设置条件的静音部分，作为讲话者的呼吸部分；(b)使用所述信息递送设备来确定在分配给记录者的每个分配时间段内，基于分配时间段的结束点的范围中是否存在呼吸部分，并且在该范围中存在呼吸部分的情况下，从分配时间段的开始点生成发声的语音数据直到呼吸部分，并且在范围中不存在呼吸部分的情况下，从开始点生成发声的语音数据直到分配时间段的结束点；(c)使用所述信息递送设备来发射在步骤(b)中生成的语音数据到分配时间段所分配到的记录者的终端；(d)使用所述的记录者的终端来接收从所述信息递送设备发射的所述语音数据；(e)使用所述的记录者的终端来接受对应于所述语音数据而输入的所述文本数据的输入；以及(f)使用所述的记录者的终端来将在步骤(e)中接受输入的所述文本数据发射到由记笔记的用户所使用的用户终端。
[0024]为了获得上面的目标，根据本发明一个方面的第一计算机可读记录介质是一种计算机可读记录介质，存储用于由计算机发射讲话者的发声的语音数据到由执行对发声记笔记的记录者所使用的记录者的终端的计算机程序，所述计算机程序包括用于使得计算机执行以下步骤的命令:(a)从发声的语音中指定静音部分，以及在指定的静音部分中指定满足设置条件的静音部分，作为讲话者的呼吸部分；(b)确定在分配给记录者的每个分配时间段内，基于分配时间段的结束点的范围中是否存在呼吸部分，并且在该范围中存在呼吸部分的情况下，从分配时间段的开始点生成发声的语音数据直到呼吸部分，并且在范围中不存在呼吸部分的情况下，从开始点生成发声的语音数据直到分配时间段的结束点；以及(c)发射在步骤(b)中生成的语音数据到分配时间段所分配到的记录者的终端。
[0025]而且，为了获得上面的目标，根据本发明一个方面的第二计算机可读记录介质是一种计算机可读记录介质，存储包括用于使得由执行对讲话者的发声记笔记的记录者所使用的计算机执行以下步骤的命令的计算机程序:(a)在分配给记录者的每个分配时间段内，从发射语音数据的信息递送设备接收发声的语音数据；(b)接受对应于所述语音数据而输入的文本数据的输入；以及(c)将在步骤(b)中接受的所述文本数据发射到由记笔记的用户所使用的用户终端。
[0026]发明的有益效果
[0027]根据本发明，如上所述，听力损伤人员可以被提供准确信息，即使在执行记笔记的人员具有很少记笔记经验的情况下。
【附图说明】
[0028]图1是示出本发明的实施例中的记笔记辅助系统的整体配置的配置图。
[0029]图2是具体示出本发明的实施例中的记笔记辅助系统的配置的框图。
[0030]图3是示出在图2中示出的语音识别单元、呼吸检测单元和数据处理单元的处理的示意图。
[0031]图4是示出本发明的实施例中的信息递送设备的操作的流程图。
[0032]图5是示出本发明的实施例中的记录者终端的操作的流程图。
[0033]图6是示出本发明的实施例中的用户终端的操作的流程图。
[0034]图7是示出在本发明的实施例中实现信息递送设备、记录者终端和用户终端的计算机的示例的框图。
[0035]图8是示出本发明的工作示例中语音识别单元、呼吸检测单元和数据处理单元的处理的图。
【具体实施方式】
[0036]发明概况
[0037]本发明帮助执行对讲话者的发声记笔记的记录者。在本发明中，信息递送设备基于分配给记录者的分配时间段来分割讲话者的语音数据，并且将获得的语音数据经由网络发射到记录者的终端。
[0038]此时，分配给记录者的分配时间段的长度被根据例如记录者的记笔记能力而设置的。具体地，在记录者具有很少记笔记经验的情况下，分配诸如少于30秒的短时间段。根据讲话者的呼吸的定时来分割语音数据。因此，即使在记录者具有很少经验且发现难以在短时间内创建总结的情况下，将创建易于被作为用户的听力损伤人员理解的总结。
[0039]而且，在本发明的优选模式中，信息递送设备能够不仅递送语音数据而且递送视频到记录者的终端。在该模式下，记录者能够选择最合适的场景来从递送的视频中总结，由记录者所选的场景的静止图像与总结的文本数据一起被发射到用户的终端。用户对总结的理解将因此得到进一步提高。此时，记录者还能够针对记笔记的内容添加他或她自己的评论以便帮助用户的理解。
[0040]而且，在上面的优选模式中，信息递送设备能够从捕捉讲话者周围区域的多个相机获取视频并且能够将获取的视频从多个相机递送到记录者的终端。在此情况下，记录者可以选择更合适的场景。
[0041]实施例
[0042]下面，将结合图1到7来描述本发明的实施例中的记笔记辅助系统、信息递送设备、终端、记笔记辅助方法和计算机程序。
[0043]系统配置
[0044]最初，将使用图1来描述记笔记系统的系统配置。图1是示出本发明的实施例中的记笔记辅助系统的整体配置的配置图。
[0045]图1中所示的本实施例的记笔记辅助系统400是一种用于辅助对讲话者40的发声记笔记的系统。如图1中所示，记笔记系统400被提供有由执行记笔记的记录者50所使用的记录者的终端200 (下文称为“记录者终端”)以及发射发声的语音数据到记录者终端200的信息递送设备100。
[0046]而且，在图1中，终端300是由作为记笔记用户60的听力损伤人