专利名称：信息重放器和信息产生装置的制作方法
技术领域：
本发明涉及信息重放器和信息产生装置，特别是涉及一种信息处理系统，其中把转换成二维条形码的声音信息与各种文件处理器中使用的可视信息(诸如文件信息，图象信息及图表信息的一个信息源)相联系，所述的文件处理器例如是日本文字处理器，诸如光学文件的各种图象处理器，具有各种信息转换功能的现金出纳机，通信终端以及POS终端等等，由此获得的相关信息被印在打印纸上，并且根据打印的相关信息把可视信息和声音信息联系在一起，用于传递信息。
近来，诸如打印纸或软盘的记录介盘已被广泛地用于信息的交换和散发手段。每个文件和图象信息都被记录在介盘上。然而，具有条形码图形的打印纸也已被用来替代记录介盘了。代码图形被用于编码和描述文件信息及图象信息等等信息。
如果用这种打印纸来交换和散发数据，与使用软盘相比可以降低费用。另外，由于数据不能被直接解码，打印纸是有保密的性能。
日本专利公开5-12288号揭示了一中信息处理器，其中的文件信息编码信息可以被打印和使用。按照上述的信息处理器，文件信息被转移成具有一维条形码的编码信息，例如JIS码，并把所得的编码信息打印在记录纸上。根据需要对记录纸进行读出和变换，把编码信息恢复成文件信息以供使用。在对记录纸进行复制或是用传真机发送的情况下，编码信息不会受损，并可以防止经常出现的信息丢失或错误。
然而，由于以可以记录在打印纸上的条形码代表的信息量很小，应用受到了限制。例如，打印纸不适用于对声音信息的编码。
声音信息通常被记录在诸如磁盘或CD等记录介盘上。作为替代，用具有网眼图形的二维条形码记录声音信息的打印纸也已在考虑之列。
二维条形码是一种标记(二维图形)，它可以被适当地读出并得到实际的矩阵式(二维)点阵。
日本专利公开3-11482号描述了一种声音记录方法和设备以及一种声音重放方法及设备，其中的声音信息用二维条形码打印在打印纸上。按照这种声音记录方法和设备以及声音重放方法及设备，声音被数字化，并把所获的数字数据转换成具有网眼图形的图象打印在打印纸上。反过来，其上印有由网眼图形构成的图象的打印纸可以被一个图象读取器读出，经过数/摸转换后重放出声音。
虽然声音信息可以打印在纸上，它与外界的其他打印信息并没有关系。记录在纸上的声音信息只能作为一组声音信息被重放，无法进一步利用。
相应地，如果有可能使声音信息与可视信息相关，并且按需要重放声音信息，再对应声音信息来调入和编辑可视信息，就可以获得额外的价值。
已知有一种装置可以把多页文件减少并打印在一张纸上(参见日本专公开61-177068号)，还有一种装置，其中可把许多文件信息集中输入到单张复印纸上，再产生一个存储在存储片上的文件信息摘要，并且为复印纸加上恢复信息(参见日本专利公开3-291754号)。
然而，尽管诸如文件信息和图象信息的多种信息可以被压缩、打印和布置在一张纸上，并且可以用扫描器从打印纸上读出，但信息不是通过编码来压缩的，因而不容易象通常的信息那样实现保存和使用。
考虑到上述问题，本发明的目的是提供一种信息重放器和信息产生装置，在其中使得用二维条形码打印在打印纸上的声音信息与可视信息相关联，从而可以根据需要输出可视信息所需的信息，并且可以按照输出的声音信息显示可视信息的内容。
本发明由此就提供了一种信息重放器，它包括读出装置，用于读出打印在打印纸上的可视信息和声音信息，存储装置，用于存储由读出装置读出的可视信息和声音信息，显示装置，用于有选择地在屏幕上显示存储的可视信息，可视信息指定装置，用于局部地指定显示在显示屏幕上的可视信息的一个区域，连接装置，用于把指定装置指定的一部分可视信息和与其对应的一部分声音信息相连接，以及声音信息重放装置，用于从存储装置中读出声音信息，并且重放出与指定的可视信息相连接的声音信息。
本发明的信息重放器使用一种由信息产生装置产生的打印纸，信息产生装置包括用于输入可视信息时可视信息输入装置，用于输入声音信息的时间信息输入装置，相关信息输入装置，用于输入使可视信息与声音信息相关联的相关信息，以及打印装置，用于把可视信息，声音信息以及相关信息一起打印在打印纸上。
本发明的另一目的是增加以下的功能与诸如可视信息的恢复或移动等编辑工作相一致地自动校正相关信息；与声音信息的移动或复制等等编辑工作相一致地自动校正相关信息，以及为声音信息增加保密功能。
通过以下的说明可以进一步看清本发明的上述和其他要点。
附图如下
图1是表示本发明的结构的一个方框图；图2是表示本发明的一个实施例的结构方框图，其中是把本发明用于一个能够打印和读出声音信息的数据处理系统；图3是一个统程图，表示在本发明的数据处理系统中的声音输入过程的内容；图4是一个示意图，表示了按照本发明指定可视信息区域的方法；图5是一例示意图，表示了按照本发明使得用二维条形码代表的声音信息与文件信息，图形信息及图象信息的指定区域上的坐标信息相关的例子；图6是一个示意图，表示了按照本发明使得用二维条形码代表的声音信息与文件信息，图形信息及图象信息的指定区域上的坐标信息相关的方法；图7是本发明的检测和(checksum)添加过程的流程图；图8是一个示意图，表示按照本发明的相关信息的数据结构；图9是一例示意图，在其中按照本发明把相关的条形码和声音信息加在文件信息的下部；图10是一例示意图，在其中按照本发明把相关的条形码和声音信息加在图象信息的外围和图形信息中的一个部分；图11是一个流程图，表示按照本发明在选择打印格式时所执行的过程；图12是一例示意图，表示按照本发明的可使选择的打印格式；图13是一个流程图，表示按照本发明的用于对重放的声音进行抑制的过程；图14是一例示意图，表示按照本发明在音量控制的状态下获得的屏幕显示；图15是本发明的一个流程图，表示用于选择显示声音信息的过程；图16是本发明的一个示意图，表示用于选择显示声音信息的屏幕；图17是本发明的一例示意图，其中存在声音信息显示；图18是本发明的一例示意图，其中没有声音信息的显示；图19是本发明的一个流程图，示出了读出一张纸并且产生声音的过程；图20是本发明的一个流程图，示出了仅读出特定声音信息并产生声音的过程；图21是本发明的一个示意图，示出了用于指定文件信息，图像信息及图形信息的特定位置的一支笔的具体结构；图22是本发明的一个流程图，示出了通过区域指定本实现的声音产生输出过程；图23是本发明的一个示意图，示出了通过光标的移动来指定文件，图象及图形信息的特定信息的方法；图24是本发明的一个流程图，示出了在指定特定信息时所执行的光标移动过程；图25是本发明的一个示意图，其中对重放声音信息时指定是连续的；图26示出了本发明的一个时序图，示出了用于等待声音重放的定时图；图27是本发明的一个流程图，示出了用于等待声音重放的过程；图28A和28B是本发明的示意图，表示了打印纸的一例图片与其显示之间的位置关系；图29是本发明的一个流程图，示出了声音重放和显示过程(1)；图30是本发明的一个流程图，示出了声音重放和显示过程(2)；图31是本发明的一个流程图，示出了声音重放和显示过程(3)；图32A和32B是本发明的示意图，表示了输入到打印纸上的二维条形码的例(1)；图33是本发明的一个流程图，示出了计算二维条形码区域的过程；
图34是本发明的一个流程图，示出了二维条形码的点的大小的处理过程；图35是本发明的一个示意图，表示了输入到打印纸上的二维条形码的例(2)；图36是本发明的一个流程图，表示了计算打印区域的过程(1)；图37A和37B是本发明的示意图，表示了输入到打印纸上的二维条形码的例(3)；图38是本发明的一个流程图，示出了计算打印区域的过程(2)；图39是本发明的一个流程图，表示了用于压缩二维条形码的过程；图40A和40B是本发明的流程图，表示了二维条形码的保密过程(1)；图41A和41B是本发明的流程图，表示了二维条形码的保密过程(2)；图42A和42B是本发明的流程图，表示了二维条形码的保密过程(3)；图43是本发明的一个流程图，表示了二维条形码的保密过程(4)；图44是本发明的一个示意图，表示了用于移动声音信息的区域的功能；图45是本发明的一个流程图，表示了相关信息的编辑过程(1)；图45是本发明的一个示意图，表示了声音信息的插入功能；图47是本发明的一个流程图，表示相关信息的编辑过程(2)；图48是本发明的一个示意图，表示了为相关信息增加页信息的功能；图49是本发明的一个流程图，表示了相关信息的编辑过程(3)；图50是本发明的一个示意图，表示了保持声音信息的功能；图51是本发明的一个流程图，表示了保持声音信息的过程；图52是本发明的一个示意图，表示了调入声音信息以及与声音信息相关的信息的功能；图53是本发明的一个流程图，表示了恢复相关信息的过程；图54是本发明的一个示意图，表示了复制声音信息区域的功能；图55是本发明的一个流程图，表示了相关信息的编辑过程(4)；图56是本发明的一个示意图，表示了声音信息的放大/缩小功能；图57是本发明的一个流程图，表示了相关信息的编辑过程(5)；图58是一个示意图，表示代表类型的点数；图59A至59L是用于解释本发明一个实施例工作方式的示意图60一个示意图，用于解释文本存储器的每个控制代码；图61A至61C是用于解释显示内容的示意图；图62A和62B是用于解释打印内容的示意图；图63是一个流程图，表示了提取各个控制代码的过程；图64是表示页管理的流程图；图65是表示组(set)管理的流程图；图66是表示摘要(summary)管理的流程图；图67是表示页管理打印的流程图；图68是用于解释页管理打印的一例示意图；图69是表示组管理打印的流程图；图70A和70B是表示组管理打印的一例示意图；图71是表示摘要管理打印的一个流程图；图72A和72B是表示摘要管理打印的一例示意图；图73是一个流程图，表示了标题和标题控制代码的插入过程，用于把标题输入到文件数据的结尾；图74是一个流程图，表示了摘要和摘要标题隧精代码的插入过程，用于把摘要输入到文件数据的结尾；图75是一例二维条形码的示意图，以及图76是一例二维条形码图片的示意图。
以下要结合附图详细地说明本发明，但本发明不应被视为仅限于以下的实施例。
图1是表示本发明结构的一个方框图。如图1所示，本发明的信息产生装置主要包括读出装置101，用于读出打印在打印纸上的可视信息和声音信息，存储装置102，用于存储由读出装置读出的可视信息和声音信息，显示置103用于在屏幕上选择显示存储的可视信息，可视信息指定装置104，用于局部地指定显示在显示屏幕上的可视信息的一个区域，连接装置105，用于把指定装置指定的一部分可视信息和与其对应的一部分声音信息相连接，以及声音信息重放装置106，用于以存储装置中读出声音信息，并且重放出与指定的可视信息相连接的声音信息。本发明提供了一种包括信息产生装置200的信息处理系统，信息产生装置200包括用于输入可视信息的可视信息输入装置201，用于输入声音信息的声音信息输入装置202，相关信息输入装置203，用于输入使可视信息与声音信息相关联的相关信息，以及打印装置204用于把可视信息，声音信息及相关信息一起打印在打印纸上。
按照本发明，信息产生装置200产生一种打印纸，在其上打印了可视信息，声音信息以及联系可视信息和声音信息的相关信息，并且用连接装置105根据打印在打印纸上的相关信息来连接可视信息和声音信息。
相应地，声音信息重放装置106可以根据需要重放出与可视信息相关的声音信息。
按照本发明，各种图象传感器(例如CCD传感器)都可被用作读出装置101。
显示装置103可以采用诸如CRT显示器或LCD(液晶显示器)的显示器件。
声音信息重放装置装置106可以由各种声音发生器构成，例如扬声器以及用于把数字声音信息转换成模拟声音信息的DIA转换器。
可视信息指定装置104可以采用诸如键盘，钢笔或鼠标的输入设备，可视信息输入装置201和相关信息输入装置203也可以采用这些设备。
在输入图象信息时，最好是用图象阅读器作为可视信息输入装置201。
存储装置102和连接装置105由微型计算机构成，它包括CPU，ROM，RAM和一个I/O端口。
RAM被用做可视信息，声音信息及相关信息的存储装置，以及被用做CPU的工作区(例如数据转换区)。
连接装置105不断地识别由相关信息输入装置203获得的相关信息内容，从而使可视信息与声音信息相联系。如果没有相关信息，连接装置105可以预先设置一个数据库，以便使可视信息与声音信息相联系。
在ROM中存储着诸如控制程序那样的功能性程序，CPU用这种程序控制每个装置，以及用于产生相关信息，二维条形码转换数据，以及相关信息转换数据的程序。
声音信息输入装置202可以采用各种声音输入设备，包括话筒和用于把模拟声音信息转换成数字声音信息时D/A转换器。
打印装置204可以采用各种打印机，诸如热打印机，激光打印机等等。
信息产生装置还包括可视信息存储装置，用于存储由可视信息输入装置输入的可视信息，区域或指定装置，用于指定由声音信息输入装置输入的声音信息以及一个区域，声音信息在该区域中与可视信息输入装置输入的可视信息相联系，转换装置，用于把声音信息以及联系声音信息和可视信息的相关信息转换成二维条形码，声音信息存储装置，用于存储转换成二维条形码的声音信息，相关信息存储装置，用于存储转换成二维条形码的相关信息，以及显示装置，用于显示可视信息和声音信息。相应地，打印装置可以体现出二维条形码的声音信息和相关信息，并把它们的可视信息一起打印在打印纸上。
由于可视信息和声音信息是相关的，并且已被存储，就可以执行与其相应的程序。
由于声音信息的相关信息是用具有较大信息量的二维条形码的形式来打印的，可以缩小其在打印纸上占用的面积。
区域指定装置是由键盘上的一个光标键构成的。转换装置利用二维条形码转换数据把数字的声音信息和相关信息转换成二维条形码。
读出装置的功能是从信息产生装置所产生的打印纸上读出用二维条形码代表的声音信息和相关信息。显示装置的作用是在屏幕上显示由读出装置读出的可视信息，以及显示用二维条形码代表的声音信息和相关信息。声音信息重放装置的功能是重放出转换成二维条形码的声音信息。
按照这种结构，当一部分待显示的可视信息被指定时，就根据二维条形码重放出与指定的可视信息关的声音信息。
这里还设有一个打印控制装置，用于确定存储在可视信息存储装置中的可视信息，存储在声音信息存储装置中的声音信息，以及存储在相关信息存储装置中的相关信息在打印纸上的打印布局。打印控制装置的功能使其可以在用区域指定装置指定的可视信息附近仅打印声音或相关信息。
按照上述的结构，可以很容易鉴别可视信息与声音信息之间的关系。因此，如果指示出了打印在打印纸上的关于声音信息的信息，当即就可以听到该声音信息。
设有一个用于防止被打印在打印纸上的声音信息发生读出错误的装置，从而可以消除声音信息的劣化。
还设有一个打印控制装置，用于确定存储在可视信息存储装置中的可视信息、存储在声音信息存储装置中的声音信息，以及存储在相关信息存储装置中的相关信息在打印纸上的打印布局。
打印控制装置的功能可以在可视信息的周边部分仅打印声音或相关信息。
按照这种结构，可以根据重放时的用途来确定打印格式。在读出打印纸时，在可视信息之前首先读出声音或相关信息的二维条形码。接着就可以较容易地处理按顺序调入的信息。另外，在从读出打印纸的过程开头按顺序提取相关的声音信息的同时就可以输出声音。
进一步还提供了重放条件指定装置，用于指定声音信息的重放条件，以及识别装置，用于从读出装置读出的二维条形码中识别出声音信息。声音信息重放装置按照由重放条件指定装置指定的条件重放出由识别装置识别出的声音信息。采用这种结构，在从打印纸上读出声音信息以及重放读声音信息时，输出的声音信息可以得到控制，可以根据环境条件条件调节音量或是停止声音信息的重放。除了读出打印纸上的信息和声音输出定时之外，还可以预先读出信息并随后在显示部分上显示的信息发生变化的同时输出声音。如果在声音信息输出时移动光标，正在重放的声音信息不会停止，即使把光标移到了声音信息的实际区域之外，声音也可以被连续地输出，直到声音信息结束。这样，在收听正在输出时声音的同时就可以移动光标去做下一项工作。
还设有一个显示条件指定装置，用于指定用显示装置显示的二维条形码的显示条件，以及显示控制装置，用于使显示装置按照由显示条件指定装置指定的显示条件显示出二维条形码。
按照这种结构，在一起显示由二维条形码代表的声音和可视信息的情况下，如果难以读出可视信息，也可以不显示二维条形码。
这里提供了一种坐标指定装置，用于指定由显示装置显示的声音信息的特定位置坐标，以及显示控制装置，用于参照相关信息使屏幕滚动，以便在声音信息重放装置按照指定的坐标从声音信息存储装置中读出声音信道并且重放放声音信息的时候把与重放的声音信息相关的可视信息显示在显示装置的显示区域中。
按照这种结构，在按照特定的位置重放声音信息的同时，相关的可视信息在显示屏幕上滚动和显示。
这里提供了一种光标移动装置，用于在显示装置的屏幕区中移动光标，以及区域确定装置，用于在显示控制装置按照光标的运动而滚动屏幕时确定与声音信息相关的可视信息是否移动了显示区域之外。
显示控制装置使屏幕滚动，因此，即使在声音信息重放装置正在重放处于指定的特定位置的声音信息的同时用光标移动装置移动光标，根据区域确定装置的确定输出结果，与正在重放的声音信息相关的可视信息仍可以一直被保持在显示区内。
按照这种结构，与正在重放的声音信息相关的可视信息不会移到显示区之外。
这里还提供了一种全信息存储装置，用于存储由读出装置读出的可视信息和二维条形码形式的全部信息，以及恢复指定装置，用于指定恢复与声音信息相关的全部可视信息。当声音信息重放装置按照恢复指定装置的指定按顺序重放由二维条形码代表的声音信息时，显示控制装置使屏幕滚动，从而把与正在重放的声音信息相关的可视信息按顺序显示在显示区内。
按照这种结构，如果输入了恢复与声音信息相关的全部信息的指定，就按顺序重放全部声音信息，从而使与其相关的信息显示在屏幕上。因此就可以同时了解声音信息的内容。
这里还提供了一种代码表达区域计算装置，用于对应由声音信息输入装置输入的声音信息音量来计算二维条形码的代码表达区域，起始点指定装置，用于指定被打印在纸上的声音信息的起始点，长度指定装置，用于指定一个矩形的垂直或水平侧的长度，以及长度计算装置，用于计算另一个垂直或水平侧的长度。
按照这种结构，在把输入的声音信息按照二维条形码进行编码并将其打印在打印纸上时，分别要指定在纸上打印的起始点的垂直或水平的长度，因此可以根据由声音信息的音量获得的代码表达区域自动地计算出垂直或水平长度，并且可以定时地显示出打印在纸上的区域。因此就可以用眼睛来识别，从而有效地利用打印纸。
二维条形码有一种低密度点径(dot size)和一种高密度点径。这里提供了一种点径指定装置，用于指定二维条形码的点径密度。转换装置把输入的声音信息转换成具有指定点径的二维条形码。
按照这种结构，在把输入的声音信息编码成二维条形码并将其打印在打印纸上时，根据情形可以把二维条形码的点径设定为高或低的密度。因此，在读出声音信息时，由二维条形码占据的区域是可以调节的，同时还确保了二维条形码的质量。
这里还提供了一种数据表达区域计算装置，用于计算可视信息的数据表达区域，剩余区域计算装置，用于计算在全部表达区域和数据表达区域中用二维条形码表达的剩余区域，代码表达区域计算装置，用于根据来自输入的声音信息音量的低或高密度点径计算出二维条形码的代码表达区域，点径确定装置，用于把剩余区域与代码表达区域相比较，从而确定是否应把二维条形码的点径设定为低密度或高密度，以及点径切换装置，用于根据确定的结果切换二维条形码点径的密度。
按照这种结构，与二维条形码占用的面积的情况相对应，二维条形码的点径被自动地确定并且切换到高或低密度。这样，在读出信息时，就可以有效地利用可以打印声音信息的区域，并且确保二维条形码的质量。
在根据点径确定装置的确定结果切换二维条形码的点径密度时，点径切换装置在可以用二维条形码表达的代码表达区域的前一半区域内把点径设定为低密度，在剩余的区域内把点径设定为高密度。
根据二维条形码占用面积的情况，二维条形码的点径可以在半途中从低密度切换为高密度，从而可以充分地利用可以打印声音信息的那个区域。这里还提供了压缩装置，用于对声音输入装置输入的声音取样，并且按逐步压缩的等级来调节声音信息。转换装置把声音信息转换成一定压缩等级的二维条形码，由声音信息重放装置重放的该该压缩等级的声音信息可以被听到。
按照这种结构，在把输入的声音信息转换成二维条形码时，声音信息的压缩等级被调节到这样的范围，在该范围内可以听到声音信息，从而就可以减少二维条形码的读出误差。
进一步还提供了保密附加装置，用于为由声音信息输入装置输入的全部或一部分声音信息增加保密功能，通行字设定装置用于设定一个对应保密功能的通行字，通行字判定装置用于判定输入的通行字与设定的通行字是否相符，以及保密取消装置用于取消保密功能。转换装置把设定的口令转换成二维条形码，而声音信息重放装置根据该通行字重放声音信息。
按照这种结构，为输入的声音信息设定了通行字，从而可以增加或取消保密功能。
通行字是由声波构成的。通行字判定装置包括声波比较装置，用于把输入通行字的声波与设定通行字的声波相比较。
按照这种结构，在设定了通行字从而为输入的声音信息增加了保密功能时，声音可以被削波成波形并作为通行字被存储，并把输入的声音与通行字的波形相比较，从而就有了可能用声音为声音信息增加或取消保密功能。
这里提供了一种恢复装置，用于根据由保密附加装置设定的各个通行字恢复声音信息。
由于有多个保密功能可以为每次输入的声音信息设定一个口令，对应该通行字的声音信息可以得到恢复。
这里还提供了分类表产生装置，用于在通行字口令设定装置为每个声音信息设定了多个通行字时为设定的每个通行字以及和该通行字相关的声音信息产生分类表。
按照这种结构，在恢复与该设定通行字相关的每个声音信息时，用于设定通行字以及与该通行字相关的声音信息的分类表可以被显示或打印在屏幕上。
提供了坐标指定装置，区域指定装置，区域移动装置以及相关信息校正装置。坐标指定装置指定由显示装置显示的声音信息的特定位置坐标。区域指定装置指定一个区域，把指定的特定位置坐标上的声音信息移动到该区域中。区域移动装置把声音信息移动到指定的区域。相关信息校正装置自动地按照声音信息的区域移动校正存储在相关信息存储装置中的相关信息的坐标信息。
按照这种结构，在使用区域移动装置把显示在显示屏幕上的声音信息移动到指定区域时，采用相关信息校正装置结合着区域的移动来校正相关信息的坐标信息，因此不必再次为相关信息设定坐标。
相关信息校正装置包括页号附加装置，用于为相关信息附加上打印纸的页号。在由二维条形码表示的声音信息涉及到记载在多个页上的声音的情况下，为相关信息附加上页号，并且对各页上的坐标信息一起进行校正。
按照这种结构，如果用二维条形码代表的声音信息涉及到记载在多个页上的信息，就为相关信息附加上页号并且把多页的坐标信息放在一起校正。这样就能够管理多个页上的声音信息。
这里还提供了区域复制装置用于复制由区域指定装置指定的声音信息。相关信息校正装置用区域复制的声音信息来增加相关信息并且校正坐标信息。
按照这种结构，如果指定了一个用于复制声音信息的区域并且用区域复制装置复制了声音信息，相关信息校正装置就相应地对相关信息进行附加的校正。因而就不必为相关信息再次设定坐标。
这里还提供了放大/缩小装置，用于放大和缩小由区域指定装置指定的声音信息的点径。相关信息校正装置根据声音信息的放大和缩小来校正相关信息的坐标信息。
按照这种结构，二维条形码的点径可以按照阅读器一侧的分辨率等级进行设定。
进而还提供了附加区域指定装置，附加插入装置，区域移动装置及对齐装置。附加区域指定装置指定一个另外插入声音信息的区域。附加插入装置把二维条形码表示的声音信息另外插入在可视信息中用二维条形码表示的许多声音信息中间。区域移动装置随着声音信息另外插入而移动声音信息。对齐装置把另外插入的相关信息对齐。相关信息校正装置随着另外插入的声音信息对存储在相关信息存储装置中的相关信息的坐标信息进行校正。
按照这种结构，在附加插入装置把二维条形码表示的声音信息另外插入在可视信息中用二维条形码表示的许多声音信息之间时，对齐装置随着另外插入的声音信息使存储在相关信息存储装置中的相关信息对齐，而相关信息校正装置则对相关信息的坐标信息进行校正，这样就比较容易恢复出信息。
进而还提供了全信息存储装置，恢复指定装置以及声音信息恢复装置。全信息存储装置存储记载在多页上的可视信息以及全部二维条形码的信息。恢复指定装置指定仅恢复存储在声音信息存储装置内的全部信息中的声音信息。声音信息恢复装置根据相关信息恢复全部声音信息并将其输出到打印装置。打印装置把由此恢复出的声音信息对齐并将其打印在打印纸上。
按照这种结构，打印装置把恢复的声音信息对齐并其打印在打印纸上。因而就有可能从记载在多页上的信息中仅提取声音信息并将其保存在打印纸上。另外，也不必在多页上恢复声音信息。
这里还提供了声音信息选择装置，用于选择声音信息，以及读出装置，用于参照相关信息在显示屏幕上读出对应着选定声音信息的可视信息。
按照这种结构就可以提取声音信息并调入与声音信息相关的信息。因而可以更有效地恢复信息。此外还便于恢复与记载在多页上的声音信息相关的信息。
本发明提供了一种信息产生装置，它包括可视信息输入装置，用于输入由文件信息构成的可视信息，打印装置，用于把可视信息和二维条形码中的至少一种打印在打印纸上，页弹出代码附加装置，用于为输入的文件信息附加上第一页弹出代码的第二页弹出代码，转换装置，用于把文件信息转换成打字图形和二维条形码，以及打印控制装置，用于按打字图形或二维条形码把文件信息打印在打印纸上，并且根据第一页弹出代码或第二页弹出代码执行打印纸的页弹出功能，如果用打字图形打印文件信息，打印控制装置就使第一页弹出代码有效而第二页弹出代码无效，而在打印二维条形码形式的文件信息以及打印打字图形和二维条形码的两种形式的文件信息时，打印控制装置就使第一页弹出代码无效，而使第二页弹出代码有效，由此就可以执行打印纸的页弹出功能。
按照本发明，即使在打字图形和二维条形码形成了各种打印密度的情况下，也可以调节每页上的信息打印量。
还提供了可把可视信息及二维条形码显示在屏幕上的显示装置，以及计算装置，用于计算相应的打字图形打印区域和二维条形码打印区域的尺寸之和，并且用显示装置显示出一个确定值，在打印打字图形和二维条形码形式的输入文件信息时，根据打印时获得的总和来确定可以打印在一张打印纸上的文件信息量。
按照这种结构，在打印打字图形和二维条形码两种形式的文件信息时，便于根据显示的内容附加第二页弹出代码。
这里还提供了显示装置，用于把可视信息和二维条形码显示在屏幕上，以及计算装置，用于计算相应的二维条形码打印区域的尺寸，并且用显示装置显示一个确定值，以便在打印二维条形码形式的输入文件信息时根据打印时获得的总和来确定在一张打印纸上可以打印的文件信息量。
按照这种结构，在打印仅有二维条形码一种形式的文件信息时，便于根据显示的内容附加第二页弹出代码。
这里还提供了显示装置，用于把可视信息和二维条形码显示在屏幕上，以及计算装置，用于计算对应的打字图形打印区域和二维条形码打印区域的尺寸之和，并用显示装置显示一个确定值，在用打字图形打印一部分输入的文件信息，而用二维条形码打印其他部分的情况下，根据打印时获得的总和来确定可以打印在一张打印纸上的文件信息量。
采用这种结构，在用打字图形打印一部分文件信息，而用二维条形码打印其他部分的情况下，便于根据显示的内容附加第二页弹出代码。
打印装置用打字图形和二维条形码把输入的文件信息打印在打印纸上。
按照这种结构，相同的文件信息可以用打字图形和二维条形码两种形式打印在打印纸上。
打印装置用二维条形码把输入的文件信息打印在打印纸上。
采用这种结构，全部打印信息都可以保守秘密。
打印装置把一部分输入的文件信息用打字图形打印在打印纸上，而其他部分用二维条形码打印在打印纸上。
采用这种结构，如果把用打字图形打印的文件信息作为名称，标题或摘要，就便于恢复用二维条形码打印的信息并且了解其内容。
按照本发明的结构，微型计算机的RAM构成了可现信息存储装置，声音信息存储装置，相关信息存储装置以及全信息存储装置，这些装置没有在图中示出。微型计算机的CPU构成了转换装置，打印控制装置，显示控制装置，识别装置，区域确定装置，代码表达区域计算装置，长度计算装置，数据表达区域计算装置，剩余区域计算装置，点径确定装置，点径切换装置，压缩装置，保密附加装置，通行字判定装置，声波比较装置，恢复装置，分类表发生装置，区域移动装置，相关信息校正装置，页号附加装置，区域复制装置，放大/缩小装置，附加插入装置，对齐装置，读出装置，页弹出附加装置以及计算装置，这些装置都没有示出。CPU利用功能程序完成各个装置的功能。
键盘、钢笔、小平板、坐标检测电路以及光标位置控制电路构成了区域指定装置，重放条件指定装置，显示条件指定装置，坐标指定装置，恢复指定装置，起始点指定装置，长度指定装置，点径指定装置，通行字设定装置，保密取消装置，附加区域指定装置以及声音信息选择装置，这些装置都没有示出。
图2是表示本发明一个实施例结构的框图，它用于一种能够打印和读出声音信息的数据处理系统。
在图2中，标号1代表一支钢笔，用于指定显示屏幕上的坐标(例如作为坐标指定装置)，标号2a代表一张报告纸，用于检测显示屏幕上用钢笔1指定的一个点，标号2b代表一显示器件，它具有一个例如LCD(液晶显示器)的显示屏幕。显示器件2b按照要求显示RAM或文本存的内容。标号3代表坐标检测电路，用于检测由钢笔1指定的位置坐标。
标号4代表条形码数据输出控制电路，用于控制显示缸显示器件的显示屏幕上的二维条形码数据的输出。标号5代表一个键盘，例如是一个操作部，用于执行可视信息输入装置，恢复指定装置，起始点指定装置，长度指定装置，点径指定装置，通行字设装置，保密取消装置，附加区域指定装置，声音信息选择装置以及字符转换置的功能。键盘5包括与显示在显示器件2b上的功能引导相对应的功能键，用于控制程序的执行和取消键，用于附加校正文本存储器的打字输入键，用于操作显示器件的坐标的光标键等等。标号6代表光标位置控制电路。
标号7代表指定区域恢复电路(区域指定装置)，用于恢复光标与文件信息，图象信息及图形信息中的声音产生区域之间的位置关系。
标号8代表条形码转换电路(转换装置)，用于把数字化的声音信息转换成二维条形码。标号9代表条形码还原电路(声音信息重放装置的一部分)，用于转换二维条形码声音信息，将其读入成数字声音信息。标号10代表信号切换控制电路，用于切换和控制电话简输入的信号和从扬声器输出的信号。标号11a代表话筒(MC，声音信息输入装置)，用于取得声音信息。标号11b代表一扬声器(声音信息重放装置的一部分)，用于输出声音信息。标号12a代表-A/D转换器，用于把输入声音信息的模拟信号转换成数字信号。标号12b代表-D/A转换器，用于把声音信息的数字信号转换成模拟信号。
标号13a代表一打印纸输送器，用于向扫描器13b输送其上打印着声音信息，可视信息以及相关信息的打印纸。
标号13b代表一扫描器(读出装置)，用于读出打印在打印纸上的各种信息的图象。图象阅读器14是由打印纸输送器13a和扫描器13b构成的。
标号15代表输送器控制电路，用于控制打印纸输送器13a，标号16代表条形码数据识别电路，用于检测打印在打印纸上的二维条形码信息的范围。
标号17代表检测和计算电路，用于计算一个检测和，从而检测出读出误差。标号18代表误差识别电路，用于识别通过比较二维条形码和检测所获得的误差。标号19代表打印布局选择电路。标号20代表输入/输出信息控制电路(读出装置)，用于控制来自/去往RAM的输入/输出数据。标号21代表RAM，用于存储相关信息和声音信息等等(作为可视信息存储装置，声音信息存储装置，相关信息存储装置及全信息存储装置)。
标号22代表打印机，例如一台热敏打印机，它根据需要打印出RAM或文本存储器的内容，标号23代表被打印的数据。
标号24代表控制着所有电路(各个装置)的控制器，它由一台微型计算机构成，包括CPU、RAM、ROM和I/O端口，ROM中存储用于控制各电路的程序。控制器24的作用可以包括连接装置，打印控制装置，显示控制装置，保密附加装置，通行字设定装置，恢复装置，分类表产生装置，页号附加装置，声音信息恢复装置等等。
标号25代表一区域计算电路，用于计算可以打印在一张打印纸上的区域，用于打印可视声音及相关信息的区域，以及由钢笔1、键盘5等等指定的一个区域(作为代码表达区域计算装置，数据表达区域计算装置，剩余区域计算装置)。区域计算电路25是由CPU构成的。
标号26代表声波发生电路，用于把输入的声音信号(通行字)转换成波波形。标号27代表声波比较电路(声波比较装置)，用于比较被削波成波形的两个声音信号并鉴别是否相符。
标号28代表区域比较电路(区域确定装置)，用于比较由区域计算电路25算出的值并确定哪个值大。标号29代表通行字控制电路(通行字判定装置，保密取消装置)，用于把打印在打印纸上的口令与后来输入的通行字相比较，并且根据通行字是否相符来控制保密取消功能。标号30代表数值计算电路(长度计算装置)，用于执行各种计算。数据计算电路30由CPU构成。
标号31代表区域移动功能电路(区域移动装置)，用于区域的移动。标号32代表坐标系统自动校正电路(相关信息校正装置)，用于校正相关信息的坐标。标号33代表插入功能电路(附加插入装置)，用于把声音信息附加插入到各个信息当中。标号34代表自动对齐功能电路(对齐装置)，用于按照坐标对齐相对相关信息。标号35代表区域复制功能电路(区域复制装置)。标号26代表放大/缩小功能电路(放大/缩小装置)，用于放大和缩小声音信息的点径。
标号37代表由RAM和ROM构成的存储器。RAM包括文本存储器和工作区。ROM中存储控制器24的程序，用于控制二维条形码的产生，二维条形码的识别，编辑方式管理，编辑打印等等。还用了一个软盘驱动器(FDD)58，可以从中读出信息。
以下要说明图2所示的数据处理系统中输入声音的方法以及显示和打印声音信息的方法。
首先由键盘5，钢笔1及图象阅读器14等等产生文件信息，图形信息以及图象信息等等。然后输入声音。
以下参照图3至27详细说明本发明。
参见图3的流程图，其中描述了在图2的数据处理系统中用于输入声音的程序内容。
首先进行的程序是确定声音确定输入模式(步S201)。然后由和显示器件2b结合在一起的光标或报告纸2a构成的坐标指定装置指定要产生的一部分声音，如图4中的P1和P2所示的部分(步202)。按下键盘5上的声音输入键通过话筒11a(步203)开始声音输入(步S204)。再次按下声音输入键(步205)结束声音输入。
用A/D转换器12a把输入声音的模拟信号转换成数字信号(步S206)并由条形码转换电路8将其转换成二维条形码数据(步207)。在这一点上使用于文件、图形和图象信息的指定区域的坐标信息与二维条形码声音信息相关联(步S207)。
采用二维条形码来存储用于控制关系的相关信息(相对相关信息)(步S208)。如果同一个文件中有多处需要产生声音，就重复相同的操作(步S209)。
图5示出了相关信息的一个实例。在图5中，相对相关信息，文件信息，图象信息，图形信息以及转换成二维条形码的声音信息分别被记录在区域A、B、C、D和E中。按照输入的顺序在符号后面加上标号(n)，使各个信息相关联。
用于相对相关信息的区域A设在一张纸的标题部位，因而不需要用前置的装置来识别声音信息的位置。以下参照图6说明相关的方法。
例如，文件、图象、图形及声音信息的区域B、C、D和E是相关的。在这种情况下，把指示E域B的点bn，bn′的从标(Xbn，Ybn)，(Xbn′，Ybn′)，指示区域C的点Cn和Cn′的坐标(Xcn，Ycn)和(Xcn′，Ycn′)，指示区域D的点Dn和Dn′的坐标(Xdn，Ydn)和(Xdn′，Ydn′)，以及指示区域E的点en和en′的坐标(Xen，Yen)和(Xen′，Yen′)都记录在相对相关信息区域A中。
例如，在点bn和bn′指示的区域是由钢笔或光标指定时，以便产生区域B中的文本的声音。这样就可以在A区域中调入指示区域E的点en和en′的坐标。
相对相关信息和二维条形码的声音信息可以由图象阅读器14读出。如果发生读出误差，就在相对相关信息和声音信息的二维条形码的每个框结尾处加上一个检测和，以便将其再次读出。例如，在相对相关信息和声音信息的每个框的结尾用标号加上一个信息串总和的结果。图7示出了检测和附加程序的流程图。
首先读出相对相关信和声音信息的二维条形码(步391)，计算信息串的总和(步S302)。然后读出按顺序打印的信息串的总和的条形码(步S303)。把由此获得的两个值相互比较(步S304)。如果彼此相等，就判定没有出现误差。如果彼此不同，就重新执行读出。
以下参照图8所示的相对相关信息数据结构来说明相对相关信息的数据总和的计算方法。
为相对相关信息附加上标号1至n，对标号1来说，要记录指示区域a至e的(Xa1，Ya1)，(Xa1′，Ya1′)直至(Xe1，Ye1)，(Xe1′，Ye1′)，它们的总和如下式所示为S1和S1′。
S1＝(Xa1＋Xb1＋....＋Xe1)＋(Ya1＋Yb1＋....＋Ye1)S1′＝(Xa1′＋Xb1′＋....＋Xe1′)＋(Ya1′＋Yb1′＋....Ye1′)把这些数值加在数据的结尾。类似地，在第二行中，在标号2上以及其后计算总和。
如图9所示，相对相关信息和声音信息的条形码可以加在文件信息的近旁，并且加在图象信息和图形信息的近旁。例如，为了完成声音输入，如果在文件信息的一部分中需要产生声音，就把相对相关信息和声音信息的二维条形码象划线那样加到文件中。划线是由垂直的n-点和水平的m-点来描述的，其起始点处于发出声音的文本的开关。点数n和m是由数据量来决定的。
如图10所示，如果需要为图形或图象信息附加声音引导，在指定了图形和图象信息并且完成了声音输入时，就可以象一帧信息那样或是在一个区域的角部加上相对相关信息和声音信息的二维条形码。
在区域左上角的起始点顺时针或逆时针记录框形的声音信息。数据宽度(点数)是由数据量以及区域的外周边长度等等来确定的。如果把声音信息加在区域的角部，就根据数据量及区域尺寸等等来确定垂直和水平点的适当点数。在这些情况下，如果指示出了打印在纸上的相对相关信息，就可以立即听到声音信息。
如上所述，在打印存储的信息时，打印工作可以用各种打印格式来执行。
图11示出了用于选择打印格式的程序流程。
在输入文件信息，图像信息及图形信息(步S501)时，执行决定声音输入模式的程序(步S502)。在产生声音时选择是否加上检测和(步503)。
在输入了声音并把声音和相对相关信息转换成二维条形码(步S504)之后，附加检测和(步S505)。如果不附加检测和，就选择打印格式(步S506)。然后在纸上执行打印(步S507)。
图12示出了可在步S506中选择的一例打印格式。
区域A、B、C、D和E分别表示相对相关信息，文件信息，图象信息，图形信息及声音信息。例如，按照(5-2-1)，相对相关信息出现在纸上的标题部位。因而不需要使用前置装置来识别相对相关信息的位置，由此可以缩短处理时间。
按照(5-2-5)，相对相关信息和声音信息以划线的形式被记录在文件信息中，从而可以同时按原样产生声音。
按照(5-2-6)，用二维条形码代表的部分被设在纸的下部，以便使用者能较容易读出文件。这样就根据布局的方法提供了各种特征。还有其他的布局图形没有示出。这样就可以选择满足使用者需要的布局图形。
按照这样选择的布局，可以利用钢笔或光标移动、放大和缩小文件信息图形信息必图象信息。
在读出记录有声音信息的纸时，重放的声音应该受到控制，根据环境条件应该能够停止声音的重放以及调节音量。为了执行这些功能，在读出之前可以选择重放声音控制。
图13是重放声音控制程序的流程图。
首先执行制定读出模式的程序(步S601)。显示出图14所示的屏幕。通过在屏幕上移动光标或利用钢笔来选择音量控制(步602)。
在声音重放被关断的情况下，读出打印纸(步S608)并且显示在屏幕上(小S609)。这样，设定就完成了。如果需要控制音量，就使用图14所示在显示屏幕上移动的光标或是利用钢笔来控制音量(步S603)。在声音重放被接通的情况下，步S603中的音量控制屏幕被跳过，并且读出打印纸(步S604)。纸上的信息被显示在显示屏幕上(步S605)。用光标或钢笔指定需要声音重放的信息(步S606)。然后产生声音(步S607)。
在读取其上存在声音信息的纸的情况下，在屏幕上显示的文件、图象和图形信息可能难于读出。为了避免这种情况，在读之前可以选择存在声音信息显示。
图15是选择存在声音信息显示的流程图。首先确定读出方式(步S701)。图16所示的选择屏被显示，通过在显示屏上移动光标或用笔选择存在声音信息显示(步S702)。如果需要声音信息显示，则整个纸就被读出并被显示(S703)。如果不需要声音信息显示，则在读纸并被提取用来显示之后，根据相对相关信息识别用于相对相关的信息和声音信息的区域。
图17和图18表示存在声音信息显示的例子。区域A、B、C、D和E分别表示相对的相关信息、文件信息、图象信号，图形信息和声音信息。图17表示正常显示。如果在图15的步S702选择OFF，则可得到图18所示的显示屏，因而，可以更容易看清楚。
下面说明纸被读出以及产生声音的情况。
在所用的信息处理器的内存容量的范围内，所有用二维条形码表示的声音信息可被存储在内存中并在需要时被调出产生声音。
图19表示当读纸以便产生声音的处理流程图。
其上描绘着每一信息的纸由扫描器读取(步S801)，并在屏上显示图象(步S802)。
用二维条形码表示的相对相关相信和声音信息被记录在内存中(步S803)，按需要调用特定地址的存储器(步S804)并产生信息的声音(步S805)。
所有声音信息被存储在存储器中并根据需要调用以便产生声音。此外，根据相对相关信息每次如此控制图象阅读器14，使得只有所需要的声音信息被读取以便产生声音。
用20是只读用于产生声音的特定声音信息的处理流程图。
其上描绘着每一信息的纸由扫描器读取(步S901)。在屏幕上显示图象(步S902)。然而，用二维条形码表示的声音信息不被记录在内存中。其声音要被产生的特定文件信息，图象信息和图形信息借助于指定特定位置的例如笔1被选择(步S903)。因而，特定声音信息的位置从相对相关信息中调出(步S904)。控制阅读器(步S905)。只有特定信息被读出(步S906)。这样，便产生声音(步S907)。
图21表示用来指定其声音要被产生的特定文件信息、图象信息以及图形信息的特定位置的笔1是具体结构。相同的标号指定相同的成分，如图2所示。按照图21的结构，使用笔1和透明的小平板2a，小平板2a迭放在显示器件2b的屏上。显示器件2b的屏上显示的A、B、C、D和E分别表示用于相对相关信息，文件信息、图象信息、图形信息以及声音信息的区域。
为了产生区域B内正文部分的声音，用笔1或光标指定小平板2a上的区域B并被移到特写的区域，按下指定键指定该特定区域。因而，表示区域E及其类似物的点坐标被从RAM21中的区域A上的信息中调出。控制器24根据坐标计算打印纸进给器13a的纸进给量。打印纸进给器13a被操作读出特定声音信息。
现在说明用来产生声音信息的声音的定时。例如，在声音信息被输入并且相关信息在屏上显示的状态下，可以产生相应于光标所在区域或由笔1及其类似的指定区域的声音信息的声音并输出这种声音。
图22是表示通过区域指定进行声音产生输出处理的流程图。
当输入一种声音时，被指定的文件信息中的特定区域通过反演(in Vers ion)及其类似方式表示。在图象和图形信息中的特定区域用成帧表示。区域的数字数据例如根据顶尖坐标X和Y方向的数字值以及用来决定哪个声音信息要被配对的序列数及其类似的被记录在相对相关信息中。
使用笔1或光标进行指定(步S1000)，当光标进入区域(步S1001)或笔13指定区域(步S1002)时，记录在该区域中的序列数用相对相关信息检查，从而调出相应的声音信息(步S1003)。这样，便产生声音(步S1004)。
现在对用光标移动指定文件、图象和图形信息中的特定信息的方法进行详细说明。如图23所示，假定应当产生声音的特定文件信息b的区域由具有坐标(Xb，Yb)和(Xb’，Yb’)的矩形表示，并且光标在当前点的位置用(Xc，Yc)表示。
图24是标移动处理的流程图。
用键盘使光标沿所选方向移动(步S1005)，表示文件信息b区域的坐标和光标位置沿X坐标方向进行比较(步S1006)并设Y坐标方向进行比较(步S1007)。在坐标范围内时则产生声音(步S1008)。
当用上述方法产生声音信息的声音时，即使在先前指定的区域中的声音信息的声音没有全部产生也可以指定其它区域。
如图25所示，当产生声音的特定文件b1和b2存在于文件信息区域B中的情况下，首先指定文件b1，然后在产生声音的中间指定文件b2。在这种情况下，在文件b1的声音信息被完全重放之后，留一空白时间，然后重放文件b2的声音信息。
图26是用来等候声音重放的时间表。图27是处理等待声音重放的流程图。
在文件信息区B中的文件b1被指定(步S1101)，文件b1中的声音信息被重放(步S1102)。如果在重放期间文件b2被指定(步S1103)，则确定文件b1是否正被重放(步S1104)。如果文件b1正被重放，则重放被边连续地进行(步S1107)。如果重放被完成，则留一段空白时间(步S1105)。然后，重放文件b2的信息(步S1106)。
这样，声音信息和其它印刷信息相关并被记录在纸上，使得在纸文件、图象和图形信息的内容可被填满。
例如，可以印刷难于用正文表示的声音图象，作为声音信息的带感情色彩的演讲内容之类附随在文件、图象和图形信息上，并作为声音信息增加与它们相关的补充信息。
当声音信息与其它信息相关并被记录时，该信息可得到不同的利用。更具体地说，当用于文件、图象和图形信息的声音信息的声音被产生并被输出时，利用对齐装置例如鼠标或笔或光标移动来如此指定文件、图象和图形信息的特定区域，使得与该特定区域相关的声音信息的声音可被重放并被输出。
当产生并输出声音信息的声音时，可以用所确定的形式显示相关的文件、图象和图形信息的特定区域。
在前一情况下(声音信息从其它信息中被输出)，具有感情色彩的或难于用语句表示的声音信息可用字母或文件传输。此外，可以实现一种从不是声音信息的印刷表示到声音信息的字典。而且禁止被人看到的严格保密信息可以作为声音信息被记录和管理。此外，可以通过光标移动而不用看显示器读取文件信息。
在后一情况下(除声音信息之外的区域通过声音信息输出在显示屏上被引导时)，除声音信息之外的信息可被相关并按照声音信息流被看见。因此，文件信息之类可以读出而不看显示器并且不移动光标，与声音信息相关的其它信息可被显现。因而，可以进行在图上向一个目标的引导，并可以实现从声音信息到其它信息的字典。
此外，可以以纸的形式保留和管理声音信息，使得更容易地进行管理和检索。更具体地说，可以容易地进行信息填充并可用复印机拷贝纸上的信息。因而，可容易地把信息散发给许多人。此外，包括声音信息的印刷品可作为各种出版物发行。这样，可以提供在不贵的纸上散发声音信息的装置并用作各种通信。
以上所述可以通过不同方法把声音信息和相关信息印在纸上来实现。例如，通过把声音信息和相关信息印在纸的标题部分或者印在文件、图象或图形信息区域内，或者附加用二维条形码表示的保留信息用来消除读误差，可以这样选择帧，使得符合要在纸上描述的信息的目的。这样，可以获得各种印刷品。
在重放时，用来产生纸上声音信息的声音的输出可被抹去并被控制。此外，声音信息的信息二维条形码以及被显示的声音相关信息可被抹去。
在显示器上的声音指定由光标进行连续请示的情况下，先完成一个声音输出，然后可以听见下一个声音，因而，这些声音可以被听见而不会重迭。
此外，可以集中地读取纸然后输出声音。而且每读一次便可产生一次声音输出。
按照以上参考图2至图27说明的本发明的结构，在由区域指定装置指定的区域中的可视信息和声音信息可以相关并被存储。因此，可以进行使可视信息与声音信息相应的处理。
在只有声音信息或相对相关信息被印在可视信息的周边部分的情况下，声音信箱中以容易地和可视信息相相应。
在只有声音信息或相对相关信息被印在由区域指定装置指定的可视信息附近时，可以容易地识别可视信息和声音信息之间的关系。
在进一步提供有读出装置，重放条件指示装置，识别装置和声音重放装置的情况下，可以按照环境降低重放声音的音量以及停止声音的重放。
在具有读出装置，显示装置，条形码显示条件指定装置以及显示控制装置的情况下，如果条形码和可视信息一起播放使可视信息难于阅读时可以阻止条形码的播放，因而可以容易地看见可视信息。
在具有声音信息重放指定装置，读出置和声音重放装置的装置的情况下，可以只重放相应于指定的可视信息的声音信息。
本发明下面将参照图28至43进行详细说明。
图28A、28B表示按照本发明的打印纸打印的一个例子及其显示之间的位置关系的图。在图28A和28B中，标号28-1表示打印的例子，其中以文字表示的文件信息，图象信息，图形信息和以二维条形码表示的声音信息一起印在打印纸上。标号28-2表示在显示屏上显示的打印纸显示的例子。
在由图2所示的扫描器13b读出的打印纸上的各个信息被存储在RAM21中。实际上只有位于28-2中的双帧部分被在显示屏上显示。
其中，a、b、c、d和e分别表示相对相关信息，以打字表示的文件信息，图象信息，图形信息和以二维条形码表示的声音信息。
一组相关信息存放在a至e中，假定b1与e1相关，b2与e2相关。下面将要说明的符号a至e和上述的相同。
图28B表示一个例子，其中与在图28A中的显示屏上指定的声音信息相关的信息(坐标)被上卷从而进入屏幕区。
图29是表示按照本发明声音重放和显示处理(1)的流程图。图29的流程图表示一种处理，其中声音信息的特定坐标e1通过笔1或用键盘5移动光标进行指定，使得相关信息b1的区域可以进入屏区。
在图29中，信息e1的二维条形码被指定(步S1A)。在这种情况下，与信息e1相关的信息b1的坐标被从相对相关信息a中调出(步S1B)。通过条形码恢复电路9、D/A转换器12b，扬声器11b使声音重放(产生)。信息b1在显示屏之外。确定信息b1是否被在显示屏上显示(步S1D)。如果信息b1不在显示屏上显示，显示屏就被上卷使信息b1进入那里(步S1E，见图28B)。
图30是按照本发明声音重放和显示处理(2)的流程图。在图30的流程图中，步骤S2A至S2E的流程和图38A、28B中相同。在图28B的状态下在声音信息e1正被重放的同时用键盘移动光标(步S2F)。然后确定声音信息e1是否正被重放(步S2G)。如果声音信息e1正被重放，便确定相关信息b1是否通过光标移动在显示屏上显示(步S2H)。如果相关信息b1不被在显示屏上显示，则光标被返回原处(步S21)。如果声音信息e1在步S2G中已完成重放，便确定其它声音信息的坐标是否被指定(步S2J)。如果其它声音信息的坐标被指定，程序返回步S2A。如果光标被移动(步S2K)，程序返回步S2F。
图31是表示按照本发明的声音重放和显示处理(3)的流程图。在图31的流程图中，用文字表示的文件信息，图象信息，图形信息和用二维条形码表示的声音信息由扫描器13b读取(步S3A)并被存放在RAM21中(步S3B)。如果输入用于检索与声音信息相关的所有信息b的指定，声音信息就被按顺序重放(步S3C)。确定相关的信息b是否被在显示屏上显示(步S3D)。如果相关的信息b不在屏上显示，则显示屏被上卷，使信息b进入那里(步S3E)。然后确定是否有其它的声音信息(步S3F)。如果有其它声音信息，程序返回步S3C。
图32A、32B表示输入到打印纸上的二维条形码的一个例子(1)，例如，图32A表示的状态是，相对相关信息a，文件信息b和图象信息c被输入的状态。图32B表示以二维条形码表示的声音信息e被输入的状态。
图33是按照本发明计算二维条形码区域的处理流程图。在图33的流程图中，首先输入声音信息(步S4A)，并由A/D转换器12a数字化再用条形码转换电路8转换成条形码(步S4B)。由区域计算电路25计算在打印纸上打印被编码的声音信息所需的区域(步S4C)。如图32B中P1所示，由键盘5通过光标操作或利用笔1指定打印开始位置P1(开始点P1)(步S4D)。指定垂直边长度或水平边长度(步S4E)。
如果水平边长度被指定，则表示水平边长度的位置P2被指定(步S4J)。由水平边长度和所述区域计算垂直边长度(步S4K)，并在显示屏上显示该区域(步S4M)。如果不合适，程序返回步S4J，从而指定P3和P4，如图32B所示。
如果打印开始位置用键盘操作光标或利用笔再次被指定(步S4N)，则程序返回步S4D。如果合适，则确定该区域(步S4D)。如果垂直边长度被在步S4E中指定，则执行相同的操作(步S4F到S4I)。
图34是表示按照本发明对于二维条形码点径进行处理的流程图。在图34的流程图中，首先输入声音信息(步S5A)。条形码点径由条形码转换电路8中的点径指定电路指定(步S5B)。按照环境，可以以低密度条形码点径进行条形码转换(步S5C)或以高密度条形码点径进行转换(步S5D)。
图35是表示输入到打印纸的二维条形码的例2的图示如图35所示，信息a到d已被输入，信息e正被输入。
图36表示按照本发明进行计算打印面积的处理流程图。在图36的流程图中，可被打印的打印纸上的总面积用面积计算电路25计算，这样获得的值是S(步S6A)，然后，计算除二维条形码之外的信息(a到d)占据的面积，其值为S1(步S6B)。可以打印二维条形码的面积由S和S1进行计算，所得值为S2(S2＝S－S1)。进而计算具有低密度点径的条形码打印需要的面积，所得的值为S3(步S6D)。
确定是否可以以具有低密度点径的二维条形码打印，即S3是否等于或小于S2(步S6E)。如果是，则以具有低密度点径的二维条形码进行打印。如果否，则计算以具有高密度点径的条形码打印所需的面积，所得的值为S4(步S6G)，确定是否可以以具有高密度点径的二维条形码进行打印，即是否S4小于或等于S2(步S6H)，如果是，则以具有高密度点径的二维条形码进行打印(步S6I)，如果滞，则不能在该面积内进行打印(步S6J)。
图37A和37B是表示输入给打印纸的二维条形码的例子的图。
如图37A所示，输入包括信息a至d的信息S1。用斜线表示的剩余部分S2是可以打印以二维条形码表示的声音信息的面积。
图38是按照本发明计算打印面积的处理流程图。在图38的流程图中，步S7A到S7C和图36中的S6A到S6C相同，可以打印用二维条形码表示的声音信息的面积为S2(步7C)。
用于打印低密度上点径的二维条形码的所需面积为B1(步S7D)。用于打印高密度点径的二维条形码的所需面积为B2(步S7E)。假定用于打印高密度点径二维条形码的所需面积B2具有用于打印低密度点径二维条形码的所需面积B1的C倍的压缩比B2＝(1/C)×B1(步S7F)。根据公式S2＝B1＋B2以及B2＝(1/C)×B1，用于打印具有低密度点径二维条形码所需的面积可由下式计算B1＝(1/C)×S2(步S7G)，这样，在面积B1内用低密度点径的二维条形码打印第一声音信息(步S7H)。其余的声音信息在面积B2内以高密度点径二维条形码打印(步S7I)。
图39是表示按照本发明压缩二维条形码的处理流程图。在图39中，输入的声音首先被数字化(步S8A)，然后设定二维条形码的压缩程度(步S8B)。数字化的数据被转换成条形码(步S8C)，压缩的条形码被实际地重放(步S8D)。如果不能听见声音信息(步S8E)，则程序返回步S8B，使得重置压缩程度。如果可以听到声音信息，则进行打印(步S8F)。
图40A和40B是表示按照本发明对二维条形码进行加密处理(1)的流程图。下面说明具有保密功能的二维条形码及其检索。图40A是发送例的流程图，图40B是接收例的流程图。在用于发送例的图40A的流程图中，首先输入声音信息(步S9A)。确定是否设置加密(步S9B)。如果设置了加密，就输入通行字(步S9C)。通行字和声音信息一道被转换成条形码(步S9D)。然后进行打印(步S9E)。
在图40B的用于接收例的流程图中，用扫描器读取打印纸(步S9F)。确定读出的信息是否是加密数据(步S9G)。如果是，就输入通行字(步S9H)。输入的通行字和打印纸上的通行字进行比较(步S9I)，如果相符，则执行重放(步S9J)。
图41A、41B表示按照本发明对二维条形码进行加密处理(2)的流程图。使用声音通行字具有加密功能的二维条形码及其检索说明如下。图41A是发送例的流程图，图41B是按收例的流程图。
在用于发送例的图41A的流程图中，首先输入声音(步S10A)，确定是否设置加密(步S10B)，如果设置加密，就用声音输入通行字(步S10C)。用声音波形发生电路26把输入的声音转换成通行字数字信号形状的波形(步S10D)，把所述波形用条形码表示(步S10E)，进行打印(步S10F)。
在图41B用于接收例的流程图中，用扫描器读打印纸(步S10G)。确定读出的信息是否含有加密数据(步S10H)。如果是，就用声音输入通行字(步S10I)。用声音输入的通行字由声音波形发生电路26转换成通行字数字信号形状的波形(步S10J)，用波形比较电路27和在打印纸上的通行字数字信号进行比较(步S10K)。如果相符，就执行声音信息的的重放(步S10L)。
图42A和42B是按照本发明对二维条形码加密处理(3)的流程图。对一个对每一声音信息附加加密功能及其声音信息检索的例子说明如下。图42A是发送例的流程图，图42B是接收例的流程图。
在图42A的流程图中，首先输入声音信息(步S11A)并输入通行字(步S11B)。然后把它们转换成条形码(步S11C)。如果有另一个要被重放的信息(步S11D)，则把该声音信息输入(步S11E)，并输入通行字(步S11F)，然后转换成条形码(步S11G)，如果还有另一个声音信息(步S11H)，则重复这一操作。如果没有声音信息，则进行打印(步S11I)。
在用于接收例的图42B的流程图，读取打印纸(步S11J)。然后证实加密数据是否存在(步S11K)。如果存在，就输入通行字。当输入通行字时(步S11L)，所输入的通行字便和打印纸上描绘的通行字进行比较(步S11M)。如果不符合，就不进行声音重放。如果符合，则所有与通行字相关的声音信息被重放(步S11N)。如果具有由另一通行字加密的声音信息(步S11O)，则输入该通行字。
图43是按照本发明对二维条形码进行加密处理(4)的流程图。图42所示的用几个通行字打印与所设通行字相关的声音信息的类别表的例子说明如下。
在图43的流程图中，如果加密功能加于许多声音信息，在其上已经描绘有文件信息，图象信息，图形信息和以二维条形码表示的声音信息的打印纸被读取(步S12A)，输入通行字(步S12B)。如果通行字相符(步S12C)，则所有与通行字相关的信息被重放并被存储在RAM(存储器)中(步S12D)。如果有另一个通行字，程序返回步S12B并重复相同的操作。如果没有另一个通行字，则打印每个通行字的类别表(步S12F)。
按照本发明的结构，如参照图2和28至43所述，可以获得如下效果。
在与声音信息相关的可视信息被在打印纸上检索的情况下，在打印纸上用二维条形码表示的声音信息附加于包括文件信息，图象信息和图形信息的可视信息上，被编码成二维条形码的声音信息的特定坐标被如此指定，使得相应于特定坐标的声音信息被重放的同时，相关信息被上卷并在屏上的显示区域内显示。因而，相关于指定声音信息的信息可在显示屏上被证实。
此外，有几个用于相关于声音信息的信息块。即使特定声音信息正被重放时光标被移动，屏幕会如此上卷，使得正在重放的相关于声音信息和信息可以总是留在显示区域中。因此，相关信息不会不被显示。
当所有信息被存储在读存储器中，并且检索相关于声音信息的所有可视信息的指定被输入时，所有声音信息可被按顺序重放并相关于声音信息的信息可被在屏上显示。因而，可同时得到声音信息和相关的可视信息的内容。
在输入的声音信息被编码成二维条形码并被印在打印纸上的情况下，当在屏上分别指定打印的起点以及水平或垂直长度时，水平或垂直长度被自动计算。因而，打印面积被在屏上实时地显示，使得通过眼睛可以证实，因而可有效利用打印纸。此外，在确定之后，容易改变位置，面积及其类似物。
在输入的声音信息被编码成二维条形码并被印在打印纸上时，按照环境可以选择高或低密度点径的二维条形码，因而，当读声音信息时，在保证获取二维条形码的同时可以调整由二维条形码占据的面积。例如，如果在读出时为了减少错误率，则选择低密度径的条形码。
按照由二维条形码占的面积的条件，自动地确定应当选择高或低密度点径的二维条形码以便转换。因此，当读声音信息时，在保证二维条形码的质量的同时，可以有效地利用可打印声音信息的面积。
按照由二维条形码战胜的面积的条件，可以在中途从低密度向高密度转换二维条形码的点径。因而，可以充分利用可打印声音信息的面积。
当把输入的声音信息编码成为二维条形码时，对于声音信息被听见的范围设置最小的压缩程度，因而，可以减少二维条形码的读取错误。
当对输入的声音信息设置通行字时，加密功能可被附加或删除。
当对输入的声音信息附加加密功能的设置通行字时，声音可被形成波形并作为通行字存储。输入的声音可以和通行字波形比较，因而，可用声音来附加并删除声音信息的加密功能。
因而可以提供几个加密功能用于对每个输入的声音信息设立通行字，便可以检索相应于每个通行字的声音信息。
当检索与所设立的通行字有关的每个声音信息时，可以在屏幕上显示或打印所设通行字以及和通行字有关的声音信息的类别表。
下面参见图44至57对本发明进行更详细的说明。
图44表示按照本发明在一个区域内移动声音信息的功能。图44所示的功能表示用二维条形码表示的声音信息的区域移动进行编辑相对相关信息的处理。
在图44中，a、b和e代表相对相关信息，文件信息和用二维条形码表示的声音信息。
相对相关信息a是位置信息(声音信息管理信息)它表示如下区域的坐标以二维条形码表示的声音信息e的区域，相关信息b到d的区域，这些区域是信息源区域，包括文件信息b，图象信息c，图形信息d。声音信息e和信息源的信息b到d彼此相关。在相对相关信息a的区域中存在几个相对相关信息。
信息b1和e1彼此相关，信息b2和e2彼此相关。这样获得的相对相关信息由a1和a2表示。以下将要说明的符号a到e和上述的相同。
图45是按照本发明用来编辑相关信息的处理(1)的流程图。参照图44和图45说明用由二维条形码表示的声音信息的区域移动进行编辑(校正)相关信息(相对相关信息)的处理。
在图45的流程图中，用扫描器读取打印纸，其上已经印好相对相关信息a，文件信息b，用二维条形码表示的声音信息e以及类似物(步S1010)，并在屏上显示(步S1020)，选择应当被移动的声音信息(S1030)，指定声音信息的移动目标(步S1040)，利用区域移动功能执行或删除声音信息的区域移动(步S1050)。在删除的情况下，程序返回步S1020中的原始显示屏。在执行的情况下，声音信息被移到指定的区域(步S1060)。利用声音信息的区域移动相对相关信息的内容被校正(步1070)。
对步1070更一步说明。如图44所示，当声音信息e2的区域被移动指定的区域时，相对相关信息的坐标e2(Xe2，Ye2)和(Xe2-1，Ye 2-1)通过互锁校正功能被互锁地校正成为移动目标的坐标(Xe2-2，Ye2-2)和(Xe2-3，Ye2-3)。
按照编辑处理，当用二维条形码的表示的声音信息在显示屏的区域中移动时，相对相关信息被互锁地自动校正。因而，在移动之后不需要校正相对相关信息，从而可容易地实现区域移动。
图46表示按照本发明插入声音信息的图。图46的功能表示用附加插入二维条形码表示的声音信息编辑相对相关信息的处理。信息b1、c1、d1和e1，以及b2、c2、d2和e2分别是相关信息，a1和a2是相对相关信息。
图47是按照本发明的用于编辑相关信息的处理(2)的流程图。参照图47和图46说明当声音信息被插入已经附加有几个声音信息的文件信息中时所执行的相对相关信息的处理。
在图47的流程图中，用扫描器读打印纸，在其上已经印在相对相关信息c，图形信息d，用二维条形码表示的声音信息e以及类似物(步S2010)，并在屏上显示(步S2020)。利用插入功能执行或删除声音信息的插入(步S203)。在删除的情况下，程序返回步S2020的原始屏幕显示。在执行的情况下，声音信息被插入(步S2040)。被插入的声音信息和相对相关信息的坐标被加上(步S2050)。几个相对相关信息利用对齐功能按照比较靠近打印纸的起点的顺序被对齐(S2060)。
对步2040至2060进行详细说明。如图46所示，在和声音信息e3相关的信息b3、c3和d3被分别加在信息b1和b2，c1和c2以及d1和d2之间的情况下，相对相关信息a3被插在信息a1和a2之间，完成再次编辑。
按照这种编辑处理，应当用二维条形码表示的声音信息再被插入几个用二维条形码表示的几个声音信息中时，相对相关信息被自动地再次相关对齐。因而，信息可容易地被检索。
图48表示按照本发明增加相关信息的页信息的功能。图48所示的功能表示一种编辑处理，即在几页上分别印有以二维条形码表示的声音信息和与声音信息相关的信息的情况下，对相对相关信息增加页信息。
如图48所示，当在页1上有相对相关信息a和文件信息b，页2上有图象信息c，页3上有声音信息e时，再对相对相信息加上页信息。
图49是按照本发明用于相关信息的处理(3)的流程图。参照图48和图49说明，当在几页印在二维条形码表示的声音信息的纸上产生每个相关信息时所执行的编辑相对相关信息的处理。
在图49中，如图48所示，当相对相关信息a和文件信息b在页1上产生，图象信息c在页2上产生以及声音信息e在页3上产生时(步S3010)，页数被加于每页的标题部(步S3020)。页数和页的坐标信息相结合，被加于相对相关信息上，并存储在RAM中，从而被印于页1的标题部(步S3030)。
按照这种编辑处理，印在几页纸上的声音信息和相关信息可以被这样管理，使得以二维条形码表示的声音信息可利用的范围可以扩大。
图50是按照本发明保持声音信息的功能的图，图50所示的功能表示，在几页纸上印有以二维条形码表示的声音信息的情况下，只取出声音信息而在另一纸上保持相同声音信息的编辑处理。
如图50所示的情况是，在页1上印有声音信息e1和e2，页2上印有声音信息e3和e4的情况下，相同的声音信息e1至e4被按顺序从标题中取出并被保持在纸上的情况。
图51是表示按照本发明保持声音信息的处理流程图。参见图50和图51说明在几页纸上印有相关声音信息的情况下，只取出声音信息并把其保持在纸上的编辑处理。
在图51中，用扫描器读具有多页的打印纸，其上印有以二条形码表示的声音信息和每种信息(步S4020)。在删除的情况下，程序停留在步S4010中的原始屏幕。在执行情况下，只有声音信息按比较接近起点的页数和坐标系统的顺序被取出并在新的页上排齐并显示(步S4030)。这样显示的声音信息被打印并保持在打印纸上(步S4040)。
按照用于保持声音信息的处理，只有以二维条形码表示的声音信息可以从印在几页纸上的信息源中取出并被打印保持在另外的打印纸上。
图52表示按照本发明调用声音信息和与声音信息相关的信息的功能。图52所示的功能表示，用来拾取图50中保持的声音信息并从相对相关信息中调用相关信息的编辑处理。如图52所示，印在另外纸上的声音信息e1到e4被这样拾取，使得相关信息可被排齐并从相对相关信息中调用。
图53是按照本发明的检索相关信息的处理流程图。参照图53和图52说明用来把几页上的声音信息收集在另一纸上并始此选择声音信息，使得与声音信息相关的信息可被调用的编辑处理。
在图53中，选择在图50中排齐的声音信息(小S5010)。声音信息的声音产生(重放)被执行或删除(步S5020)。在删除的情况下，声音信息不被重放，而在声音信息下面的相关信息例如文件信息，图象信息或图形信息被调用并被显示(步S5030)。在执行情况下，声音信息被重放并且相关信息例如文件信息，图象信息或图形信息被调用并显示(步S5040)。
按照检索处理，声音信息被这样检取，使得相关信息可被调用。因而，信息可被更有效地检索。此外，在几页上的和声音信息相关的信息可更容易地被检索。
图54是按照本发明拷贝声音信息区域的图。图54表示的功能表明用以二维条形码表示的声音信息的区域拷贝编辑相对相关信息的处理。
图55是按照本发明用来编辑相关信息的处理(4)的流程图。参照图54和图55说明用以二维条形码表示的声音信息的区域拷贝编辑(校正)相对相关信息的处理。
在图55的流程图中，利用扫描器读出打印纸，其上已经印有相对相关信息a，文件信息b，以二维条形码表示的声音信息e(步S6010)，并在屏上显示(步S6020)。选择要被拷贝的声音信息(步S6030)，指定声音信息的拷贝目标(步S6040)。利用区域拷贝功能执行或删除声音信息的区域拷贝(步S6050)。在删除的情况下，程序返回步S60204原始显示。在执行的情况下，声音信息被拷贝在指定区域上(步S6060)。相对相关信息的内容被加在声音信息的拷贝区域(步S6070)。
现对步S6060到S6070作进一步说明。如图54所示，声音信息e1在文件信息b1(A)下方的底线上进行管理。在相同文件中或在另一文件b(2B)需要声音信息的情况下，则选择应当被拷贝的声音信息e1并指定拷贝目标。因而，拷贝e1-1声音信息。声音信息行的Y方向用坐标Yb2-A＝Ye2表示。声音信息行的X方向用坐标Xb2＝Xe2表示。此外，声音信息e1-1的位置信息被加于相对相关信息。
按照这种编辑处理，声音信息应当被拷贝的区域被指定并用区域拷贝功能拷贝声音信息，使得相对相关信息可被附带地进行互锁校正。因而，不需要再次校正相对相关信息。
图56是说明按照本发明放大/缩小声音信息的功能的图。图56表示的功能表示用于设定点值的处理，以按照阅读器(扫描器)的分辨率对二维条形码进行编码。
图57是按照本发明用于编辑相关信息的处理(5)的流程图。参照图56和图57说明以二维条形码表示的声音信息的点值的放大/缩小。
在图57中，用扫描器读打印纸，其上已经印有相对相关信息a，文件信息b，以二维条形码表示的声音信息e之类，并在屏上显示(步S7010)。选择应当放大或缩小的声音信息(不S7020)，从而设置放大或缩小(步S7030)。放大/缩小声音信息的功能被执行或删除(步S7040)。在删除的情况下，程序返回步S7010的原始显示屏。在执行的情况下，所选择的声音信息被放大或缩小(步S7050)。利用声音信息的放大/缩小相对相关信息的内容被校正(步S7060)。
如图56所示，按照阅读器(扫描器)的辩率可把放大/缩小设定为200dpi或400dpi。
通过编辑处理，提供放大/缩小功能使得可以按照阅读器侧的分辩率设定二维条形码的点尺寸。
按照本发明的结构，如以上参照图2和图44至57所述，可以达到以下效果。
在以二维条形码表示的声音信息根据具有坐标信息的相对相关信息和包括文件信息，图象信息，图象信息之类的信息源的信息相关以便编辑信息的情况下，相对相关信息的坐标信息当在显示屏上移动声音信息区域时被互锁地自动校正。因而，可以更快更有效地进行编辑。因而，不需要再次设定相对相关信息的坐标。
在用二维条形码的表示的声音信息与在几页上描绘的信息相关的情况下，把页数加到相对相关信息上，并且页上的坐标信息被合并，并且被校正。因而，可以管理在几页上的声音信息。
当利用拷贝区域声音信息的功能进行拷贝时，相对相关信息被附带地进行互锁校正。因而不需要再设相对相关信息的坐标。
提供有放大/缩小功能从而使二维条形码的点径可以按照读出例的分辩率设置。
当在信息源的信息中的几个以二维条形码表示的声音信息中附带地插入二维条形码表示的声音信息时，存储在用来存储声音信息的装置中的相对相关信息在附带插入声音信息的同时和相对相关信息重新对齐并校正相对相关信息的坐标信息。因而可以容易地进行信息检索。
只有声音信息被从页页上描绘的信息中检取，并被编辑保存在打印纸上。因而，能够快速地检索声音信息。
如此拾取声音信息。使得和声音信息相关的信息可被调用。因而，可以更有效地检索信息。此外，容易检索和几页上的声音信息相关的信息。
本发明将参照图58至76作详细说明。
按照本发明，编码的页逐出控制码，总计控制码、标题控制码及其类似物被插入正文存储器37，如图2所示，按照现有技术与文件页逐出控制码分开，从而通过使用二维条形码可以进行编辑，并可以产生以满足目的的二维条形码表示的打印方式。此外，打印纸可由扫描器13b取走，如图2所示，从而重复使用数据。
本发明使用的二维条形码描述如下。
参照图58说明打印文件和二维条形码的关系。一个打印字的例子是64点×64点/字符，并在说明中将省略字符和行间隔。作为代码的一个例子。(A)的部分码0601用两个字节表示，即16位。类似地，被用4点编码成为二维条形码的1位为16点×16点，和打印字相比，数据长度被压缩到1/4，而面积被压缩到1/16(见图75和76)。
输出数据中的打印字对二维条形码的面积比为16比1。正文的打印信息可以用缩小的面积表示。即使包括字符间隔的行间距，也可使用相同的方法。
如下面将要说明的，本发明利用二维条形码作为打印格式。当作用二维条形码时，信息被这样压缩，使得在一页上要被记录的文件比正常打印文件打印较多的字符。因此，铅字打印的页行数管理与二维条形码的不同。如果铅字打印的页行数管理是正常的行管理，二维条形码的管理则提条形码行管理。
参照图59A到59L说明从文件显示的正常状态到编码为二维条形码并打印的整个流程。图59A表示按照一个实施例的文字处理机的外貌。
当要被编成二维条形码的文件在文件显示屏591上显示时，如图59A所示，在引导显示屏592上显示“编码”，“摘要”和“打印”。
按下与显示相应的功能键KY1，KY2和KY3，可以选择每个功能。如果选择“编码”，则“页管理”，“级管理”和“摘要管理”在引导显示屏592上显示，如图59B所示。
如果选择“摘要”，则显示屏591就被分成“文件显示591a”和“摘要或标题产生区591b”。如图59C所示，“摘要标题”，“产生”以及“参见文件”在引导屏592上显示。
如果选择“打印”，则在引导显示屏592上显示“页型”，“组型”，“摘要方式”以及“正常”，如图59D所示。
在“编码”方式中“页管理”的情况下，“页管理”被这样选择，使得产生在显示59上显示的文件信息的二维条形码，如图59E所示。包括文件信息的行数和二维条形码作为N行在显示屏591的右下方显示，如图59B所示(N是在那时计算的数值)。如下所述N行可以是剩余行数。
在“编码”方式中的“组(set)管理”情况下，“组管理”被如此选择，使得产生在显示屏591上显示的文件信息的二维条形码，如图59F所示。在页的头部可以输入标题。在显示屏591的右下方显示包括标题的行数和二维条形码。
如果在“编码”方式下选择“摘要管理”，则得到如图59C所示的状态。更具体地说，如果选择用于在显示屏591上显示的文件信息的“摘要管理”(图569B)，则得到图59C所示的显示屏591。显示屏591被分成两个区域。文件信息可以输入其中一个。标题或摘要可以输入另一个中。
如果在“摘要”方式下选择“标题”，区域591b则成为标题产生区域。按下“产生摘要”键，区域591b则成为摘要区域。标题或摘要通常借助于用该键输入的信息产生。如果在引导显示屏592上选择“参见文件”，则文件显示区591a的正文可被引入摘要或标题中。
如果按下“参见文件”键，键盘的光标键就在文件显示区591a中起作用。指定作为目标的正文区域。并按下键盘的执行键。结果，在“参见文件”被选择之前在得到区域591b的最后光标位置时及其之后在文件显示区域591b中的指定区域中的正文便被拷贝。这样，可以有效地产生摘要成标题正文。
如果在图59A中选择“摘要”以便移动到图59C，则产生如图59H的文件数据。如果在图59A中选择“编码”并在图59B中按下“摘要管理”键，从而产生图59D中的摘要或标题，则得到图59G所示的显示。如果在图59D的“打印”中选择“页方式”并被执行，则得到图591中所示的打印。更具体地说，在图59E中产生的条形码行管理中的文件数据的相关页上的文件被打印，并在同一文件下方打印二维条形码图象。
如果在图59D中选择“组方式”，则得到图59J所示的打印。在以打印字打印图59F中的标题之后，文件数据的相关页被编成二维条形码并被打印。如果在图59D中选择“摘要方式”，则得到图59K中所示的打印。在图59K中，在图59G中写的标题以打印方式打印，图59G中所示的摘要文件被编成二维条形码并被打印。
如果在图59D中选择“正常”，则图59H所示的标题和摘要文件以打印字打印。因此，在页逐出之后在文件数据下方产生标题摘要文件或在标题上以及标题之后指定区域的情况下，可以如图59L所示以打印字打印标题和摘要文件。图60表示用于文件信息的页逐出控制码，用于码输出的页逐出控制码，标题控制码以及在文件信息中的摘要控制码。
在正文存储器中，设置行进给码(□)和页逐出码(△)作为常规功能。另外还设有编码页逐出码(●)，标题控制码(☆)以及摘要控制码(◇)作为本发明的功能。
在“页管理”的情况下，页逐出控制码(△)在正常文件中被忽略，因而用于码输出的页逐出码(●)应当再次输入。在这种情况下，条形码行管理意味着由文件信息和与其相应的二维条形码信息占据的行数的管理。
在“组管理”的情况下，在正常文件中的页逐出控制码(△)被忽略，因而用于码输出的页逐出码(●)应再次输入。在这种情况下，条形码行管理意味看由用二维条形码信息代替文件信息获得的行数的管理。有时标题可被输入到页的头部(如图59J所示)。
在“摘要管理”的情况下，在正常文件中的页逐出码(△)被忽略因而用于码输出的页逐出码(●)应再次输入。在这种情况下，条形码行管理意味着由用二维条形码信息代替产生的摘要控制码(◇)获得的行数的管理，有时，标题控制码(☆)可被输入到页的头部(如图59K和59L所示)。通过在标题和摘要正文中的第一输入，可以看到标题和摘要的顺序，因而控制码被自动地插入正文文件中。
图61A到61C表示文字和二维条形码在每次编辑中的打印、显示和存储的结果。图61A和61B表示文字数据和二维条形码被产生时获得的内容。图61C表示产生数据的标题内容。图62表示页管理。图62B表示组管理和摘要管理。
PA＝页头地址PB＝可变地址Lmax＝打印的纵向宽度LW＝文本行距BS＝条形码间距
CW＝条形码宽度CA＝编码的行信息数LAn＝打印字纵向长度LBn＝剩余长度LCn＝编码的纵向长度LDn＝剩余行数＝LBn/LW＝整数值TW＝标题行距LTn＝标题纵向长度TS＝标题下间隔图63是用于码输出和文件的控制码的流程图。在图63中，如果方式是“编码”(步7-1)，用于文件行信息的页逐出控制码被提取(步7-2)。这样提取的页逐出控制码作为行送进码被处理(步7-3)。然后，用于码输出的页逐出控制码被提取(步7-4)。这样提取出的用于码输出的页逐出控制码作为页逐出控制码被处理(步7-5)，在步7-1中，方式不是“编码”，用于码输出的页逐出控制码被忽略(步7-6)。
图64是解释行管理的页管理编辑的流程图。在图64中，页头地址被设定为PA(步8-1)。从纸的大小提取打印的纵向宽并设为Lmax(步8-2)。正文行距由格式条件提取并设为LW，并把一常数设为BS(步8-3和8-4)，然后，当前光标指针的地址作为可变化址设定为PB，并计算从PA到PB由正文使用的行数。这样获得的值和LW的积被设为LAn(步8-5、8-6)。然后，计算(PB-PA)来计算从页头地址到当前光标指针的信息数。这样获得的值被编码的行信息数CA去除。除得的值和CW的积设为LCn(步8-7)。然后计算Lmax－(LAn＋BS＋LCn)。这样获得的整数值设为LBn。LBn被LW除。除得的整数值作为剩余行数显示(步88)。
如果LBn为负值，在LBn变负之前的当前光标指针的下一地址作为负头部地址被设定为PA，这在流程中设备说明。在文件变换格式的情况下，LBn应考虑设置。当计算在步8-6中使用的行数时，用于文件信息的页逐出控制码被忽略并作为页送进码被处理并用于码输出的页逐出控制码作为页逐出控制码被处理。
图65是设置管理编辑的流程图，用来说明行管理。其细节和图64相同。根据需要作为标题输入打印文字信息，文件的内容用二维条形码的处理。例如，可对标题间距TS设一固定值(10mm)。在图65中，页头地址首先被设定为PA，从纸的尺寸提取打印纵向宽度并设为Lmax(步9-1、9-2)。然后，当前光标指针的地址设为PB作为中变地址(步9-3)。
如果名称控制代码出现在文件信息中，就计算名称使用的行数。由此获得的一个值和TW被设定为LTn，并把一个常数(例如10mm)设定为TS(步9-4，9-5和9-6)。在步9-7和9-8中执行与步8-7和8-8相同的程序。
图64，如果在步9-4中没有在文件信息中出现名称代码，LTn和TS就设定为0mm。程序进到步9-7。
图66是摘要管理编辑的流程图，用于解释行管理。信息类型按照需要作为名称被输入。并且把摘要文件内容处理成二维条形码。例如，在名称TS下面的空隙可以设置成一个固定值(10mm)。在图66中，从文件信息中提以摘要控制代码，并把下一地址设定为PA。在此后的步骤中执行与图65中步9-2之后的相同的步骤。
图67是页管理打印的流程图。与图68所示的打印例的方式相同，输出信息类型及其二维条形码。在图67中，用文字打印一个文本，直至从指定的页标题地址检测到用于代码输出的页弹出控制代码(步11-1)。然后按照由空隙BS限定的距离关纸(步11-2)。用条形码打印文本，直至从指定的页标题地址检测到用于代码输出的页弹出控制代码(步11-2)。
图69是组管理打印的流程图。与图70中的打印例的方式相同，输出文本的名称和二维条形码。在图69中，从文件信息提取名称控制代码。如果有名称控制代码，就用文字打印名称(步13-1，13-2和13-3)。然后按照名称空隙TS送纸(步13-4)。用条形码打印文本，直到从指定的页标题地址检测到用于代码输出的页弹出控制代码(步13-5)。若在步13-2中没有名称控制代码，程序就进到步13-5。
图71是摘要管理打印的流程。与图72所示的打印例相同，输出摘要或摘要文件的名称和二维条形码。在图73中，从文件信息提取名称控制代码。如果有名称控制代码，就用文字打印名称(步15-1，15-2和15-3)。按照名称空隙TS送纸(步15-4)。从文件信息中提取摘要控制代码。如果有摘要控制代码，就用条形码打印摘要(步15-5，15-6和15-7)。
图73是用于在文件数据的结尾插入名称控制代码以及在输入到二一屏显示器的名称中的名称的一个流程图。在图73中，当显示一个名称输入屏时，就用键盘按“打字信息”。如果是输入到名称输入屏上的第一个数据，指针就被移到文件的结尾(步17-1，17-2和17-3)。然后在第一数据前面加上名称控制代码，从而插入数据到文件结尾指针之后，并且把指针向回移动一个与信息量的数据长度和名称控制代码相应的距离(步17-8)。
在步17-1中显示了名称输入屏之后，通过键盘按下“有关文件”，指定一个区域，再按下执行键(步17-3，17-4和17-5)。程序接着进到步17-6，在步17-6，如果不是第一个数据输入，数据就被插入文件结尾指针之后，并把指针移回数据长度的距离(步17-9)。图74是用于把摘要控制代码和摘要输入2-屏显示中的摘要插入文件数据结尾的流程图，该程序与图73相同。
按照以上参照图2和58至76描述的本发明的结构，字符信息(打字文本信息)不仅可以用打字来打印，还可以转换成二维条形码并以高密度打印在纸介盘上。因此如果用扫描器一类的阅读器读出打印在纸介盘上的二维条形码，就能重现打字信息。
二维条形码通常可以压缩多于打字印刷的信息量，并可把许多页信息输出到页数很少的纸上，因而便于管理。
由于不用文字打印，可对文件信息保密，并保存在纸上。
信息可以用纸介盘来管理，因而便于保留用于管理的文件。不更容易复制信息。可以打印大量的信息，可以大大促进信息的散发。不要的打印信息便于提取，替换和删除。
尽管通过实施例并参照附图充分说明了本发明，本领域的技术人员仍可实现各种修改和变更。因此，除非这种修改和变更脱离了本发明的范围，否则都应被视为包括在本发明之内。
权利要求
1.一种信息重放器包括用来读出印在打印纸上的可视信息和声音信息的读出装置。用来存储由读出装置读出的可视信息和声音信息的存储装置。用来在屏上选择地显示存储的可视信息的显示装置。用来局部地指定在显示屏上显示的可视信息的一个区域的可视信息指定装置。连接装置，用来连接由指定装置指定的可视信息的一部分和与其相应的声音信息的部分，以及声音信息重放装置，用来从存储装置中读出并重放和指定的可视信息相连的声音信息。
2.如权利要求1的信息重放器，其特征在于打印纸由信息产生单元产生，所述信息产生单元包括用来输入可视信息的可视信息输入装置，用来输入声音信息的声音信息输入装置，用来输入用于借助于所述连接装置连接可视信息和声音信息的相关信息的相关信息输入装置，以及用来在打印纸上同时打印可视信息，声音信息和相关信息的打印装置。
3.如权利权利的信息重放器，其特征在于显示装置还包括在屏上选择地显示存储在存储装置中的声音信息的功能，所述信息重放器还包括声音信息指定装置，用来局部地指定在显示屏上显示的声音信息的区域，重放控制装置，用来使声音信息重放装置重放在指定区域中的声音，显示控制装置，用来从存储装置中读出与指定的声音信息相连的可视信息，并当可视信息不在显示装置中显示时，使显示装置显示读出的可视信息。
4.如权利要求1的信息重放器，其特征在于声音信息具有用于设置加密的第一通行字，信息重放器还包括用于输入第二通行字的通行字输入装置以及通行字读出装置，用于只有当第二通行字和第一通行字相符时使声音信息重放装置重放声音信息。
5.如权利要求1的信息重放器，其特征在于印在打印纸上的声音信息包括二维条形码。
6.如权利要求2的信息重放器，其特征在于印在打印纸上的声音信息和相关信息包括二维条形码。
7.如权利要求3的信息重放器，还包括禁止装置，用来当重放控制装置正在使声音信息重放装置重放声音信息时停止显示控制装置的功能。
8.一种信息产生装置，包括用来输入可视信息的可视信息输入装置，用来输入声音信息的声音信息输入装置，用来输入用以连接所述可视信息和所述声音信息的相关信息的相关信息输入装置。用来把声音信息和相关信息转换为二维条形码的转换装置。用来在每个区域内显示可视信息和被转换成二维条形码的声音信息和相关信息的显示装置，以及用来在打印纸上打印在显示装置中显示的信息的打印装置。
9.如权利要求8的信息产生装置，还包括代码表达区域计算装置，用来计算相应于由声音信息输入装置输入的声音信息量的二维条形码表示面积，位置指定装置，用来指定在打印低上的一个矩形内打印声音信息的区域的位置，长度指定装置，用来指定矩形区域的边长，以及长度计算装置，用来当一个边长被指定时计算另一个边长。
10.如权利要求8的信息产生装置，还包括打印密度指定装置，用来指定二维条形码的打印密度，以及打印密度控制装置，用来使打印装置用指定的打印密度以二维来形码打印声音信息。
11.如权利要求8的信息产生装置，还包括压缩装置，用来采样并压缩输入的声音信息，其中的转换装置把压缩的声音信息转换成二维条形码。
12.如权利要求8的信息产生装置，还包括通行字附加装置，用来在声音信息上附加通行字以便设置加密。
13.如权利要求8的信息产生装置，还包括区域指定装置，用来指定声音信息的二维条形码的显示区域和一个不同的区域，移动装置，用来把在指定区域内的声音信息的二维条形码移动到所述指定的不同的区域内，以及相关信息校正装置，用来按照所述移动校正相关信息的内容。
14.如权利要求8的信息产生装置，其特征在于相关信息包括在打印纸上的用来使可视信息和声音信息相关的位置信息。
15.一种信息产生装置，包括用来输入包括文件信息的可视信息的可视信息输入装置，用来在打印上打印可视信息和二维条形码中的至少一个的打印装置。用来对输入的文件信息附加第一页逐出码和第二页逐出码的页逐出码附加装置。用来把文件信息转换成打印图形和二维条形码的转换装置，以及打印控制装置，用来在打印纸上以所述打印图形和二维条形码中的至少一个打印文件信息并在打印纸上根据第一页逐出码和第二页逐出码中的每一个进行页逐出，其中打印控制装置当在以打印图形打印文件信息地使第一页逐出码有效而使第二页逐出码无效，当以二维条形码打印文件信息时则使第一页逐出码无效而第二页逐出码有效，并以打印图形和二维条形码打印文件信息从而在打印纸上进行页逐出。
16.如权利要求15的信息产生装置，还包括用来在屏上显示可视信息和二维条形码的显示装置，吧及计算装置，用来计算相应的打印图形打印区域以及二维条形码打印区域的尺寸之和，以便用显示装置进行显示一个决定值，所述决定值当以打印图形和二维条形码打印输入的文件信息时，用来根据这样获得的和决定可在打印纸上被打印的文件信息量。
17.如权利要求15的信息产生装置，还包括显示装置，用来在屏上显示可视信息和二维条形码，并且包括计算装置，用来计算相应的二维条形码打印区域的尺寸，以便用显示装置显示一个决定值，所述决定值当用二维条形码打印输入的文件信息时，用来根据这样获得的值决定可在打印纸上打印的文件信息量。
18.如权利要求15的信息产生装置，还包括用来在屏上显示可视信息和二维条形码的显示装置，以及计算装置，用来计算相应的打印图形打印区域和二维条形码打印区域尺寸之和，以便用显示装置显示一个决定值，所述决定值当以打印图形打印输入文件信息的一部分以及以二维形码打印另一部分时，用来根据这样获得的和决定可在打印纸上打印的文件信息量。
全文摘要
一种信息重放器，包括用来读出EP在打印纸上的可视信息和声音信息的读出装置，用来存储由读出装置读出的可视信息和声音信息的存储装置，用来在屏上选择地显示存储的可视信息的显示装置，用来部分地指定在显示屏上显示的可视信息的区域的可视信息指定装置，用来把由指定装置指定的可视信息部分和与其相应的声音信息部分联系起来的联系装置以及用来从存储装置中读出并重放和指定可视信息相连系的声音信息的声音信息重放装置。
文档编号H04N1/21GK1131769SQ9512168
公开日1996年9月25日 申请日期1995年12月28日 优先权日1994年12月28日
发明者山田谕, 植田博臣, 妹尾静一, 佐藤勤 申请人:夏普公司