专利名称：：信息处理装置、会议系统以及信息处理方法
技术领域：
：本发明涉及一种会议系统，在经由网络连接的多个信息处理装置之间，共享声音、影像以及图像，即使是远程也能够实现在用户之间的会议。特别涉及一种信息处理装置、包括多个该信息处理装置的会议系统以及信息处理方法，会议参加者可通过自己使用的信息处理装置，在共享的图像中写入只有自己看到的记录，能够提高会议参加者的便利性。
背景技术：
：随着通信技术、图像处理技术等的进步，实现了使用计算机，即使是在远地也能够经由网络进行会议的电视会议系统。在电视会议系统中，在多个终端装置中的每个终端装置中，会议参加者可阅览公共的文本数据等，也共享对文本数据的编辑、追记步骤。在特开2004-317583号公报中，提出了如下的描画装置分别以每个终端装置的描画层为单位保持多个终端装置中的描画结果，并合成输入到共享描画结果的各个终端装置的描画层的描画结果，输出到公共的显示装置。通过使用该描画装置，在各个终端装置中的描画结果输出到其他公共的显示装置中。另外，对共享的文本数据的编辑、追记的全部步骤，在连接到电视会议系统的多个终端装置中共享。存在不需要步骤途中也要共享的情况。因此，在特开2003-281101号公报中，涉及能够对共享的文本进行生成、编辑、阅览的电子会议系统，特别涉及不会在全部终端中共享在会议参加者进行追记、编辑等操作步骤中不想让别人看到的部分的电子会议系统。会议参加者不仅对共享的文本数据进行编辑，还存在进行写记录等的情况。在该写记录中，有应在会议系统的所有参加者共享的记录和想要个人写入的记录，期望在各个会议参加者分别使用的终端装置的画面上，应共享的记录和个人的写入混合存在并能够确认的结构。但是，原则上，在会议系统中对共享的文本数据的编辑、追记等的写入，基本上在所有参加者中是共享的。会议参加者为了写个人的记录，需要另外进行对纸介质的手写等。在特开2004-317583号公报中，能够共享在各个终端装置中对于共享数据的写入等的描画结果，但另外输出到公共的显示装置中，而不是在各个终端装置中，合成显示描画结果的结构。在想要进行与其他人的写入对应的写入等的情况下，由于会议参加者在自己使用的终端装置的画面上不能确认其他人的写入，所以便利性低。并且，在终端装置中的写入完全不区分而通过公共的显示装置合成。没有以写入的每个内容在公共的显示装置中显示，还是仅在会议参加者单独使用的终端装置中显示的区别。在特开2003-281101号公报中，能够不共享不想让其他人看到的部分。但是，在专利文献2的发明是如下结构分别显示共享画面显示窗口和单独画面显示窗口，输入到单独画面显示窗口中的信息直到输入文章句号为止不会显示在共享显示窗口中。即，若输入文本句号，则共享全部写入。是不共享步骤的途中的状态，而不是切换用于个人的记录的写入和在参加者中共享的写入。并且，是另外写入到不同的单独画面显示窗口中的结构。期望在公共的写入上写入个人用记录的写入，需要另外在不同的纸介质、或者不同的应用画面上写入的操作，在实现便利性的提高是不充分的。在特开平11-202997号公报中，与会议系统无关，涉及如下的信息处理装置，在用户个人使用的信息处理装置中，可以通过笔输入等重叠地用手写入到文本数据等的图像信息上，且公开了这样的发明由于在进行笔输入时，因自己的写入会妨碍通常的图像信息的显示，所以能够切换自己的写入的显示/非显示。在特开平11-202997号公报中公开的发明是，在个人使用的信息处理装置中，能够切换自己的写入本身的显示/非显示，不能切换与其他用户共享的文本数据上的写入的显示/非显示。由于是涉及个人使用的信息处理装置的发明，所以不能解决在文本数据的图像上混合显示用于个人的记录的写入和共享的写入的问题。
发明内容本发明是鉴于这样的情况而完成的，其目的在于，提供一种信息处理装置、包括多个该信息处理装置的会议系统以及信息处理方法，作为会议参加者的用户可通过自己使用的信息处理装置，在共享的图像中写入只有自己看到的记录，能够提高会议参加者的便利性。本发明提供一种信息处理装置，接收图像信息，在显示单元中显示包括基于图像信息的图像在内的画面，接受操作而以对象为单位生成对应于操作的图像，并将生成的以对象为单位的图像与表示重叠顺序的信息一同存储，将生成的图像的图像信息发送到外部，在显示单元中显示的画面上，基于重叠顺序，重叠显示所生成的图像，所述信息处理装置包括在以对象为单位生成图像时，以每个对象接受在其他装置中公开/非公开的选择的部件；以及对图像的每个对象，相关联地存储选择的公开/非公开的可否公开信息的部件，将可否公开信息附加到图像的图像信息中而发送到外部。在本发明中，通过能够与服务器装置等的其他装置(外部装置)进行通信的信息处理装置，描画包括基于接收到的图像信息的图像在内的画面。进而，接受操作，以矩形、椭圆形、多边形、线等对象单位生成对应于操作的图像，并与对象之间的重叠顺序的信息一同存储。然后，生成的以对象为单位的图像的图像信息发送到外部装置，生成的图像在显示的画面上重叠显示。此时，在本发明的信息处理装置中，在根据操作生成图像时，以各个对象为单位接受在其他装置中公开/非公开的选择，并对每个对象关联选择的可否公开信息。在生成的图像的图像信息发送到其他装置时，该可否公开信息也包含在图像信息中发送。这样，根据在信息处理装置中的操作而生成的图像在本装置中是显示在显示单元中，但在其他装置中能够以对象为单位选择公开/非公开。在本发明的信息处理装置中，从其他装置接收包括可否公开信息的图像信息，并将基于接收到的图像信息的图像显示在画面上，基于接收到的图像信息所包含的可否公开信息，以图像信息的图像的每个对象单位，判断是否选择了公开，并显示判断为选择了公开的对象的图像。在本发明中，在包括基于从服务器装置接收到的图像信息的图像在内的画面上，还显示基于接收的图像信息的图像。在该图像信息包含可否公开信息的情况下，基于在图像信息中包含的可否公开信息，仅显示选择公开的与可否公开信息相关联的对象的图像。这样，在信息处理装置中选择了非公开的对象的图像在其他信息处理装置中不会显示，选择了公开的对象的图像在其他信息处理装置中也会显示。本发明的信息处理装置，包括接受所存储的以对象为单位的图像的选择的部件；以及接受可否公开信息所表示的公开/非公开的变更的部件，所述可否公开信息以对象为单位与选择的图像相关联地存储。在本发明中，接受已经生成的以对象为单位的图像的选择，并接受与选择的图像相关联地存储的可否公开信息的公开/非公开的变更。这样，对于生成的图像，即使在生成之后也能够以对象为单位进行公开/非公开的选择。本发明提供一种会议系统，包括存储图像信息的服务器装置和可与服务器装置进行通信的多个信息处理装置，服务器装置将存储的图像信息发送到各个信息处理装置，各个信息处理装置从服务器装置接收图像信息而在显示单元中显示包括基于图像信息的图像在内的画面，接受操作而以对象为单位生成对应于操作的图像，并将生成的以对象为单位的图像与表示重叠顺序的信息一同存储，将生成的图像的图像信息发送到服务器装置，在画面上基于重叠顺序重叠显示所生成的图像，在多个信息处理装置之间显示公共的图像信息而共享信息，从而实现会议，各个信息处装置包括在以对象为单位生成图像时，以对象为单位接受在其他装置中公开/非公开的选择的部件；以及对图像的每个对象，相关联地存储选择的公开/非公开的可否公开信息的部件，将可否公开信息附加到图像的图像信息中而发送，服务器装置包括在从各个信息处理装置接收到图像信息的情况下，对发送源的每个信息处理装置存储图像信息的部件；将接收到的图像信息所包含的可否公开信息相关联地存储的部件；以及将存储的每个信息处理装置的图像信息发送到其他信息处理装置中的部件，还对各个信息处理装置发送与其他信息处理装置的图像信息相关联的可否公开信息，各个信息处理装置进一步接收在其他信息处理装置中生成的图像的图像信息，并将基于接收到的图像信息的图像显示在画面上，在显示图像时，基于接收到的图像信息所包含的可否公开信息，以图像的每个对象单位，判断是否选择了公开，并显示判断为选择了公开的对象的图像。本发明提供一种信息处理方法，在接收图像信息，并在显示单元中显示包括基于图像信息的图像在内的画面的信息处理装置中，接受操作而以对象为单位生成对应于操作的图像，并将生成的以对象为单位的图像与表示重叠顺序的信息一同存储，将生成的图像的图像信息发送到外部，在显示单元中显示的画面上基于重叠顺序重叠显示所生成的图像，信息处理装置在以对象为单位生成图像时，以每个对象接受在其他装置中公开/非公开的选择，对图像相关联地存储选择的公开/非公开的可否公开信息，将所可否公开信息附加到图像的图像信息中而发送到外部。在本发明的情况下，根据在信息处理装置中的操作而生成的图像可进行在其他装置中显示时的公开/非公开的选择。在可共享图像的会议系统中，在能够在共享的图像上生成只有自己看到，在其他装置中不公开的任意的图像，并且能够将它们重叠地混合存在。通过将本发明的信息处理装置用作会议系统的终端装置，会议系统的会议参加者能够在共享的图像上进行只有自己看到的写入，能够提高便利性。此外，在本发明的情况下，在信息处理装置中选择了公开的对象的图像在其他装置中也显示。通过将本发明的信息处理装置用作会议系统的终端装置，会议参加者能够在自己用作终端装置的信息处理装置中，以线等的每个对象单位选择只有自己看到的写记录和使用其他装置的其他参加者也能够共享而看到的记录，且能够重叠地混合显示，所以能够提高会议系统的会议参加者的便利性。此外，在本发明的情况下，在图像的生成之后，也能够以对象为单位选择在信息处理装置中用于图像生成的操作时接受的公开/非公开的选择。通过将本发明的信息处理装置用作会议系统的终端装置，能够将最初非公开的记录变更为之后在其他装置中也显示，或者相反地将公开的记录变更为只有自己看到，从而能够提高会议参加者的便利性。图1是示意性地表示实施方式1中的会议系统的结构的结构图。图2是表示构成实施方式1中的会议系统的终端装置的内部结构的方框图。图3是表示构成实施方式1的会议系统的会议服务器装置的内部结构的方框图。图4是示意性地表示在实施方式1的会议系统的终端装置之间共享文档数据的结构的说明图。图5是表示在会议参加者使用的终端装置的显示器中显示的会议终端用应用的主画面的一例的说明图。图6是表示构成实施方式1的会议系统的终端装置中的图像生成的处理步骤的一例的流程图。图7是表示在实施方式1的会议系统的终端装置中存储的已生成的图像的信息的内容例子的说明图。图8是表示构成实施方式1的会议系统的终端装置的显示处理步骤的一例的流程图。图9是表示通过实施方式1的会议系统的终端装置的处理结果所得到的画面的例子的说明图。图10是表示在实施方式2的会议系统的终端装置中存储的图像信息的内容例子的说明图。图11是表示实施方式2的会议系统的终端装置的处理步骤的一例的流程图。图12是表示实施方式2的会议系统的终端装置的处理步骤的一例的流程图。图13是表示实施方式2的会议系统的终端装置的处理结果所得到的画面的变化例子的说明图。具体实施例方式以下，基于附图具体说明本发明的实施方式。另外，在以下的实施方式中，举例说明将本发明的信息处理装置用于终端装置，使用多个终端装置实现声音、影像及图像的共享的会议系统。(实施方式1)图1是示意性地表示实施方式1中的会议系统的结构的结构图。在实施方式1中的会议系统包括会议参加者使用的终端装置1、1........连接有终端装置1、1.......的网络2、以及实现在终端装置1、1.......中的声音、影像及图像的共享的会议服务器装置3。终端装置1、1.......和会议服务器装置3连接的网络2既可以是进行会议的公司组织的公司内LAN，也可以是因特网等的公共通信网。终端装置1、1.......接受与会议服务器装置3的连接的认证，被认证的终端装置1、1.......从会议服务器装置3发送接收共享的声音、影像及图像的信息，并将接收的声音、影像及图像输出，从而与其他终端装置1.......共享声音、影像及图像而实现经由网络的会议。图2是表示构成实施方式1中的会议系统的终端装置1的内部结构的方框图。构成会议系统的终端装置1使用个人计算机，且包括控制单元100、暂时存储单元101、存储单元102、输入处理单元103、显示处理单元104、通信处理单元105、影像处理单元106、输入声音处理单元107、以及输出声音处理单元108。另外，终端装置1也可以是会议终端用专用装置。终端装置1还通过内置或者外部连接而包括键盘112、感应板(tablet)113、显示器114、网络I/F单元115、照相机116、话筒117、以及扬声器118。控制单元100使用CPU(CentralProcessingUint，中央处理单元)，将存储在存储单元102中的会议终端用程序IP读出到暂时读出单元101中执行，从而将个人计算机作为本发明的信息处理装置而动作。在暂时存储单元101中，使用SRAM(StaticRandomAccessMemory，静态随机存取存储器)、DRAM(DynamicRandomAccessMemory，动态随机存取存储器)等的RAM。在暂时存储单元101中，存储有如上所述那样读出的会议终端用程序1P，且存储有通过控制单元100的处理而产生的信息。存储单元102使用硬盘、或者SSD(SolidStateDrive，固态元件)等的外部装置。在存储单元102中，存储有会议终端用程序1P。除此之外，当然也可以存储有在终端装置1中的其他的应用软件程序。在输入处理单元103中，连接有未图示的鼠标或者键盘112等的输入用用户接口。在实施方式1中，由于终端装置1内置用于接受笔130的输入的感应板113，所以感应板113也连接到输入处理单元103。输入处理单元103接受通过终端装置1的用户(会议参加者)的操作而输入的按钮的按下信息、表示画面中的位置的坐标信息等的信息，并通知到控制单元100。在显示处理单元104中，连接有使用液晶显示器等的显示器114。显示器114也可以是内置上述的感应板113的触摸面板型。控制单元100经由显示处理单元104对显示器114输出会议终端用的应用画面，在应用画面内显示共享的图像。通信处理单元105使用网卡等，实现经由网络2的终端装置1的通信。详细地说，连接到网络2而与网络I/F单元115连接，进行经由网络2而发送接收的信息的打包化、从打包中读取信息等。另外，为实现本实施方式1的会议系统，用于发送接收通信处理单元105的图像、声音的通信协议使用H.323、SIP(SessionInitiationProtocol，会议开始协议)、或者HTTP(HypertextTransferProtocol，超文本传输协议)等的协议即可。通信协议并不限定于这些协议。影像处理单元106连接到终端装置1包括的照相机116，进行照相机116的动作的控制，并且取得在照相机116中拍摄的影像(图像)的数据。影像处理单元106既可以包括编码器，也可以进行将在照相机116中拍摄的影像变换为H.264、MPEG(MovingPictureExpertsGroup，运动图像专家组)等的影像标准的数据的处理。输入声音处理单元107连接到终端装置1包括的话筒117，具有A/D变换功能，该A/D变换功能对通过话筒117收集的声音进行采样并变换为数字的声音数据之后输出到控制单元100。也可以内置回波消除器(echocanceller)。输出声音处理单元108连接到终端装置1包括的扬声器118。输出声音处理单元108具有D/A变换功能，该D/A变换功能在从控制单元100提供声音数据的情况下，作为声音而从扬声器118输出。读取单元109可从作为⑶-ROM、DVD、蓝光盘或者软盘等的记录介质9读取信息。控制单元100通过读取单元将记录在记录介质9中的数据存储到暂时存储单元101，或者存储到存储单元102。在记录介质9中，记录有将计算机作为本发明的信息处理装置而动作的会议终端用程序9P。记录在存储单元102中的会议终端用程序IP可以是读取单元109从记录介质9中读出的会议终端用程序9P的复制。图3是表示构成实施方式1的会议系统的会议服务器装置3的内部结构的方框图。会议服务器装置3使用服务器计算机，包括控制单元30、暂时存储单元31、存储单元32、图像处理单元33、以及通信处理单元34，且还内置网络I/F单元35。控制单元30使用CPU，通过将存储在存储单元32中的会议服务器用程序3P读出到暂时存储单元31中执行，从而将服务器计算机作为在本实施方式1中的会议服务器装置3而动作。在暂时存储单元31中，使用SRAM、DRAM等的RAM，存储了如上所述那样读出的会议服务器用程序3P，且通过控制单元30的处理而暂时存储如下所述那样的图像信息等。在存储单元32中使用硬盘。在存储单元32中，存储有上述的会议服务器用程序3P。此外，在存储单元32中，存储有用于进行会议参加者使用的终端装置1、1.......的认证的认证数据。此外，为了能够在会议系统中的各个终端装置1、1.......中显示共享的资料，在会议服务器装置3的存储单元32中，多个文档数据作为共享文档数据36而存储。文档数据是文本数据、照片数据、图数据等，与格式等无关。图像处理单元33根据来自控制单元30的指示而生成图像。具体地说，图像处理单元33在存储单元32中存储的共享文档数据36中，接受在各个终端装置1、1.......中成为显示对象的文档数据，并将该文档数据变换为图像而输出。通信处理单元34使用网卡等，实现经由网络2的会议服务器装置3的通信。详细地说，连接到网络2而与网络I/F单元35连接，进行经由网络2而发送接收的信息的打包化、从打包中读取信息等。另外，为实现本实施方式1的会议系统，用于发送接收通信处理单元34的图像、声音的通信协议使用H.323、SIP、或者HTTP等的协议即可。通信协议并不限定于这些协议。在参加使用了本实施方式1中的会议系统的电子会议的会议参加者使用终端装置1，使用键盘112或者感应板113(即笔130)启动会议终端用应用。若会议终端用应用启动，则认证信息的输入画面显示在显示器114中。会议参加者在输入画面中输入用户ID和口令等的认证信息。在终端装置1中，在输入处理单元103中接受认证信息的输入，并通知控制单元100。控制单元100通过通信处理单元105将接受的认证信息发送到会议服务器装置3，接收认证结果。此时，分配给终端装置1的IP地址的信息与认证结果一同发送到会议服务器装置3。这样，以后，会议服务器装置3能够以IP地址来识别各个终端装置1、1、.......在利用终端装置1的会议参加者为被承认的人的情况下，终端装置1显示会议终端用应用的主画面，会议参加者能够作为会议用终端而利用终端装置1。此时，在承认结果为未承认的情况下，即不是被会议招待的人物的情况下，也可以在显示器114中显示从终端装置1未承认的消息。这里，使用示意性地表示的图说明在终端装置1、1.......之间共享文档数据而实现会议的结构。图4是示意性地表示在实施方式1的会议系统的终端装置之间共享文档数据的结构的说明图。在会议服务器装置3的存储单元32中，存储有共享文档数据36。在共享文档数据36中，在会议中使用的共享文档数据36通过图像处理单元33以每页变换为图像。通过图像处理单元33以每页变换为图像的文档数据经由网络2由终端装置1、1接收。另外，以下，为区分两个终端装置，将一个称为A终端装置1，将另一个称为B终端装置1。A终端装置1和B终端装置1都从会议服务器装置3接收共享的文档数据的每页的图像，并为了显示在显示器114中而从显示处理单元104输出。此时，显示处理单元104描画共享的文档数据的各页的图像，使其属于在显示的画面中的最下层的层(粗字)。并且，A终端装置1和B终端装置1都能够通过感应板113和笔130写入记录。控制单元100经由输入处理单元103，根据来自笔130的输入而生成图像。在各个A终端装置1、B终端装置1中生成的图像被描画为在显示的画面中属于最上层的层。此外，在A终端装置1和B终端装置1中分别写入记录而生成的图像的信息作为写入信息而发送到会议服务器装置3。写入信息，例如是生成的图像的每个对象的种类、颜色、粗度、线种类、涂抹等的格式、坐标的信息。在会议服务器装置3中，将从各个终端装置1、1.......发送的图像的信息作为写入信息而存储在暂时存储单元31中。也可以存储在存储单元32中。在实施方式1中，设为定期性地保存到存储单元32。此时，会议服务器装置3分别识别终端装置1、1.......而存储来自各个终端装置1、1.......的图像的信息。在图4中，在A终端装置1中生成的图像的信息，作为写入信息311A而与用于识别A终端装置1的信息(终端A)相关联地存储。同样地，在B终端装置1中生成的图像的信息，作为写入信息311B而与用于识别B终端装置1的信息(终端B)相关联地存储。并且，对每个终端装置1、1.......存储的写入信息311A、311B通过会议服务器装置3发送到不同的终端装置1、1........即，作为在A终端装置1中写入的图像的信息的写入信息311A从会议服务器装置3发送到B终端装置1。B终端装置1的写入信息311B也同样从会议服务器装置3发送到A终端装置1。A终端装置1基于从会议服务器装置3发送的B终端装置1的写入信息311B，生成图像并通过显示处理部104显示在显示器114中。此时，基于在其他终端装置1中的写入信息的图像描画在共享的文档数据的每页的图像所属的最下层的层与在A终端装置1中写入而生成的图像所属的最上层的层之间的层中。在B终端装置中也是同样的。这样，如图4的最下部所示那样，A终端装置1和B终端装置1都能够在共享的文档数据的图像上显示其他终端装置1、1.......中写入的图像，且在最上面显示通过在A终端装置1或B终端装置1自己的感应板113写入的图像。此外，作为阅览信息而存储用于表示在各个终端装置1、1.......中显示(阅览)共享文档数据36的哪一数据的哪一页的图像的信息，且定期地发送到会议服务器装置3。在会议服务器装置3中，按每个终端装置1、1.......将用于表示显示哪一数据的哪一页的图像的信息作为阅览信息312A、312B，存储在暂时存储单元31中。另外，阅览信息312A、312B也可以是在各个终端装置1、1.......中各个层重叠的结果的图像。通过在会议服务器装置3中存储在各个终端装置1、1.......中显示哪一数据的哪一页，从而还能够进行在全部终端装置1、1.......中在相同的定时同步地显示同一页的动作等处理。这样，在各个终端装置1、1.......中共享文档数据的图像，在该图像上显示自己生成的图像，并且还共享其他会议参加者使用的在其他终端装置1、1.......中生成的图像。因此，使用各个终端装置1、1.......的会议参加者能够阅览相同的文档数据，且能够让其他会议参加者看到自己的写入，或观看其他会议参加者的写入。此时，在各个终端装置1、1.......中通过话筒117收集的声音数据也发送到会议服务器装置3，在会议服务器装置3中重叠而发送到各个终端装置1、1.......，在各个终端装置1、1.......中从扬声器118输出。这样，能够实现共享资料和声音的电子会议。此时，使用A终端装置1的会议参加者当然能够在显示器114中阅览使用感应板113写入的自己的记录，但是该记录也作为写入信息311A而经由会议服务器装置3发送到其他B终端装置中显示。然而，在写入中还有用于个人的记录的写入。因此，在本实施方式1中，能够主要通过各个终端装置1、1.......的控制单元100、暂时存储单元101、存储单元102、输入处理单元103、显示处理单元104、通信处理单元105的处理，写入在其他会议参加者使用的终端装置1、1.......中不能阅览的记录。以下，说明用于能够写入不能阅览的记录的结构。若会议参加者如上所述那样启动会议终端用应用，则终端装置1的控制单元100读出在存储单元102中存储的会议终端用程序IP并执行，首先显示输入画面。在根据输入到输入画面的认证信息，会议参加者被承认的情况下，控制单元100显示主画面400，会议参加者能够开始作为会议用终端而利用终端装置1。图5是表示在会议参加者使用的终端装置1的显示器114中显示的会议终端用应用的主画面400的一例的说明图。会议终端用应用的主画面400，作为一例，在大致中央包括显示共享对象的文档数据的图像的共享画面401。在图5所示的例子中，为显示共享的文档数据的文档图像402整体而将其缩小包含在共享画面401中。在共享画面401的高度方向上大致中央的左端位置，显示有用于指示向文档数据的前页的移动的前页按钮403。同样地，在共享画面401的高度方向上大致中央的右端位置，显示有用于指示向文档数据的后页(下一页)的移动的后页按钮404。在使用终端装置1的会议参加者使用笔130或鼠标等，将显示器114上的指针与前页按钮403或后页按钮404重叠着进行点击操作的情况下，在共享画面401中显示所显示的文档数据的前页或后页的图像。在主画面400中，在共享画面401的左方显示用于选择其他会议参加者的选择按钮405。在按下了选择按钮405的情况下，切换与对应的其他会议参加者的全部写入有关的显示/非显示。在设为非显示的情况下，不会显示对应的其他会议参加者的任何写入。在设为显示的情况下，在对应的其他会议参加者的写入中，显示如后所述那样设为非公开的对象的图像之外的图像。例如，在使用终端装置1的会议参加者按下与“003”对应的其他会议参加者的选择按钮405而设为非显示的情况下，在与“003”对应的其他会议参加者使用的终端装置1中的写入全部不会显示。相反地，也可以设为只显示在与“003”对应的其他会议参加者使用的终端装置1中的写入。在主画面400中，在共享画面401的右方显示用于选择描画时的道具的各种操作按钮。在各种操作按钮中，包括公开笔按钮406、隐匿笔按钮407、颜色或粗度选择按钮408、橡皮按钮409、图形按钮410、选择按钮411、缩放按钮412、以及同步/非同步按钮413。公开笔按钮406或隐匿笔按钮407是用于接受在其他终端装置1、1.......中是否公开描画的图像(写入)的选择的按钮。使用终端装置1的会议参加者若在选择了公开笔按钮406或隐匿笔按钮407的状态下，一边使用鼠标或笔130等将显示器114上的指针与共享画面401上重叠着点击，一边移动鼠标，或者在感应板上移动笔130，则能够以自由的线在共享画面401上进行描画。此外，若在选择了公开笔按钮406或隐匿笔按钮407的状态下，按下图形按钮410，则能够描画图形(椭圆形、多边形等)，且该图形根据选择的笔的种类而成为在其他终端装置1中公开或者隐匿。通过会议参加者的描画而生成的自由的线、图形的图像分别以对象为单位区分。生成的图像的信息以对象为单位与表示重叠的顺序的信息一同存储在暂时存储单元101中。此外，相关联地存储用于表示是选择“公开笔”或“隐匿笔”的哪一个而描画的图像的信息。之后，图像的信息发送到会议服务器装置3，作为写入信息311A、311B.......被存储。另外，如上所述那样，通过使用终端装置1的会议参加者的操作而描画的自由曲线等的对象属于与包含在共享画面401中显示的文档数据的图像的层不同的最上层的层。颜色或粗度选择按钮408是用于接受图像的线或涂抹的颜色、线的粗度等的格式的选择的按钮。使用终端装置1的会议参加者以通过颜色或粗度选择按钮408选择的任一格式的格式进行描画，从而以通过控制单元100选择的格式生成图形。橡皮按钮409是用于接受生成的图像的删除的按钮。若使用终端装置1的参加者选择了橡皮按钮409的状态下，一边使用鼠标或笔130等将显示器114上的指针与通过该终端装置1生成并显示的图像上重叠着点击，一边移动鼠标或笔130，则沿着指针删除显示的图像。图形按钮410是用于接受生成的图像的选择的按钮。在图形按钮410中，接受通过控制单元100生成的图像(对象)的种类的选择。例如，接受圆形、椭圆形、多边形等的选择。选择按钮411是用于接受会议参加者的描画以外的操作的按钮。例如，在选择了选择按钮411的情况下，控制单元100通过输入处理单元103接受已经生成的图像的任一个选择。若使用终端装置1的会议参加者在选择按钮411被选者的状态下，一边使用鼠标或笔130等将显示器114上的指针与共享画面401上重叠着点击，一边移动鼠标，或者在感应板上移动笔130，则能够以每个对象选择在共享画面401上该会议参加者描画的图像的任一个。缩放按钮412是用于接受在共享画面401中显示的文档数据的图像的扩大、缩小的操作的按钮。若会议参加者选择了扩大的状态下，将指针与共享画面401上重叠着点击鼠标或笔130，则共享的文档数据的图像和在该图像上的写入的双方都扩大显示。缩小的情况也是相同的。同步/非同步按钮413是用于接受是否将在共享画面401中显示的文档数据的图像的显示与在终端装置1、1.......中的任一个特定的终端装置1中的显示相同地同步的选择的按钮。在选择了同步的状态下，不接受使用该终端装置1的会议参加者的前页、后页等的操作，基于在特定的终端装置1中的阅览信息，在其他终端装置1、1.......中显示的文档数据的页基于来自会议服务器装置3的指示而由控制单元100控制。接受这样在主画面400中包含的各种按钮的操作，控制单元100将从会议服务器装置3接收的共享文档数据36的图像显示在共享画面401中，且随着操作而生成图像并存储在暂时存储单元101中，发送到会议服务器装置3。另外，在每个会议参加者的选择按钮405中，能够在接收的终端装置1侧切换分别对应于各个会议参加者使用的终端装置1、1.......的每个层的显示/非显示。相对于此，在发送源的终端装置1侧切换每个对象的图像的公开/非公开的切换。在选择了非公开的情况下，即使为显示使用该发送源的终端装置1的会议参加者的写入而选择了选择按钮405，且作为对应于该终端装置1的全部层而显示，在该层中包含的图像的对象也不会显7J\o接着，参照流程图说明控制单元100根据会议参加者的操作而生成图像的处理。图6是表示构成实施方式1的会议系统的终端装置1中的图像生成的处理步骤的一例的流程图。在将主画面400显示在显示器114的状态下，通过感应板113等的输入装置进行了某种操作的情况下，或者控制单元100自身的画面进行了更新的情况下，控制单元100接受从输入处理单元103进行的通知(事件通知)，通过以下的处理步骤进行图像的生成。控制单元100在初期，将生成图像时的笔的种类设定为“公开”(步骤S101)。控制单元100判断是否接受到事件通知(步骤S102)。控制单元100在判断为没有接受到事件通知的情况下(S102否)，将处理返回到步骤S102，待机至接受到事件通知为止。控制单元100在判断为接受到事件通知的情况下(S102是)，判断接受到的事件是否为隐匿笔按钮407的按下(步骤S103)。控制单元100在判断为是隐匿笔按钮407的按下的情况下(S103是)，判断为作为笔的种类而接受到“隐匿笔”的选择，将之后生成图像时的笔的种类设定为“隐匿”(步骤S104)。控制单元100接着在之后的共享画面401上进行了点击或者拖拉(drag)等的操作的情况下，将该操作设定为作为写入的操作而接受的状态(写入模式)(步骤S105)，并将处理返回到步骤S102，待机至进行下一个事件通知为止。控制单元100在判断为接受到的事件不是隐匿笔按钮407的按下的情况下(S103否)，判断接受到的事件是否为公开笔按钮406的按下(步骤S106)。控制单元100在判断为接受到的事件是公开笔按钮406的按下的情况下(S106是)，判断为作为笔的种类而接受到“公开笔”的选择，将之后生成图像时的笔的种类设定为“公开”(步骤S107)。控制单元100接着在之后的共享画面401中进行了操作的情况下，将该操作设定为作为写入的操作而接受的状态(写入模式)(S105)，并将处理返回到步骤S102，待机至进行下一个事件通知为止。控制单元100在判断为接受到的事件不是公开笔按钮406的按下的情况下(S106否)，接受到的事件是笔的选择以外的事件。控制单元100判断接受到的事件是否为通过步骤S105设定为作为写入的操作而接受的状态的情况下的共享画面401上的点击或拖拉等的操作(步骤S108)。控制单元100在步骤S108中判断为接受到的事件是共享画面401上的点击或拖拉等的操作的情况下(S108:是)，生成对应于操作的线、图形(步骤S109)，并将生成的线、图形经由显示处理单元104显示在显示器114中(步骤S110)。控制单元100设为在步骤S109中生成图像时，对应于该图像的笔的种类是在步骤S104或步骤S107中设定的种类。然后，控制单元100将处理返回到步骤S102，待机至接着进行下一个事件通知为止。控制单元100在判断为接受到的事件是笔的选择以外的事件，且不是在共享画面401上的点击或拖拉等的描画操作的情况下(S108否)，判断是否为例如笔130远离感应板113，或者关闭(OFF)点击等，按下其他按钮等，对应于写入结束的事件(步骤S111)。控制单元100在判断为接受到的事件不是对应于写入结束的事件的情况下(S111否)，将处理返回到步骤S102，待机至进行有关写入的下一个事件通知为止。控制单元100在判断为接受到的事件是对应于写入结束的事件的情况下(S111是)，存储通过步骤S103至步骤S110的处理而生成的图像的坐标信息等信息，并发送到会议服务器装置3(步骤S112)，结束对应于写入操作的图像的生成的处理。举例说明按照图6的流程图所示的步骤生成的图像的图像信息。图7是表示在实施方式1的会议系统的终端装置1、1.......中存储的已生成的图像的信息的内容例子的说明图。如图7所示那样，图像信息以对象为单位包括对象的种类、描画时选择的笔的种类、以及图像的坐标的信息。在图7的例子中，作为对象的种类，举出圆(椭圆)、四角、三角、自由曲线，表示除了三角的对象以外是以选择了隐匿笔的状态下生成。并且，在图7的例子中，若是圆的图形，则示出中心点和半径，或者外接矩形的左上顶点和右下顶点的坐标的信息，若是自由曲线，则示出自由曲线包括的多个点的坐标的信息。此外，图7所示的例子的对象单位的图像的信息，其信息串的顺序对应于显示了信息时的重叠顺序。即，表示按照图7中的圆形、四边形、三角形、自由曲线的顺序重叠。在圆形上重叠显示四边形、三角形，自由曲线显示在最上面。另外，也可以通过号码等表示重叠顺序，并与各个对象相关联地存储。说明如参照图6和图7进行说明那样生成并存储的图像显示在显示器114中的处理步骤。图8是表示通过构成实施方式1的会议系统的终端装置1的显示处理步骤的一例的流程图。控制单元100通过通信处理单元105经由网络2和网络I/F单元115从会议服务器装置3接收共享的文档数据的图像信息(步骤S201)。同样地，控制单元100从会议服务器装置3接收在每个其他终端装置1、1.......中存储的写入信息(步骤S202)。接收的写入信息存储在暂时存储单元101中。然后，控制单元100将基于在步骤S201中接收的共享的文档数据的图像信息的图像，显示在主画面400的共享画面401中(步骤S203)。接着，控制单元100判断是否显示了基于其他终端装置1、1.......的写入信息的全部图像(步骤S204)。控制单元100在判断为显示了基于其他终端装置1、1.......的写入信息的全部图像的情况下(步骤S204是)，将控制单元100通过自己的动作而生成的图像显示在共享画面401的共享的文档数据的图像之上的最上层(步骤S205)，并结束处理。控制单元100在步骤S204中，判断为没有显示其他终端装置1、1.......中的任一个装置的写入信息的图像的情况下(S204否)，读出该其他终端装置1、1.......的写入信息(步骤S206)。控制单元100判断是否对写入信息包括的全部对象进行了以下的步骤S208至步骤S210为止的处理(步骤S207)。控制单元100在判断为没有进行对于全部对象的处理的情况下(S207否)，将如图7所示那样的图像的对象一个一个读出(步骤S208)，并判断该对象是否与“隐匿笔”即在其他装置中的非公开相关联(步骤S209)。控制单元100在判断为不是“隐匿笔”，而是与“公开笔”相关联的情况下(S209否)，将该对象的图像显示在共享画面401的共享的文档数据的图像上(步骤S210)。此时，控制单元100将处理返回到步骤S207，判断是否显示全部对象。控制单元100在步骤S209中判断为对象与“隐匿笔”相关联的情况下(S209是)，由于在终端装置1中非公开，所以不会显示对象的图像，将处理返回到步骤S207。说明按照图8的流程图所示的处理步骤，在不同的A终端装置1和B终端装置1中分别显示的例子。图9是表示通过实施方式1的会议系统的终端装置1的处理结果所得到的画面的例子的说明图。另外，图9所示的例子对应于在A终端装置1中生成的图7所示的图像的信息。在图9的左侧表示A终端装置1的主画面400中的共享画面401，右侧表示B终端装置1的共享画面401。在左侧的A终端装置1的共享画面401中，共享的文档数据的图像显示在最下层，在其之上显示了使用终端装置1的会议参加者描画的图像。在图9的例子中，圆形、四边形、三角形重叠显示，圆形被四边形遮盖，四边形被三角形遮盖显示。此外，在A终端装置1的共享画面401中，指示了共享的文档数据的图像中的“开发日程”部分的字符由自由曲线生成并显示。这里，如图7所示那样，三角形以外的图像是在选择了“隐匿笔”的状态下生成。在A终端装置1中，都作为写入的记录而显示。然后，在图9的左侧示出的由A终端装置1生成的图像信息即写入信息(图7)发送到会议服务器装置3，并与A终端装置1相关联地作为写入信息311A存储在会议服务器装置3中。然后，写入信息311A作为在A终端装置1中的写入信息而由B终端装置1接收。在B终端装置1中也进行如图8的流程图所示的处理。此时，对在A终端装置1中的写入信息，以对象为单位判断笔的种类，即是公开的图像还是非公开的图像。然后，只有在判断为是公开的图像的情况下，显示在B终端装置1的显示器114中。在A终端装置1中生成的图像的对象中，对应于笔的种类为公开笔的对象只有三角形。因此，如图9的右侧所示那样，在B终端装置1中只显示三角形，在A终端装置1中显示的自由曲线的写入等不会显示。这样，在各个终端装置1、1.......中根据操作而生成的图像，可选择是否在其他终端装置1、1.......中显示，即可选择公开/不公开。如图9的说明图所示那样，使用A终端装置1的会议参加者能够进行只有自己看到的写入。并且，由于图像是以每个对象生成，且可对每个对象选择公开/非公开，所以在自己使用的终端装置1中，还能够将公开/非公开的对象的图像相互重叠显示。不需要进行只有公开的对象写入共享画面401中的特定区域中等的操作，若用生成时的笔来仅选择哪个图像可以在其他终端装置1、1.......中看到，则会议参加者也可以在共享的文档数据上重叠着写记录而不会特别意识到。另外，如图9所示那样，也可以在共享画面401中的共享的文档数据的图像402的区域外进行写入，所以方便。(实施方式2)实施方式1是可以在图像的生成时进行“公开笔”或“隐匿笔”的选择的结构。作为会议参加者，还存在想要将其他终端装置1、1.......中也可以看到的图像，在事后设为只有自己可以看到的情况，或者相反的情况。因此，实施方式2是能够以生成的图像的每个对象，事后变更笔的种类，即公开/非公开的结构。实施方式2中的会议系统的结构，除了用于事后可选择笔的种类的处理的细节之外，与实施方式1的结构相同。因此，对于与实施方式1共同的结构赋予相同的标号并省略详细的说明，以下说明与实施方式1不同的处理。图10是表示在实施方式2的会议系统的终端装置中存储的图像信息的内容例子的说明图。图10所示的例子对应于图7所示的图像信息的例子。除了在图7所示的实施方式1中的图像信息的对象的种类、笔的种类、坐标信息和重叠顺序的信息(各个对象的顺序)之外，追加了选择标记的信息。选择标记是在按下了选择按钮411之后选择了对象的情况下设定的信息，是表示是否选择了对象的信息。在选择标记为打开(ON)的状态下，按下了用于选择笔的种类的公开笔按钮406或隐匿笔按钮407的任一个的情况下，笔的种类根据按下的按钮而变更。此外，在选择标记为打开(ON)的情况下，为表示选择的情况，将图像强调显示。参照流程图，说明事后变更笔的种类的处理。图11和图12是表示实施方式2的会议系统的终端装置1的处理步骤的一例的流程图。由于能够与在实施方式1的图6的流程图所示的图像生成时选择笔的种类的处理一起进行，所以以在图6中加上处理步骤的方式表示。对于与图6的流程图所示的处理步骤共同的步骤赋予相同的步骤号，并省略详细的说明。控制单元100判断是否接受到从输入处理单元103进行的事件通知(S102)。控制单元100在判断为接受到事件通知的情况下(S102是)，在判断为该事件既不是隐匿笔按钮407的按下，也不是公开笔按钮406的按下的情况下(S103:否，S106否)，判断是否为接受已生成的图像的任一个的选择的选择按钮411的按下(步骤S121)。控制单元100在判断为接受到的事件也不是选择按钮411的按下的情况下(S121否)，将处理进至步骤S108，判断是否为在共享画面401上的操作(S108)。控制单元100在判断为接受到的事件是选择按钮411的按下的情况下(S121是)，之后设定为接受已生成并显示在本装置的显示器114中的图像的任一个的选择的状态(选择模式)(步骤S122)，并将存储的图像信息的全部对象的选择标记设定为关闭(OFF)(步骤S123)。控制单元100将处理返回至步骤S102，待机至进行下一个事件通知为止。此外，控制单元100在判断为接受到的事件也不是选择按钮411的按下的情况下(S121否)，将处理进至步骤S108，在判断为是在共享画面401上的操作的情况下(S108是)，判断当前的共享画面401是否通过步骤S105设定为接受写入的状态(写入模式)(S124)。控制单元100在判断设定为接受写入的状态的情况下(S124是)，生成对应于操作的线、图形并显示在显示器114中(S109、S110)。控制单元100在判断为没有设定为接受选择的状态(选择模式)的情况下(S124否)，将根据操作而选择的图像(包含点击时的坐标的图像中显示在最上面的图像)的对象的选择标记设定为打开(ON)(步骤S125)，将处理返回至步骤S102，待机至进行下一个事件通知为止。然后，控制单元100在判断为接受到事件通知(S102是)，且接受到的事件为隐匿笔按钮407的按下的情况下(S103是)，将笔的种类设定为“隐匿笔”(S104)，判断当前是否有在共享画面401上选择的对象，即选择标记为打开(ON)的对象(步骤S126)。此外，在判断为接受到事件通知(S102是)，且接受到的事件为公开笔按钮406的按下的情况下(S106是)，将笔的种类设定为“公开笔”(S107)，将处理进至步骤S126。控制单元100在步骤S126中判断为没有选择的对象的情况下(S126否)，设定为接受写入的状态(S105)，并将处理返回至步骤S102。控制单元100在步骤S126中判断为有选择的对象即选择标记为打开(ON)的对象的情况下(S126是)，将该选择标记为打开(ON)的对象的笔的种类变更为设定的笔的种类(步骤S127)。说明按照图11和图12的流程图所示的处理步骤变更笔的种类的例子。图13是表示实施方式2的会议系统的终端装置1的处理结果所得到的画面的变化例子的说明图。图13的说明图的结构与实施方式1的图9的图的结构相同，根据操作从上到下变化显示。在图13的上段示出在不同的A终端装置1和B终端装置1中分别在变更笔的种类之前显示的画面的例子。此时显示的图像的例子对应于在A终端装置1中生成的图10所示的图像的信息。在A终端装置1中写入的图像中，只有三角形的图像也在B终端装置1中显示。在图13的中段示出在A终端装置1中按下选择按钮411，并在四边形的图像的对象上有指针的状态下点击的情况下的例子。此时，如图11和图12的流程图所示那样，在共享画面401上进行了操作的情况下，控制单元100在判断为设定为接受选择的状态(选择状态)的情况下，将选择的图像的对象的选择标记设定为打开(ON)(S125)。如图10的说明图所示的图像信息中的四边形的对象的选择标记从关闭(OFF)设定为打开(0N)。如图13的中段所示那样，为了能够掌握选择的图像，选择的图像被强调显示。在图13的下段示出在A终端装置1中选择了在中段所示的四边形的图像的对象的状态下按下公开笔按钮406的情况下的例子。此时，如图11和图12的流程图所示那样，控制单元100判断接受到的事件是公开笔按钮406的按下(S106是)。然后，控制单元100将笔的种类设定为“公开笔”(S107)，判断为有选择的对象(S126是)，并将选择的对象的笔的种类变更为设定的“公开笔”(S127)。这样，在A终端装置1中生成的图像信息中，四边形的对象的笔的种类变更为“公开笔”。该图像的信息也通过操作的结束(3111:是)，存储并发送到会议服务器装置3。在会议服务器装置3的写入信息311A中，四边形的对象的笔的种类也变更为“公开笔”。因此，在接收该写入信息311A的B终端装置1中显示在A终端装置1中生成的图像时，还显示四边形的图像。这样，会议参加者不仅在图像的生成时选择，即使在生成之后也能够选择生成的图像在其他装置中的公开/非公开。因此，能够将最初设为非公开的记录变更为之后也在其他装置中显示，或者相反地，能够将公开的记录变更为只有自己可以看到。能够进一步提高会议参加者使用终端装置的便利性。另外，公开的实施方式在所有方面只是例示，并不应认为是限制性的。本发明的范围是由权利要求范围表示而并不是上述的说明，意图包含与权利要求范围等同的含义和范围内的全部变更。权利要求一种信息处理装置，接收图像信息，在显示单元中显示包括基于该图像信息的图像在内的画面，接受操作而以对象为单位生成对应于所述操作的图像，并将生成的以对象为单位的图像与表示重叠顺序的信息一同存储，将生成的图像的图像信息发送到外部，在所述显示单元中显示的画面上，基于所述重叠顺序，重叠显示所生成的图像，所述信息处理装置包括第1接受单元，在以对象为单位生成图像时，以所述每个对象接受在其他装置中公开/非公开的选择；以及存储单元，对所述图像的每个对象，相关联地存储选择的公开/非公开的可否公开信息，将所述可否公开信息附加到所述图像的图像信息中而发送到外部。2.如权利要求1所述的信息处理装置，其中，从其他装置接收包括所述可否公开信息的图像信息，并将基于接收到的所述图像信息的图像显示在所述画面上，基于接收到的所述图像信息所包含的可否公开信息，以所述图像信息的图像的每个对象单位，判断是否选择了公开，并显示判断为选择了公开的对象的图像。3.如权利要求1或2所述的信息处理装置，包括第2接受单元，接受所存储的以对象为单位的图像的选择；以及第3接受单元，接受可否公开信息所表示的公开/非公开的变更，所述可否公开信息以对象为单位与选择的图像相关联地存储。4.一种会议系统，包括存储图像信息的服务器装置和可与该服务器装置进行通信的多个信息处理装置，所述服务器装置将存储的图像信息发送到各个信息处理装置，各个信息处理装置从所述服务器装置接收图像信息而在显示单元中显示包括基于该图像信息的图像在内的画面，接受操作而以对象为单位生成对应于所述操作的图像，并将生成的以对象为单位的图像与表示重叠顺序的信息一同存储，将生成的图像的图像信息发送到服务器装置，在所述画面上基于所述重叠顺序重叠显示所生成的图像，在多个信息处理装置之间显示公共的图像信息而共享信息，从而实现会议，各个信息处装置包括第1接受单元，在以对象为单位生成图像时，以所述对象为单位接受在其他装置中公开/非公开的选择；以及第1存储单元，对所述图像的每个对象，相关联地存储选择的公开/非公开的可否公开fn息，将所述可否公开信息附加到所述图像的图像信息中而发送，所述服务器装置包括第2存储单元，在从各个信息处理装置接收到图像信息的情况下，对发送源的每个信息处理装置存储所述图像信息；第3存储单元，将接收到的图像信息所包含的可否公开信息相关联地存储；以及发送单元，将存储的每个信息处理装置的图像信息发送到其他信息处理装置中，还对各个信息处理装置发送与其他信息处理装置的所述图像信息相关联的所述可否公开fn息，各个信息处理装置进一步接收在其他信息处理装置中生成的图像的图像信息，并将基于接收到的所述图像信息的图像显示在所述画面上，在显示所述图像时，基于接收到的图像信息所包含的可否公开信息，以所述图像的每个对象单位，判断是否选择了公开，并显示判断为选择了公开的对象的图像。5.一种信息处理方法，在接收图像信息，并在显示单元中显示包括基于该图像信息的图像在内的画面的信息处理装置中，接受操作而以对象为单位生成对应于所述操作的图像，并将生成的以对象为单位的图像与表示重叠顺序的信息一同存储，将生成的图像的图像信息发送到外部，在所述显示单元中显示的画面上基于所述重叠顺序重叠显示所生成的图像，所述信息处理装置在以对象为单位生成图像时，以所述每个对象接受在其他装置中公开/非公开的选择，对所述图像，相关联地存储选择的公开/非公开的可否公开信息，将所述可否公开信息附加到所述图像的图像信息中而发送到外部。全文摘要在根据在共享的图像上的操作而生成图像时，以对象为单位生成各个图像，此时，以每个对象接受在其他的B终端装置中公开还是非公开的选择。选择的公开/非公开的信息发送到服务器装置，在其他的B终端装置中，接收在A终端装置中生成的图像的信息，并基于接收到的图像信息所包含的公开/非公开的信息，仅显示与公开的信息相关联的图像。文档编号G06F3/14GK101998106SQ20101026039公开日2011年3月30日申请日期2010年8月20日优先权日2009年8月20日发明者高仓正树申请人:夏普株式会社