便携终端装置、图像处理联合系统及画面数据的显示方法与流程

本发明是以下专利申请的分案申请：申请号：201310632644.8，申请日：2013年12月2日，发明名称：便携终端装置、图像处理联合系统及画面数据的显示方法

本发明涉及能够通过无线通信连接到作为多功能数字复合机的mfp(多功能一体机)等的图像处理装置的智能手机、平板终端等的便携终端装置、包括该便携终端装置和图像处理装置的图像处理联合系统及在所述便携终端装置中执行的画面数据的显示方法。

背景技术：

近年来，智能手机、平板终端等的便携终端装置能够存储电子化的文本，无论时间和地点，都能够阅览或者编辑文本。此外，能够将在便携终端装置中进行了编辑等的文件发送到所述mfp等的图像处理装置，使图像处理装置执行印刷或者保存等的处理。此外，也能够将由图像处理装置的扫描仪部读取的原稿的图像数据等构成的文件发送到便携终端装置，在便携终端装置中进行编辑等。

但是，需要分别单独地操作便携终端装置和图像处理装置，存在操作变得烦杂的问题。

因此，最近，提出了使得能够将用于使用图像处理装置的功能的图像处理装置侧的操作画面等作为远程画面而显示在便携终端装置的显示部中，从便携终端装置联合操作图像处理装置的、图像处理装置和便携终端装置的联合系统。在该联合系统中，基于从图像处理装置发送的画面数据而显示在便携终端装置的显示部中显示的图像处理装置侧的远程画面。

即，表示进行了操作的信息从便携终端装置发送到图像处理装置，图像处理装置基于该信息而生成下一个画面数据，并将该画面数据发送到便携终端装置，便携终端装置基于该画面数据对远程画面进行更新显示。

另一方面，便携终端装置包括触摸面板，用户通过对显示画面进行双指缩小(pinchin)、双指放大(pinchout)等的手势操作，能够对图像进行变倍或者旋转。

另外，当用户对在便携终端装置中显示的图像处理装置侧的远程画面进行了用于指示变倍或旋转等的手势操作的情况下，发生如下的问题。

另外，在专利文献1中，公开了如下技术：由发送源的装置判别在外部图像显示装置中显示的层(layer)和不显示的层，只将显示层发送到外部显示装置，从而减轻传输路径的业务量。

现有技术文献

专利文献

专利文献1：日本特开2006-519401号公报

即，双指缩小、双指放大等的手势操作是使触摸到触摸面板的手指连续性地移动的操作，伴随于此，图像也连续地进行变倍或者旋转。

因此，即使对在便携终端装置中显示的图像处理装置侧的远程画面进行了用于指示变倍或旋转等的手势操作的情况下，也需要实时更新远程画面，但由于在手指每次移动时，表示进行了操作的信息从便携终端侧依次发送到图像处理装置，从图像处理装置对便携终端依次发送对应的画面数据而显示，所以存在对于操作的画面变更的响应性差，不能确保操作性的问题。

尤其，由于便携终端装置与图像处理装置之间的无线通信状态差，所以在通信速度慢或者发生通信的中断这样的状况下，存在响应性加速降低，越发不能确保操作性的问题。

另外，在前述的专利文献中记载的技术并不能对这样的问题提供解决对策。

技术实现要素：

本发明是鉴于这样的情况而完成的，其课题在于，提供一种在将图像处理装置侧的画面数据作为远程画面显示在便携终端装置中，从便携终端装置进行图像处理装置的联合操作的情况下，在对所述远程画面进行了指示变倍/旋转等的编辑加工的手势操作的情况下，能够响应性好地显示被进行了编辑加工的画面的便携终端装置、包括该便携终端装置和图像处理装置的图像处理联合系统，进而，提供一种在所述便携终端装置中执行的画面数据的显示方法。

通过以下手段解决上述课题。

一种便携终端装置，其特征在于，包括：无线通信部件，能够通过无线通信与图像处理装置连接；接收部件，以能够通过所述无线通信部件与所述图像处理装置进行无线连接的状态，从所述图像处理装置接收在图像处理装置侧的存储部中存储的画面数据；信息取得部件，取得有关与图像处理装置的无线通信状态的信息；显示部件，显示基于由所述接收部件接收到的画面数据的远程画面；触摸操作部件，设置在所述显示部件中；存储部件，存储由所述接收部件接收到的画面数据；以及控制部件，在用户经由所述触摸操作部件对在所述显示部件中显示的所述远程画面进行了指示画面数据的编辑加工的手势操作时，在基于所述信息取得部件取得的信息的无线通信状态超过规定等级时，将指示画面数据的编辑加工的信息发送到所述图像处理装置，从图像处理装置取得对所述图像处理装置侧的所述存储部中存储的图像数据进行编辑加工而生成的画面数据并使所述显示部件显示，在所述信息取得部件取得的通信状态为规定等级以下时，使用在该便携终端装置侧的所述存储部件中存储的画面数据进行编辑加工，并使所述显示部件显示编辑加工后的画面数据。

一种画面数据的显示方法，在能够通过无线通信与图像处理装置连接的便携终端装置中执行，其特征在于，包括：接收步骤，以与所述图像处理装置进行无线连接的状态，从所述图像处理装置接收在图像处理装置侧的存储部中存储的画面数据；信息取得步骤，取得有关与图像处理装置的无线通信状态的信息；显示步骤，将基于在所述接收步骤中接收到的画面数据的远程画面显示在显示部件中；存储步骤，将在所述接收步骤中接收到的画面数据存储在存储部件中；以及控制步骤，在用户经由触摸操作部件对在所述显示部件中显示的所述远程画面进行了指示画面数据的编辑加工的手势操作时，当基于在所述信息取得步骤中取得的信息的无线通信状态超过规定等级时，将指示画面数据的编辑加工的信息发送到所述图像处理装置，从图像处理装置取得对所述图像处理装置侧的所述存储部中存储的图像数据进行编辑加工而生成的画面数据并使所述显示部件显示，当基于在所述信息取得步骤中取得的信息的无线通信状态为规定等级以下时，使用在该便携终端装置侧的所述存储部件中存储的画面数据进行编辑加工，并使所述显示部件显示编辑加工后的画面数据。

一种图像处理联合系统，包括通过无线通信而相互连接的便携终端装置和图像处理装置，其特征在于，所述便携终端装置包括：无线通信部件，能够通过无线通信与图像处理装置连接；接收部件，以与所述图像处理装置进行无线连接的状态，从所述图像处理装置接收在图像处理装置侧的存储部中存储的画面数据；信息取得部件，取得有关与图像处理装置的无线通信状态的信息；显示部件，显示基于由所述接收部件接收到的画面数据的远程画面；触摸操作部件，设置在所述显示部件中；存储部件，存储由所述接收部件接收到的画面数据；以及控制部件，在用户经由所述触摸操作部件对在所述显示部件中显示的所述远程画面进行了指示画面数据的编辑加工的手势操作时，在基于所述信息取得部件取得的信息的无线通信状态超过规定等级时，将指示画面数据的编辑加工的信息发送到所述图像处理装置，从图像处理装置取得对所述图像处理装置侧的所述存储部中存储的图像数据进行编辑加工而生成的画面数据并使所述显示部件显示，在所述通信状态取得部件取得的通信状态为规定等级以下时，使用在该便携终端装置侧的所述存储部件中存储的画面数据进行编辑加工，并使所述显示部件显示编辑加工后的画面数据，所述图像处理装置包括：接收部件，接收来自所述便携终端装置的指示所述第二画面区域的画面数据的编辑加工的信息；编辑加工部件，基于由所述接收部件接收到的指示所述画面数据的编辑加工的信息，对画面数据进行编辑加工；以及发送部件，将画面数据发送到所述便携终端装置，且在画面数据通过所述编辑加工部件进行了编辑加工的情况下，将该进行了编辑加工的画面数据发送到所述便携终端装置。

(1)一种便携终端装置，其特征在于，包括：无线通信部件，能够通过无线通信与图像处理装置连接；接收部件，以能够通过所述无线通信部件与所述图像处理装置进行无线连接的状态，接收图像处理装置侧的画面数据；显示部件，显示基于由所述接收部件接收到的画面数据的远程画面；触摸操作部件，设置在所述显示部件中；取得部件，当基于所述画面数据而在所述显示部件中显示的远程画面内的区域被进行对该远程画面指示画面数据的编辑加工的手势操作时，取得属性信息，该属性信息表示是设定了在本装置中进行编辑加工的第一画面区域，还是设定了在图像处理装置中进行编辑加工的第二画面区域；存储部件，存储由所述接收部件接收到的所述画面数据以及所述取得的属性信息；判断部件，判断用户经由所述触摸操作部件对在所述显示部件中显示的所述远程画面进行的指示画面数据的编辑加工的手势操作是对所述第一画面区域进行的操作，还是对所述第二画面区域进行的操作；以及控制部件，在所述判断部件判断为是对所述第一画面区域进行的操作的情况下，使用在所述存储部件中存储的所述第一画面区域的画面数据进行编辑加工，并使所述显示部件显示编辑加工后的画面数据，在判断为是对所述第二画面区域进行的操作的情况下，对图像处理装置发送指示所述第二画面区域的画面数据的编辑加工的信息，从图像处理装置取得编辑加工后的画面数据并使所述显示部件显示。

(2)上述(1)中记载的便携终端装置还包括：信息取得部件，取得有关与所述图像处理装置的无线通信状态的信息；所述控制部件在基于所述信息取得部件取得的信息的无线通信状态超过规定等级时，即使是对所述第一画面区域进行的指示画面数据的编辑加工的操作，也将指示所述第一画面区域的画面数据的编辑加工的信息发送到所述图像处理装置，从图像处理装置取得编辑加工后的画面数据并使所述显示部件显示。

(3)一种便携终端装置，其特征在于，包括：无线通信部件，能够通过无线通信与图像处理装置连接；接收部件，以能够通过所述无线通信部件与所述图像处理装置进行无线连接的状态，从所述图像处理装置接收图像处理装置侧的画面数据；信息取得部件，取得有关与图像处理装置的无线通信状态的信息；显示部件，显示基于由所述接收部件接收到的画面数据的远程画面；触摸操作部件，设置在所述显示部件中；存储部件，存储由所述接收部件接收到的画面数据；以及控制部件，在用户经由所述触摸操作部件对在所述显示部件中显示的所述远程画面进行了指示画面数据的编辑加工的手势操作时，在基于所述信息取得部件取得的信息的无线通信状态超过规定等级时，将指示画面数据的编辑加工的信息发送到所述图像处理装置，从图像处理装置取得编辑加工后的画面数据并使所述显示部件显示，在所述信息取得部件取得的通信状态为规定等级以下时，使用在所述存储部件中存储的画面数据进行编辑加工，并使所述显示部件显示编辑加工后的画面数据。

(4)在上述(3)中记载的便携终端装置中，所述控制部件根据手势操作的连续性的手指的移动，在通信状态超过规定等级时，重复进行指示画面数据的编辑加工的信息向所述图像处理装置的发送、从图像处理装置的编辑加工后的画面数据的取得、对显示部件的显示，在通信状态为规定等级以下时，重复进行使用在存储部件中存储的画面数据的编辑加工、编辑加工后的画面数据对显示部件的显示。

(5)在上述(1)至(4)的任一项中记载的便携终端装置中，所述控制部件在用户对所述远程画面进行了指示向下一个画面的更新的手势操作的情况下，将有关更新的信息发送到所述图像处理装置，且在从图像处理装置取得了被更新的下一个画面数据时，将基于下一个画面数据的画面显示在所述显示部件中。

(6)在上述(5)中记载的便携终端装置中，在用户进行的手势操作为一点触摸操作的情况下，手势操作被判断为是指示向下一个画面的更新的操作，在为两点触摸操作的情况下，手势操作被判断为是指示画面数据的编辑加工的操作。

(7)在上述(6)中记载的便携终端装置中，所述两点触摸操作的手势操作是双指缩小操作或者双指放大操作。

(8)在上述(1)至(4)、(6)以及(7)的任一项中记载的便携终端装置中，所述画面数据的编辑加工为画面数据的变倍或者旋转。

(9)在上述(1)至(4)、(6)以及(7)的任一项中记载的便携终端装置中，指示所述画面数据的编辑加工的信息是所述远程画面中的触摸位置的坐标数据。

(10)在上述(6)或(7)中记载的便携终端装置中，有关所述更新的信息是所述远程画面中的触摸位置的坐标数据。

(11)在上述(10)中记载的便携终端装置中，所述接收部件还接收与所述图像处理装置的显示部件的画面尺寸有关的信息，所述控制部件在所述接收的图像处理装置的显示部件的画面尺寸与本装置的显示部件的画面尺寸不同的情况下，将所述触摸位置的坐标数据变换为与图像处理装置的显示部件对应的坐标数据，并发送到图像处理装置。

(12)一种画面数据的显示方法，在能够通过无线通信与图像处理装置连接的便携终端装置中执行，其特征在于，包括：接收步骤，以能够与图像处理装置进行无线连接的状态，接收图像处理装置侧的画面数据；显示步骤，将基于在所述接收步骤中接收到的画面数据的远程画面显示在显示部件中；取得步骤，当基于所述画面数据而在所述显示部件中显示的远程画面内的区域被进行对该远程画面指示画面数据的编辑加工的手势操作时，取得属性信息，该属性信息表示是设定了在本装置中进行编辑加工的第一画面区域，还是设定了在图像处理装置中进行编辑加工的第二画面区域；存储步骤，将在所述接收步骤中接收到的所述画面数据以及所述取得的属性信息存储在存储部件中；判断步骤，判断用户经由在所述显示部件中设置的触摸操作部件对在所述显示部件中显示的所述远程画面进行的指示画面数据的编辑加工的手势操作是对所述第一画面区域进行的操作，还是对所述第二画面区域进行的操作；以及控制步骤，在所述判断步骤中判断为是对所述第一画面区域进行的操作的情况下，使用在所述存储部件中存储的所述第一画面区域的画面数据进行编辑加工，并使所述显示部件显示编辑加工后的画面数据，在判断为是对所述第二画面区域进行的操作的情况下，对图像处理装置发送指示所述第二画面区域的画面数据的编辑加工的信息，从图像处理装置取得编辑加工后的画面数据并使所述显示部件显示。

(13)一种画面数据的显示方法，在能够通过无线通信与图像处理装置连接的便携终端装置中执行，其特征在于，包括：接收步骤，以与所述图像处理装置进行无线连接的状态，从所述图像处理装置接收图像处理装置侧的画面数据；信息取得步骤，取得有关与图像处理装置的无线通信状态的信息；显示步骤，将基于在所述接收步骤中接收到的画面数据的远程画面显示在显示部件中；存储步骤，将在所述接收步骤中接收到的画面数据存储在存储部件中；以及控制步骤，在用户经由触摸操作部件对在所述显示部件中显示的所述远程画面进行了指示画面数据的编辑加工的手势操作时，当基于在所述信息取得步骤中取得的信息的无线通信状态超过规定等级时，将指示画面数据的编辑加工的信息发送到所述图像处理装置，从图像处理装置取得编辑加工后的画面数据并使所述显示部件显示，当基于在所述信息取得步骤中取得的信息的无线通信状态为规定等级以下时，使用在所述存储部件中存储的画面数据进行编辑加工，并使所述显示部件显示编辑加工后的画面数据。

(14)一种图像处理联合系统，包括通过无线通信而相互连接的便携终端装置和图像处理装置，其特征在于，所述便携终端装置包括：无线通信部件，能够通过无线通信与图像处理装置连接；接收部件，以与所述图像处理装置进行无线连接的状态，接收图像处理装置侧的画面数据；显示部件，显示基于由所述接收部件接收到的画面数据的远程画面；触摸操作部件，设置在所述显示部件中；取得部件，当基于所述画面数据而在所述显示部件中显示的远程画面内的区域被进行对该远程画面指示画面数据的编辑加工的手势操作时，取得属性信息，该属性信息表示是设定了在本装置中进行编辑加工的第一画面区域，还是设定了在图像处理装置中进行编辑加工的第二画面区域；存储部件，存储由所述接收部件接收到的所述画面数据以及所述取得的属性信息；判断部件，判断用户经由所述触摸操作部件对在所述显示部件中显示的所述远程画面进行的指示画面数据的编辑加工的手势操作是对所述第一画面区域进行的操作，还是对所述第二画面区域进行的操作；以及控制部件，在所述判断部件判断为是对所述第一画面区域进行的操作的情况下，使用在所述存储部件中存储的所述第一画面区域的画面数据进行编辑加工，并使所述显示部件显示编辑加工后的画面数据，在判断为是对所述第二画面区域进行的操作的情况下，对图像处理装置发送指示所述第二画面区域的画面数据的编辑加工的信息，从图像处理装置取得编辑加工后的画面数据并使所述显示部件显示，所述图像处理装置包括：接收部件，接收来自所述便携终端装置的指示所述第二画面区域的画面数据的编辑加工的信息；编辑加工部件，基于由所述接收部件接收到的指示所述画面数据的编辑加工的信息，对画面数据进行编辑加工；以及发送部件，将画面数据发送到所述便携终端装置，且在画面数据通过所述编辑加工部件进行了编辑加工的情况下，将该进行了编辑加工的画面数据发送到所述便携终端装置。

(15)一种图像处理联合系统，包括通过无线通信而相互连接的便携终端装置和图像处理装置，其特征在于，所述便携终端装置包括：无线通信部件，能够通过无线通信与图像处理装置连接；接收部件，以与所述图像处理装置进行无线连接的状态，从所述图像处理装置接收图像处理装置侧的画面数据；信息取得部件，取得有关与图像处理装置的无线通信状态的信息；显示部件，显示基于由所述接收部件接收到的画面数据的远程画面；触摸操作部件，设置在所述显示部件中；存储部件，存储由所述接收部件接收到的画面数据；以及控制部件，在用户经由所述触摸操作部件对在所述显示部件中显示的所述远程画面进行了指示画面数据的编辑加工的手势操作时，在基于所述信息取得部件取得的信息的无线通信状态超过规定等级时，将指示画面数据的编辑加工的信息发送到所述图像处理装置，从图像处理装置取得编辑加工后的画面数据并使所述显示部件显示，在所述通信状态取得部件取得的通信状态为规定等级以下时，使用在所述存储部件中存储的画面数据进行编辑加工，并使所述显示部件显示编辑加工后的画面数据，所述图像处理装置包括：接收部件，接收来自所述便携终端装置的指示所述第二画面区域的画面数据的编辑加工的信息；编辑加工部件，基于由所述接收部件接收到的指示所述画面数据的编辑加工的信息，对画面数据进行编辑加工；以及发送部件，将画面数据发送到所述便携终端装置，且在画面数据通过所述编辑加工部件进行了编辑加工的情况下，将该进行了编辑加工的画面数据发送到所述便携终端装置。

根据上述(1)中记载的发明，若用户经由触摸操作部件对在显示部件中显示的所述远程画面进行指示画面数据的编辑加工的手势操作，则判断该手势操作是对第一画面区域进行的操作，还是对第二画面区域进行的操作。然后，在判断为是对第一画面区域进行的操作的情况下，使用从图像处理装置发送并在存储部件中存储的第一画面区域的画面数据进行编辑加工，并显示编辑加工后的画面数据。另一方面，在判断为是对第二画面区域进行的操作的情况下，对图像处理装置发送指示第二画面区域的画面数据的编辑加工的信息，从图像处理装置取得编辑加工后的画面数据并显示在显示部件中。

即，若用户对第一画面区域进行变倍或旋转这样的指示画面数据的编辑加工的手势操作，则使用已经接收完毕的第一画面区域的画面数据，在便携终端装置的内部进行编辑加工处理，所以即使进行触摸的手指连续性地移动，追随该手指的画面数据也在短时间内依次被加工编辑，响应性好地显示。因此，相应地，能够比以往提高画面显示的响应性，能够缓和不能确保操作性的问题。

此外，在对第二画面区域进行了指示画面数据的编辑加工的手势操作的情况下，由于与以往相同地，通过图像处理装置进行了编辑加工的画面数据显示在显示部件中，所以例如关于预览图像区域等，能够防止如使用在便携终端装置侧已经发送完毕的图像进行了编辑加工的情况那样的画质的恶化，能够显示更清晰的图像。

根据上述(2)中记载的发明，由于在图像处理装置和便携终端装置的无线通信状态超过规定等级时、即通信状态好时，即使是指示对第一画面区域进行的画面数据的编辑加工的操作，也能够抑制响应性的恶化，所以显示在图像处理装置中进行了编辑加工的画面数据。

根据上述(3)中记载的发明，由于在图像处理装置和便携终端装置的通信状态超过规定等级时、即通信状态好时，显示在图像处理装置中进行了编辑加工的画面数据，在通信状态为规定等级以下时、即通信状态不好时，对在存储部件中存储的已经接收完毕的画面数据进行了编辑加工的画面数据显示在显示部件中，所以在通信状态好时和差时，都能够对变倍或旋转这样的指示画面数据的编辑加工的手势操作响应性好地实时显示画面。

根据上述(4)中记载的发明，能够追随变倍或旋转这样的指示画面数据的编辑加工的手势操作，响应性好地连续改变画面。

根据上述(5)中记载的发明，在用户对所述远程画面进行的手势操作为指示向下一个画面的更新的操作的情况下，从图像处理装置取得被更新的下一个画面数据，并显示在显示部件中。

根据上述(6)中记载的发明，根据是一点触摸操作还是两点触摸操作，能够判断手势操作是指示向下一个画面的更新的操作，还是指示画面数据的编辑加工的操作。

根据上述(7)中记载的发明，在为双指缩小操作或者双指放大操作的情况下，判断为是指示画面数据的编辑加工的操作。

根据上述(8)中记载的发明，在进行了指示画面数据的变倍或者旋转的手势操作的情况下，应用本发明。

根据上述(9)中记载的发明，图像处理装置能够基于远程画面中的触摸位置的坐标数据，进行画面数据的编辑加工。

根据上述(10)中记载的发明，图像处理装置能够基于远程画面中的触摸位置的坐标数据，将被更新的下一个画面数据发送到便携终端装置。

根据上述(11)中记载的发明，由于在图像处理装置的显示部件的画面尺寸与本装置的显示部件的画面尺寸不同的情况下，触摸位置的坐标数据变换为与图像处理装置的显示部件对应的坐标数据，并发送到图像处理装置，所以图像处理装置能够生成准确地对应于用户的触摸操作的画面数据。

根据上述(12)中记载的发明，若用户对第一画面区域进行变倍或旋转这样的指示画面数据的编辑加工的手势操作，则使用已经接收完毕的第一画面区域的画面数据，在便携终端装置的内部进行编辑加工处理，所以即使进行触摸的手指连续性地移动，追随该手指的画面数据也在短时间内依次被加工编辑，响应性好地显示。因此，相应地，能够比以往提高画面显示的响应性，能够缓和不能确保操作性的问题。

根据上述(13)中记载的发明，在图像处理装置和便携终端装置的通信状态好时和差时，都能够对变倍或旋转这样的指示画面数据的编辑加工的手势操作响应性好地实时显示画面。

根据上述(14)中记载的发明，成为即使进行触摸的手指连续性地移动，追随该手指的画面数据也在短时间内依次被加工编辑，响应性好地显示。因此，相应地，能够比以往提高画面显示的响应性，能够缓和不能确保操作性的问题的系统。

根据上述(15)中记载的发明，成为在图像处理装置和便携终端装置的通信状态好时和差时，都能够对变倍或旋转这样的指示画面数据的编辑加工的手势操作响应性好地实时显示画面的系统。

附图说明

图1是使用本发明的一实施方式的便携终端装置的图像处理联合系统的结构图。

图2是表示图像处理装置以及便携终端装置的电结构的方框图。

图3是表示图像处理装置以及便携终端装置的固件结构的方框图。

图4是表示图像处理装置以及便携终端装置的各软件的关系的图。

图5是在对在便携终端装置的显示部中显示的远程画面进行了操作的情况下显示的画面的说明图。

图6是表示联合操作时的便携终端装置的动作的流程图。

图7是表示联合操作时的图像处理装置的动作的流程图。

图8是用于说明本发明的其他实施方式的图，且是图示了图像处理装置以及便携终端装置的处理的图。

图9是表示执行图8所示的实施方式的情况下的便携终端装置的动作的流程图。

图10是表示本发明的再其他实施方式的图，且是表示便携终端装置的动作的流程图。

图11是用于说明在便携终端装置的画面尺寸和图像处理装置的画面尺寸不同的情况下的坐标变换方法的图。

标号说明

1图像处理装置

2便携终端装置

101cpu

102rom

107b显示部

109wifi模块

201cpu

202ram

203存储部

204显示部

205wifi模块

209联合部

具体实施方式

以下，基于附图说明本发明的实施方式。

图1是使用本发明的一实施方式的便携终端装置的图像处理联合系统的结构图。

该图像处理联合系统包括图像处理装置1和由智能手机或平板终端等构成的便携终端装置2，这些图像处理装置1和便携终端装置2能够经由无线lan路由器3、网络4而相互连接。另外，图像处理装置1和便携终端装置2能够通过usb接口等进行有线连接，但在该实施方式中，通过无线通信相互连接。

在该实施方式中，作为图像处理装置1，使用具有复印功能、打印功能、扫描功能、传真功能等的前述的mfp。以下，也将图像处理装置记为mfp。此外，也将便携终端装置记为便携终端。

图2是表示所述mfp1和便携终端2的电结构的方框图。

mfp1包括cpu101、rom102、ram103、扫描仪部104、打印部105、存储部106、操作面板部107、wifi(wirelessfidelity,无线保真)模块109、lan(局域网)控制器110、usb接口(usbi/f)111等。

所述cpu101根据在rom102等中存储的动作程序进行动作，从而统一控制mfp1的全体。例如，除了将mfp1的各种功能控制为能够使用之外，在该实施方式中，基于来自便携终端2的请求，生成在便携终端2中显示的mfp1的操作画面的画面数据并发送到便携终端2，或者生成用于表示画面数据的区域为第一画面区域还是第二画面区域的属性信息(后述)并发送到便携终端2，或者基于在便携终端侧进行的用户操作而进行了编辑加工的画面数据或在便携终端侧进行的用户操作，将接下来显示的画面数据等发送到便携终端2。

所述rom102是存储cpu101等的动作程序等的存储器，ram103是提供cpu101根据动作程序而动作时的作业区域的存储器。

所述扫描仪部104读取在未图示的压印玻璃(platenglass)上设置的原稿或在同样未图示的自动原稿搬运装置中设置的原稿的图像，输出作为电子数据的图像数据。

所述打印部105将由扫描仪部104读取的原稿的图像数据或从便携终端2等发送的打印数据印刷在用纸上。

所述存储部106存储各种数据或应用程序等，使用硬盘装置等。尤其，在该实施方式中，存储要在操作面板部107中显示的各种操作画面的显示用数据，通过cpu101从存储部106调用对应于用户的操作的操作画面的显示用数据，显示在操作面板部107中，或者发送到便携终端2。此外，保存由扫描仪部104读取的图像数据构成的文本文件或从外部装置发送的文本文件等的多个文件。

操作面板部107操作mfp1或者对用户显示消息等，包括具有开始键、数字键等的键部107a以及由液晶等的触摸面板构成的显示部107b。

所述wifi模块109是用于与便携终端2进行无线连接的接口，所述lan控制器110控制与个人计算机或其他的mfp等的外部装置之间的通信。

所述usb接口111是用于与便携终端2进行有线连接的接口。

另一方面，在便携终端2中，使用智能手机、平板终端、电子纸等。便携终端2包括cpu201、ram202、存储部203、显示部204、wifi模块205、lan控制器206、usb接口207、文件处理部208a、208b、联合部209等。

所述cpu201统一控制便携终端2的全体，根据作为基本软件的os(操作系统)或后述的联合应用程序或者通用应用程序而动作。

所述ram202是成为cpu201根据动作程序而动作时的作业区域的存储器。

所述存储部203存储各种数据或应用程序等，使用硬盘装置等。在该实施方式中，存储从mfp1发送的画面数据或表示该画面数据中的第一画面区域以及第二画面区域的属性信息、基本os、联合应用程序、通用应用程序等的程序。另外，所述属性信息并不限定于从mfp1发送的情况，也可以便携终端2预先保持。此外，在以下的说明中，也将应用程序简称为应用。

所述显示部204由具有可进行触摸操作输入的触摸面板的液晶等的设备构成。触摸操作通常通过根据触摸的手指的数目或者手指的移动而规定操作内容的手势操作而进行。作为手势操作的一例，能够例示用于对在画面中显示的图像指示变倍(放大或缩小)或旋转等的编辑加工的双指缩小操作、双指放大操作等。

所述wifi模块205是用于将便携终端2与mfp1进行无线连接的接口，所述lan控制器206控制与用户终端等的外部装置之间的通信。此外，所述usb接口207是用于将便携终端2与mfp1进行有线连接的接口。

所述文件处理部208a、208b对文件实施编辑、转发或者邮件发布等的处理。以下，也将文件处理部208a、208b中的任一个记为文件处理部208。

所述联合部209是为了灵活地进行mfp1与便携终端2之间的功能联合，使得能够使用mfp1的功能的部分。具体而言，将为了使用mfp1的复印功能、打印功能、扫描功能、传真功能等而用于再现与在mfp1的操作面板部107中显示的画面相同的画面的画面数据等，从mfp1接收并作为远程画面而显示在显示部204中，或者在用户操作了所显示的远程画面时，检测画面上的操作位置的坐标并发送到mfp1。mfp1通过分析所述操作位置的坐标，确定用户的操作指示，执行与操作指示对应的动作。

所述文件处理部208通过cpu201执行通用应用而实现其功能。即，通用应用是用于实现处理各种文件的文件处理部208的软件，例如能够使用文件编辑用应用、具有将文件通过电子邮件发布的功能的应用、具有在网络上存储文件的功能的应用等各种应用。

此外，所述联合部209通过cpu201执行前述的联合应用而实现这些功能。即，联合应用是用于实现mfp1与便携终端2的平稳的功能联合的软件。此外，能够在联合应用和通用应用之间进行文件的转发或下载。

图3是表示mfp1和便携终端2的固件结构的方框图。

mfp1在应用层上具有操作面板(应用)121或开放api(openapplicationprograminterface，开放应用程序接口)122等，在公共api层上具有公共api(commonapi)125或面板显示图像生成部126等，在硬件依赖层上具有面板画面生成部123、面板控制部124、便携终端用控制部127等。

进一步，在核心(kernel)层上具有面板输入控制部129、面板lcd控制部130、jpeg编码驱动器131等，在设备层上具有操作面板部107、usb接口111、jpeg压缩部133、wifi模块109等。

面板画面生成部123在从便携终端2进行联合操作的情况下，生成要在操作面板部107中显示的mfp1侧的画面数据。

面板控制部124进行与操作面板部107的通信状态的控制等。此外，面板显示图像生成部126生成表示在联合操作时显示在便携终端2的远程画面的画面内的区域是前述的第一画面区域还是第二画面区域的属性信息。另外，生成的属性信息与画面数据一同发送到便携终端装置2。

这里，第一画面区域是用户在远程画面中进行了画面数据的编辑加工指示操作时，设定了在便携终端装置2中进行编辑加工的画面区域，第二画面区域是设定了在mfp1中进行编辑加工的画面区域。预先设定了在画面数据的区域中将哪个区域设为第一画面区域还是第二画面区域。

例如在一个画面数据中存在文件的预览图像的显示区域和操作按钮的显示区域的情况下，由于预览图像的显示区域在编辑加工后也要求清晰的图像，所以设定为在保有原来的图像数据的mfp1中进行编辑加工的第二画面区域，由于例如操作按钮的显示区域不那么需要清晰的图像，所以设定为在便携终端2中进行编辑加工的第一画面区域。

属性信息并不是必须直接表示第一画面区域和第二画面区域的各自的信息，既可以通过只表示第一画面区域而间接表示除了第一画面区域的区域为第二画面区域，也可以通过只表示第二画面区域而间接表示除了第二画面区域的区域为第一画面区域。

便携终端用控制部127在与便携终端2的联合处理时，控制用于与便携终端2进行通信的接口等。

面板输入控制部129进行与操作面板部107的操作输入有关的控制，面板lcd控制部130进行操作面板部107的显示部107b的显示控制。jpeg压缩部133对经由jpeg编码驱动器131从便携终端用控制部127发送来的画面数据等进行jpeg压缩，被压缩的数据经由usb接口111或wifi模块109发送到便携终端2。

另一方面，便携终端2由具有图像显示应用221、显示图像生成应用222、jpeg展开应用223、浏览器等的各种应用程序的应用层、具有各种管理器225、226等的平台层、具有各种程序库227以及核心228的os层、硬件229构成。

所述jpeg展开应用223对从mfp1发送来的压缩数据进行扩展。

显示图像生成应用222当用户对在便携终端2的显示部204中显示的远程画面的第一画面区域进行了画面数据的编辑加工指示操作时，使用当前显示且在存储部203中存储的第一画面区域的画面数据，在本装置中进行编辑加工，并显示在显示部204中。

所述图像显示应用221使用从mfp1发送并在jpeg展开应用223中扩展的画面数据，作为远程画面而生成mfp1的画面，并显示在显示部204中。

另外，在该实施方式中，图像显示应用221、显示图像生成应用222、jpeg展开应用223作为在联合应用中实现的功能的一部分而构成。

接着，说明将mfp1和便携终端2进行联合操作的情况下的处理。

假设用户想要将便携终端2经由网络与mfp1无线连接，将便携终端2和mfp1进行联合操作。便携终端2和mfp1的联合操作通过用户启动在便携终端2中安装的联合应用而开始。

图4是表示mfp1以及便携终端2的各软件的关系的图，左侧表示mfp1侧的软件，右侧表示便携终端2的软件。

便携终端2的联合应用位于便携终端2的os和作为通用的软件的应用软件的中间，能够取得用户的操作信息、与便携终端2的发送接收数据、便携终端2侧的画面数据，并根据需要将这些数据发送到mfp1。即，便携终端2的联合软件执行应用的调用等的便携终端2侧的用户操作接受处理、mfp1的操作画面显示用数据的接收/显示处理(便携终端侧操作画面处理)、便携操作关联处理等。作为联合操作关联处理，举出表示操作的内容的操作信息与mfp1的通信等。

另一方面，mfp1的联合应用在mfp1侧的os或mfp1用的应用软件全部为本公司设计/本公司定制且能够获取全部需要的信息的情况下，也可以位于os-应用软件之间，也可以通过与os或应用软件独立且与os或应用软件进行通信，从而获得需要的信息。mfp1的联合应用执行应用的调用等的mfp1侧的用户操作接受处理、对于便携终端2的mfp侧画面数据的发送处理(mfp侧操作画面处理)、联合操作关联处理等。作为联合操作关联处理，举出来自便携终端2的操作信息等的接收/执行处理等。

若用户选择在便携终端2的显示部204中显示的操作画面中的联合操作图标，指示mfp联合，则便携终端2的联合软件进行对于注册的mfp1的通信，调用mfp1的联合软件，请求画面数据的取得。由此，开始联合操作模式，在mfp1的显示部105a和便携终端2的显示部204中显示mfp侧的画面。另外，也可以不进行mfp1的显示部105a中的画面显示。

若用户对作为在便携终端2中显示的mfp1侧的画面的远程画面进行触摸操作，则判断触摸操作是指示画面数据的编辑加工的手势操作，还是对于下一个画面的更新指示操作。然后，若判断为触摸操作是指示画面数据的编辑加工的手势操作，则在远程画面的区域中判断是在第一画面区域中进行了操作，还是在第二画面区域中进行了操作。

图5(a)表示在便携终端2的显示部204中显示远程画面d1的状态。

该远程画面d包括第一画面区域d11和第二画面区域d12。如前所述，第一画面区域d11以及第二画面区域d12的范围作为属性信息与画面数据一同从mfp1发送，并存储在存储部203中。

在图5(a)的例子中，第一画面区域d11是显示了多个操作按钮的区域，第二画面区域d12是显示了文件等的预览图像的区域。

这里，假设用户对远程画面d1的第一画面区域d11作为指示编辑加工的操作，为了图像放大而进行了作为手势操作的双指放大操作。

于是，便携终端2判断为是对于第一画面区域d11的双指放大操作，在存储部203中存储的画面数据中使用第一画面区域的数据对其进行放大加工，如图5(c)所示，被放大的画面d3显示在显示部204中。

在双指放大操作中，手指每次在触摸面板上移动时，画面数据被放大加工而显示在显示部204中。由于放大加工是使用在便携终端2中存储的数据而便携终端自己进行，所以处理速度极快，因此，能够响应性好地追随在面板上移动的手指的动作，连续地显示放大图像。

接着，假设用户对远程画面d1的第二画面区域d12作为指示编辑加工的操作，为了图像放大而进行了作为手势操作的双指放大操作。

于是，便携终端2判断为是对于第二画面区域d12的双指放大操作，对mfp1发送指示第二画面区域d12的画面数据的放大的信息。具体而言，指示第二画面区域d12的画面数据的放大的信息为远程画面d1中的触摸装置的位置信息(坐标数据)。

mfp1若接收到该位置信息，则分析该位置信息，对第二画面区域d12的画面数据进行放大处理，并将处理后的画面数据发送到便携终端2。

便携终端2接收该画面数据，并如图5(b)所示，将具有被放大的第二画面区域d22的画面d2显示在显示部204中。在该实施方式中，由于第二画面区域为预览区域，所以在放大后也要求更清晰的图像。因此，假设第二画面区域的放大处理不是使用已经接收完毕的画面数据而进行的，而是使具有原始的画面数据的mfp1执行放大处理，接收放大处理后的画面数据而显示。由于便携终端2接收完毕的画面数据是压缩发送的，所以若扩展并进一步放大该画面数据，则画质恶化。

图6是表示联合操作时的便携终端2的动作的流程图。

另外，这个动作是通过便携终端2的cpu201根据在存储部203等中存储的动作程序动作而执行。

在联合应用的启动后，在步骤s01中，将画面数据的取得请求发送到mfp1。在步骤s02中，等待来自mfp1的画面数据(在步骤s02中“否”)。若取得画面数据(在步骤s02中“是”)，则在步骤s03中在显示部204中显示之后，在步骤s04中，将取得的画面数据和与该画面数据一同发送来的表示第一画面区域、第二画面区域的属性信息存储在存储部203中。

接着，在步骤s05中，判断是否进行了触摸操作。在进行了触摸操作的情况下(在步骤s05中“是”)，在步骤s06中判断触摸操作是否为指示画面数据的编辑加工的手势操作。在该实施方式中，将基于双指缩小操作、双指放大操作的显示画面的放大或缩小操作或旋转操作作为指示编辑加工的手势操作来例示，但并不限定于此。

是否为指示编辑加工的手势操作能够根据是一点触摸操作还是两点触摸操作而容易判断。例如，在双指缩小操作、双指放大操作的情况下，由于是两点触摸操作，所以判断为是指示画面数据的编辑加工的手势操作。在一点触摸操作的情况下，由于认为是在远程画面中显示的操作按钮等的按压操作，所以判断为是对于下一个画面的更新指示操作。

若在步骤s06中，触摸操作被判断为是显示画面的变倍/旋转操作(在步骤s06中“是”)，则在步骤s07中，判断触摸操作是否为第一画面区域中的操作。若触摸操作被判断为是第一画面区域中的操作(在步骤s07中“是”)，则在步骤s08中，使用在存储部203中存储的画面数据，进行对应于操作的变倍处理或者旋转处理之后，在步骤s09中，将处理后的画面数据显示在显示部204中。在显示后，返回到步骤s05。另外，变倍处理或者旋转处理后的画面数据存储在存储部203中，用于下一个变倍处理或者旋转处理。

另一方面，在步骤s06中，触摸操作被判断为不是显示画面的变倍/旋转操作、即是对于下一个画面的更新指示操作的情况下(在步骤s06中“否”)，进入步骤s10，作为有关更新的信息，发送远程画面中的触摸位置的坐标数据。mfp1根据触摸位置的坐标数据，识别为是一点触摸，将对应于此的下一个画面数据(更新画面的数据)发送到便携终端2。

另一方面，即使在步骤s07中，触摸操作被判断为是第二画面区域中的操作的情况下(在步骤s07中“否”)，也进入步骤s10，作为指示第二画面区域的画面数据的编辑加工的信息，将触摸位置的坐标数据发送到mfp1。

mfp1根据触摸位置的坐标数据，识别为是两点触摸，进行对应于此的编辑加工，并将编辑加工后的画面数据发送到便携终端2。

便携终端2在步骤s11中，接收到来自mfp1的画面数据之后，进入步骤s09，并显示在显示部204中。

由于双指缩小操作、双指放大操作等使触摸到触摸面板的手指连续性地移动，所以只要移动状态继续，则重复步骤s05～s11的动作。

通过步骤s05～09的动作的重复，根据第一画面区域中的双指缩小操作、双指放大操作的手指的连续性的移动，在显示部204中响应性好地连续显示进行变倍或旋转的图像数据。

若规定期间没有触摸操作(在步骤s05中“否”)，则当做触摸操作结束，结束处理。

通过第二画面区域中的双指缩小操作、双指放大操作的手指的连续性的移动，也从mfp1发送进行变倍或旋转的画面数据。此时，虽然响应性不好，但得到清晰的图像。

图7是表示联合处理时的mfp1的动作的流程图。这个动作通过mfp1的cpu101根据在rom102等中存储的动作程序动作而执行。

在步骤s21中，判断是否从便携终端2有操作画面的取得请求，若没有则直接结束处理。若有取得请求(在步骤s21中“是”)，则在步骤s22中，将被请求的画面数据和前述的属性信息发送到便携终端2。

接着，在步骤s03中，判断是否从便携终端2接收到坐标数据。若没有接收(在步骤s23中“否)，则结束处理。在接收的情况下(在步骤s23中“是”)，在步骤s24中分析坐标数据，判断触摸操作是否为显示画面的变倍/旋转操作。

若判断为是变倍/旋转操作(在步骤s24中“是”)，则在步骤s25中，进行了对应于操作的变倍处理或者旋转处理之后，在步骤s26中，将处理后的画面数据发送到便携终端2。在发送之后，返回到步骤s23。

在步骤s24中，触摸操作被判断为不是显示画面的变倍/旋转操作、即是对于下一个画面的更新指示操作的情况下(在步骤s24中“否”)，进入步骤s27，将对应的下一个画面数据发送到便携终端2之后，返回到步骤s23。

由于双指缩小操作、双指放大操作等使触摸到触摸面板的手指连续移动，所以只要移动状态继续，则重复步骤s23～s27的动作。

若规定时间没有触摸操作(在步骤s23中“否”)，则当做触摸操作结束，结束处理。

图8是用于说明本发明的其他实施方式的图，是图示了mfp1以及便携终端2的处理的图。

在本实施方式中，便携终端2的cpu201具有以与mfp1进行无线通信连接的状态取得有关无线通信状态的信息，判断无线通信状态的好坏的功能。另外，通信状态的好坏能够根据对通信速度或通信频带等取得的信息来判断。另外，也可以由mfp1判断无线通信状态的好坏，并通过接收该信息而便携终端2判断无线通信状态的好坏。

在对远程画面进行了指示变倍、旋转等的编辑加工的手势操作时，根据mfp1和便携终端2之间的无线通信状态的好坏，决定在便携终端2中执行编辑加工处理，还是在mfp1中执行。

在mfp1通过无线通信连接到智能手机、平板终端等的其他的便携终端的状态下，mfp1和便携终端2之间的无线通信状态恶化，对于远程画面的操作的mfp1的响应性降低。因此，在无线通信状态恶化的情况下，不进行在与mfp1之间的画面数据的发送接收，通过便携终端2进行画面数据的编辑加工而确保响应性，在未恶化的情况下，mfp1的响应性降低的危险少，所以在mfp1中进行编辑加工。

便携终端2在步骤s31中，根据jpeg图像生成远程画面并显示在显示部204中。若对远程画面有例如进行双指缩小操作、双指放大操作，则在步骤s32中检测触摸位置的坐标，在步骤s33中判断手势操作的内容，判断是变倍、旋转等的编辑加工指示还是对于下一个画面的更新指示。

在步骤s35中监视与mfp1的通信状态，在手势操作为编辑加工的指示的情况下，根据通信状态，在步骤s34中进行选择。即，在通信状态不好的情况下，如箭头a所示，在步骤s37中，对在存储部203中存储的画面数据的接收数据(jpeg数据)进行变倍处理等，在步骤s38中，将处理后的数据显示在显示部204中。

另一方面，在通信状态好的情况下，如箭头b所示，在步骤s31中，作为指示画面数据的编辑加工的信息，将触摸操作位置的坐标数据发送到mfp1。mfp1在步骤s41中识别操作内容，在步骤s42中生成对应于操作的画面数据，并发送到便携终端2。便携终端2接收该数据，并在步骤s38中进行显示。

图9是表示在执行图8所示的实施方式的情况下的便携终端2的动作的流程图。

另外，该动作通过便携终端2的cpu201根据在存储部203等中存储的动作程序动作而执行。

在联合应用的启动后，在步骤s51中，将画面数据的取得请求发送到mfp1，在步骤s52中，等待来自mfp1的画面数据(在步骤s52中“否”)。若取得画面数据(在步骤s52中“是”)，则在步骤s53中显示在显示部204中之后，在步骤s54中，将取得的画面数据存储在存储部203中。

接着，在步骤s55中，判断是否进行了触摸操作。在进行了触摸操作的情况下(在步骤s55中“是”)，在步骤s56中，判断触摸操作是否为手势操作的变倍/旋转操作。

在步骤s56中，若触摸操作被判断为是显示画面的变倍/旋转操作(在步骤s56中“是”)，则在步骤s57中，判断与mfp1的无线通信状态是否超过规定等级(通信状态是否好)。

若通信状态被判断为是规定等级以下(在步骤s57中“否”)，则由于无线通信状态不好，所以在步骤s58中，使用在存储部203中存储的画面数据，进行对应于操作的变倍处理或者旋转处理之后，在步骤s59中，将处理后的画面数据显示在显示部204中。显示后，返回到步骤s55。另外，变倍处理或者旋转处理后的画面数据存储在存储部203中，用于下一个变倍处理或者旋转处理。

另一方面，在步骤s56中，触摸操作被判断为不是显示画面的变倍/旋转操作、即是对于下一个画面的更新指示操作的情况下(在步骤s56中“否”)，进入步骤s60，作为有关更新的信息，发送远程画面的触摸位置的坐标数据。mfp1根据触摸位置的坐标数据识别为是一点触摸，并将对应于此的下一个画面数据(更新画面的数据)发送到便携终端2。

此外，在步骤s57中，判断为与mfp1的无线通信状态超过规定等级的情况下、即无线通信状态好的情况下(在步骤s57中“是”)，进入步骤s60，作为指示画面数据的编辑加工的信息，将触摸位置的坐标数据发送到mfp1。

mfp1根据触摸位置的坐标数据识别为是两点触摸，进行对应于此的编辑加工，并将编辑加工后的画面数据发送到便携终端2。

便携终端2在步骤s61中，接收来自mfp1的画面数据之后，进入步骤s59，将接收到的画面数据显示在显示部204中。

由于双指缩小操作、双指放大操作等使触摸到触摸面板的手指连续性地移动，所以只要移动状态继续，则重复步骤s55～s61的动作。

通过步骤s55～59的动作的重复，根据第一画面区域中的双指缩小操作、双指放大操作的手指的连续性的移动，在显示部204中响应性好地连续显示进行变倍或旋转的图像数据。

若规定时间没有触摸操作(在步骤s55中“否”)，则当做触摸操作结束，结束处理。

由此，在本实施方式中，在mfp1和便携终端2的通信状态超过规定等级时、即通信状态好时，显示在mfp1中进行了编辑加工的画面数据，在通信状态为规定等级以下时、即通信状态不好时，对在存储部203中存储的已经接收完毕的画面数据进行了编辑加工的画面数据显示在显示部204中，所以在通信状态好时和差时，都能够对变倍或旋转这样的指示画面数据的编辑加工的手势操作响应性好地实时显示画面。

图10是表示本发明的再其他的实施方式的图，且是表示便携终端2的动作的流程图。

另外，本动作通过便携终端2的cpu201根据在存储部203等中存储的动作程序动作而执行。

与图6所示的实施方式相同地，本实施方式在对远程画面的第一画面区域进行了指示编辑加工的手势操作的情况下，在便携终端2中进行编辑加工处理，但在与mfp1的无线通信状态好的情况下，即使进行了对远程画面的第一画面区域进行了指示编辑加工的手势操作，也将指示第一画面区域的画面数据的编辑加工的信息发送到mfp1，在mfp1中执行编辑加工处理。

在启动联合应用之后，在步骤s71中，将画面数据的取得请求发送到mfp1，在步骤s72中，从mfp1等待画面数据的取得请求(在步骤s72中“否”)。若取得画面数据(在步骤s72中“是”)，则在步骤s73中显示在显示部204之后，在步骤s74中，将取得的画面数据和与该画面数据一同发送来的表示第一画面区域、第二画面区域的属性信息存储在存储部203中。

接着，在步骤s75中，判断是否进行了触摸操作。在进行了触摸操作的情况下(在步骤s75中“是”)，在步骤s76中，判断触摸操作是否为手势操作的变倍/旋转操作。

在步骤s76中，若触摸操作被判断为是显示画面的变倍/旋转操作(在步骤s76中“是”)，则在步骤s77中，判断触摸操作是否为第一画面区域中的操作。若触摸操作被判断为是第一画面区域中的操作(在步骤s77中“是”)，则在步骤s78中，判断与mfp1的无线通信状态是否超过规定等级(通信状态是否好)。

若通信状态被判断为是规定等级以下(在步骤s78中“否”)，则由于无线通信状态不好，所以在步骤s79中，使用在存储部203中存储的画面数据，进行对应于操作的变倍处理或者旋转处理之后，在步骤s80中，将处理后的画面数据显示在显示部204中。在显示后，返回到步骤s75。另外，变倍处理或者旋转处理后的画面数据存储在存储部203中，用于下一个变倍处理或者旋转处理。

另一方面，在步骤s76中，触摸操作被判断为不是显示画面的变倍/旋转操作、即是对于下一个画面的更新指示操作的情况下(在步骤s76中“否”)，进入步骤s81，作为有关更新的信息，发送远程画面中的触摸位置的坐标数据。mfp1根据触摸位置的坐标数据，识别为是一点触摸，将对应于此的下一个画面数据(更新画面的数据)发送到便携终端2。

此外，在步骤s77中，触摸操作被判断为是第二画面区域中的操作的情况下(在步骤s77中“否”)，也进入步骤s81，作为指示第二画面区域的画面数据的编辑加工的信息，将触摸位置的坐标数据发送到mfp1。

此外，在步骤s78中，与mfp1的无线通信状态被判断为超过规定等级的情况下、即无线通信状态好的情况下(在步骤s78中“是”)，也进入步骤s81，作为指示画面数据的编辑加工的信息，将触摸位置的坐标数据发送到mfp1。

mfp1根据触摸位置的坐标数据识别为是两点触摸，进行对应于此的编辑加工，并将编辑加工后的画面数据发送到便携终端2。

便携终端2在步骤s82中，接收来自mfp1的画面数据之后，进入步骤s80，将接收到的画面数据显示在显示部204中。

由于双指缩小操作、双指放大操作等使触摸到触摸面板的手指连续性地移动，所以只要移动状态继续，则重复步骤s75～s82的动作。

若规定时间没有触摸操作(在步骤s75中“否”)，则当做触摸操作结束，结束处理。

由此，在本实施方式中，在与mfp1的无线通信状态超过规定等级时、即通信状态好时，即使是对第一画面区域进行的指示画面数据的编辑加工的手势操作，也因响应性的恶化得以抑制，所以在mfp1中进行编辑加工。

另外，在从便携终端2对mfp1发送远程画面中的触摸位置的坐标数据作为指示画面数据的编辑加工的信息或者有关更新的信息的情况下，在便携终端2的显示部204的画面尺寸与mfp1的显示部107b的画面尺寸不同的情况下，便携终端2的显示部204中的坐标数据与mfp1的显示部107b的坐标数据并不以1对1对应。因此，即使将便携终端2的显示部204中的坐标数据直接发送到mfp1，mfp1也不能准确地生成对应于便携终端2的操作的画面数据。

因此，在该实施方式中，便携终端2从mfp1预先接收与显示部107b的画面尺寸有关的信息，且在接收到的mfp1的画面尺寸与便携终端2的画面尺寸不同的情况下，将所述触摸位置的坐标数据变换为与mfp1的画面尺寸对应的坐标数据，并发送到mfp1。

具体而言，如图11(a)、(b)所示，若假设mfp1的显示部107a的画面尺寸为α2×β2、便携终端2的显示部204的画面尺寸为α1×β1、便携终端2的显示部204的触摸位置的坐标设为(x1，y1)，则便携终端2将对mfp1发送的坐标数据(x2，y2)通过以下式进行变换而发送。

x2＝(α2/α1)×x1，y2＝(β2/β1)×y1

通过这样的坐标变换，mfp1能够生成准确地对应于用户的触摸操作的画面数据，进而，能够将对应于用户操作的远程画面显示在便携终端2中。