、EEPR0M(注册商标)(Electrically EPR0M，电可擦可编程只读存储器)、HDD(Hard DiscDrive，硬盘驱动器)等的非易失性存储装置中。此外，在存储部14中，保存有指示图像一览表141ο
[0094]指示图像一览表141保存有与通过用户在智能电话I中进行选择而能够使家庭内设备3执行的处理建立了对应的指示图像Imal的一览，例如，保存有图3所例示的服务器2的服务器存储部23中保存的指示图像表231的纸面左侧的列所示的指示图像Imal的一
ΙΙΛ-见。
[0095]控制部10总体地控制包含用户输入受理处理、指示信息发送处理、投稿信息显示处理在内的智能电话I的功能，包含输入控制部110、显示控制部113、处理指示部114以及投稿信息获取部115。
[0096]输入控制部HO基于从输入面11输入的输入信号来生成输入信息，并将该输入信息输出到显示控制部113以及处理指示部144。输入控制部110包含第I输入控制部111以及第2输入控制部112。第I输入控制部111获取表示指示图像Imal被用户指定了(被投稿到家族留言板)的信息。第2输入控制部112获取由用户在输入面11输入的“早上好”等的文字信息作为附加信息Adlnl。附加信息AdInl只要是与指示图像Imal (指示图像信息ImInl)建立了对应的第I指示信息DirIl以外的信息即可，在内容上并无特别限制。关于附加信息AdInl的具体例，在后面详细叙述。
[0097]显示控制部113在显示面12，让用户能够选择地显示指示图像Imal。S卩，显示控制部113将从指示图像一览表141获取的指示图像Imal的一览显示于显示面12。此外，显示控制部113从投稿信息获取部115，接收服务器2所输出的执行结果、设备信息以及投稿信息，并将包含该执行结果、设备信息以及投稿信息的家族留言板显示于显示面12。
[0098]处理指示部114若从第I输入控制部111获取由用户选择的指示图像Imal，则将能够唯一地识别该指示图像Imal的信息即指示图像信息ImInl输出到通信部13。此外，处理指示部114与上述指示图像Imal —起从第2输入控制部112获取用户在输入面11输入的附加信息Adlnl，并将该附加信息AdInl输出到通信部13。虽然后面详细叙述，但上述指示图像信息ImInl (指示图像Imal)以及上述附加信息AdInl的组合与第2指示信息DirI2建立了对应。然后，第2指示信息DirI2包含确定作为控制对象的家庭内设备3 (被控制装置)的第2设备确定信息DirI2a、以及向该控制对象指示给定处理的执行的第2处理确定信息DirI2b。因此，处理指示部114通过将上述指示图像信息ImInl (指示图像Imal)与上述附加信息AdInl发送到服务器2，来进行以下的处理。S卩，处理指示部114使与上述指示图像Imal以及上述附加信息AdInl的组合预先建立了对应的家庭内设备3，执行与上述指示图像Imal以及上述附加信息AdInl的组合预先建立了对应的给定处理。
[0099]投稿信息获取部115在从通信部13输入了服务器2所输出的执行结果、设备信息以及投稿信息的情况下，将该执行结果、设备信息以及投稿信息输出到显示控制部113。在此，上述投稿信息是包含为了能够将从某智能电话I进行了基于指示图像信息ImInl的指示的情况共享给其他智能电话的用户而从接收到指示图像信息ImInl的服务器2发送的消息在内的信息。
[0100]〔家族留言板系统100所执行的处理〕
[0101]以下，基于图5来说明家族留言板系统100中所执行的处理的流程。图5是表示家族留言板系统100(智能电话I，服务器2，机器人吸尘器3a)中所执行的处理的一例的流程图。
[0102]智能电话I若获取用户所进行的使用了指示图像Imal的给定处理的执行指示的操作(S101)，S卩，若探测指示图像Imal被选择了(被投稿到家族留言板)的情况，则执行以下的处理。即，智能电话I判定是否获取到附加信息AdInl (S102)。S卩，判定用户是否使用智能电话1，将附加信息AdInl与指示图像Imal —起投稿到家族留言板。
[0103]在未与指示图像Imal —起获取附加信息AdInl的情况下(S102中为“否”)，智能电话I将该指示图像Imal (指示图像信息ImInl)发送给服务器2。S卩，在仅指示图像Imal被投稿到家族留言板的情况下，智能电话I将指示图像信息ImInl发送给服务器2。智能电话I指示在与由上述指示图像信息ImInl所确定的指示图像Imal建立了对应的第I指示信息DirIl中得到确定的被控制装置，执行在第I指示信息DirIl中得到确定的给定处理(S105)。换言之，智能电话I指示由与上述指示图像Imal建立了对应的第I设备确定信息DirIla所确定的被控制装置，执行由与上述指示图像Imal建立了对应的第I处理确定信息DirIlb所确定的给定处理。
[0104]在获取到附加信息AdInl的情况下(S102中为“是”)，S卩，附加信息AdInl与指示图像Imal —起被投稿到家族留言板的情况下，智能电话I将指示图像Imal (指示图像信息ImInl)与附加信息AdInl发送到服务器2，来进行以下的判定。即，判定与上述指示图像Imal以及上述附加信息AdInl的组合建立了对应的处理(第2指示信息DirI2)是否位于服务器2的指示定义表232中(S103)。正确来说，智能电话I使服务器2判定与上述指示图像Imal以及上述附加信息AdInl的组合建立了对应的第2指示信息DirI2是否位于指示定义表232中，并从服务器2获取该判定的结果。
[0105]在没有与上述指示图像Imal以及上述附加信息AdInl的组合建立了对应的处理的情况下(S103中为“否”)，智能电话I将对上述附加信息AdInl的内容进行确认的消息显示于显示面12(S106)。
[0106]在有与上述指示图像Imal以及上述附加信息AdInl的组合建立了对应的处理的情况下(S103中为“是”)，智能电话I将指示图像Imal与附加信息AdInl发送到服务器2，指示家庭内设备3执行以下的处理。S卩，指示在与上述指示图像Imal以及上述附加信息AdInl的组合建立了对应的第2指示信息DirI2中得到了确定的被控制装置，执行在该第2指示信息DirI2中得到了确定的处理(S104)。换言之，指示由与上述指示图像Imal以及上述附加信息AdInl的组合建立了对应的第2设备确定信息DirI2a所确定的被控制装置，执行由与上述指示图像Imal以及上述附加信息AdInl的组合建立了对应的第2处理确定信息DirI2b所确定的处理。
[0107]另外，与智能电话I所执行的S104相对应的服务器2的处理可以表现如下。即，服务器2从智能电话1，接收确定指示图像Imal的信息即指示图像信息ImInl以及附加信息AdInl (S104’-l)。然后，向与由接收到的指示图像信息ImInl所确定的指示图像Imal建立了对应的第I指示信息DirIl中指定的家庭内设备3，发送以下信号(控制信号)。BP,服务器2向在上述第I指示信息DirIl中指定的家庭内设备3，发送使其执行与上述第I指示信息DirII以及上述附加信息AdInl的组合预先建立了对应的处理的信号(控制信号)(S104’-2)。此外，服务器2也可以在S104’-2中，自己执行与上述第I指示信息DirIl以及上述附加信息AdInl的组合预先建立了对应的处理(例如，向家族留言板的消息等的写
Λ)ο
[0108]〔控制例1-将“早上好”这样的文字与指示图像一起投稿的设备控制〕
[0109]基于图6，来说明在用户将附加信息AdInl与指示图像Imal —起投稿到家族留言板的情况下家族留言板系统100中所执行的一系列处理。
[0110]图6是表示在家族留言板中，在用户(父亲)与空气调节装置3e(微风)之间进行的消息以及指示图像Imal的交换的示意图。
[0111]如图6所示，父亲(用户)将表示空调在工作的状态的指示图像Imal以及“早上好”的文字信息(附加信息AdInl)作为消息投稿到家族留言板。智能电话I对于服务器2，将表示空调在工作的指示图像Imal的指示图像信息ImInl以及“父亲输入了『早上好』”的附加信息AdInl发送到服务器2。
[0112]服务器2参照指示图像表231，根据从智能电话I接收的上述指示图像信息ImInl以及上述附加信息Adlnl，把握以下内容。S卩，服务器2把握空调在工作的指示图像Imal与“打开空调”这样的第I指示信息DirIl建立了对应的情况。即，服务器2把握与上述指示图像Imal建立了对应的第I设备确定信息DirIla是“空气调节装置3e”，与上述指示图像Imal建立了对应的第I处理确定信息DirIlb是“电源接通”的情况。
[0113]服务器2参照指示定义表232，对于任意的指示图像Imal而言，把握该指示图像Imal以及输入到智能电话I的“早上好”的附加信息AdInl的组合与以下的第2指示信息DirI2被建立对应的情况。S卩，把握上述指示图像Imal以及上述附加信息AdInl的组合与“第2设备确定信息DirI2a:由与上述指示图像Imal建立了对应的第I设备确定信息DirIla所确定的家庭内设备3”被建立对应的情况。此外，把握上述指示图像Imal以及上述附加信息AdInl的组合与“第2处理确定信息DirI2b:由与上述指示图像Imal建立了对应的第I处理确定信息DirIlb所确定的处理+与『早上好』相对应的寒暄”被建立对应的情况。
[0114]然后，服务器2向由上述第2设备确定信息DirI2a确定的家庭内设备3，发送使其执行由上述第2处理确定信息DirI2b确定的处理的信号(控制信号)。在图6的例子中服务器2向“空气调节装置3e (微风)”发送使其执行“接通电源”这样的处理以及进行与“早上好”相对应的寒暄的处理的控制信号。
[0115]接收到上述信号的空气调节装置3e执行以下的2个处理。S卩，空气调节装置3e (微风)执行“接通电源”这一处理，并且将接到父亲投稿的上述指示图像Imal这样的消息(“开始空调的运转啦！ ”)投稿到家族留言板。此外，空气调节装置3e (微风)针对父亲与上述指示图像Imal —起投稿的“早上好”的文字，将“早上好。”的寒暄消息投稿到家族留言板。即，空气调节装置3e执行“接通电源”这样的处理，微风将“早上好。开始空调的运转啦！ ”这样的消息投稿到家族留言板。另外实际上是服务器2代替空气调节装置3e，将“早上好。开始空调的运转啦！ ”这样的消息投稿到家族留言板。其中，关于服务器2(代理服务器2a)作为将空气调节装置3e(各家庭内设备3)进行了拟人化的角色:微风，在家族留言板写入消息等方面已经进行了说明，因此省略详细说明。
[0116]若汇总以上的概略，则智能电话I按照以下步骤来执行处理。即，智能电话I执行的控制方法是使家庭内设备3 (被控制装置)直接执行给定处理或经由服务器2使家庭内设备3执行该给定处理的控制装置的控制方法，包括:操作获取步骤(SlOl)，获取使用指示上述给定处理的执行的第I指示信息DirIl (指示信息)被建立了对应的指示图像Imal (图像)，来指示使家庭内设备3执行上述给定处理的用户操作；附加信息获取步骤(S102中为“是”)，获取与在上述操作获取步骤中获取到的上述用户操作中使用的指示图像Imal建立了对应的第I指示信息DirIl以外的信息即附加信息AdInl ;以及处理指示步骤(S104)，使家庭内设备3以及服务器2的至少一方执行与第I指示信息DirIl以及在上述附加信息获取步骤中获取到的上述附加信息AdInl的组合预先建立了对应的处理，该第I指示信息DirIl与在上述操作获取步骤中获取到的上述用户操作中使用的指示图像Imal建立了对应。
[0117]此外，服务器2执行的处理包括以下的各步骤。S卩，服务器接收步骤(S104’ -1)，从若获取使用与直接指示家庭内设备3 (被控制装置)执行给定处理或经由服务器2指示家庭内设备3执行该给定处理的第I指示信息Dirll(指示信息)建立了对应的指示图像Imal (图像)，来指示使家庭内设备3执行该给定处理的用户操作，则使家庭内设备3执行该给定处理的智能电话I (控制装置)，接收(i)确定上述指示图像Imal的信息即指示图像信息ImInl (图像信息)、以及(ii)智能电话I所获取的、与上述指示图像Imal建立了对应的第I指示信息DirIl以外的信息即附加信息AdInl ;服务器发送步骤，进行向在与由发送上述服务器接收步骤中接收到的指示图像信息ImInl所确定的指示图像Imal建立了对应的第I指示信息DirIl中指定的家庭内设备3发送使其执行与第I指示信息DirIl以及附加信息AdInl的组合预先建立了对应的处理的控制信号(信号)、以及执行该预先建立了对应的处理中的至少一方；以及处理执行步骤(S104’ -2)。
[0118]在上述的现有的技术中，用户能够通过选择指示图像而使被控制装置执行的处理只有与该指示图像预先建立了对应的处理。因此，用户例如即使与空调在工作的指示图像Imal 一起投稿“早上好”，能够使空气调节装置3e执行的处理也只有与该指示图像Imal预先建立了对应的处理(例如，接通电源的处理)。
[0119]相对于此，智能电话I能够使由与指示图像Imal以及用户输入的附加信息AdInl的组合建立了对应的第2指示信息DirI2所确定的被控制装置来执行由该第2指示信息DirI2所确定的处理。用户例如通过将“早上好”与空调在工作的指示图像Imal —起投稿，能够使空气调节装置3e执行与该指示图像Imal建立了对应的处理，并且执行与上述“早上好”的投稿相对应的处理。即，在家族留言板系统100中，准备有例如用于响应用户所输入的“早上好”等给定的输入文字信息(附加信息AdInl)来回复给用户的回复消息(例如“早上好”、“多么好的早晨啊”等)。然后，智能电话I在与指示图像Imal —起获取到“早上好”这样的文字信息的情况下，即，在受理了将“早上好”这样的文字与该指示图像Imal —起投稿到家族留言板的用户操作的情况下，执行以下动作。即，智能电话I执行指示给定的家庭内设备3输出(投稿)上述回复消息的动作。
[0120]因此，智能电话I能够不增加指示图像Imal的种类，而通过与指示图像Imal —起输入的(投稿的)附加信息Adlnl，来使被控制装置执行与指示图像Imal建立了对应的处理以外的处理。因此，智能电话I能够不增加指示图像Imal的种类，而增加通过投稿指示图像Imal而能够使被控制装置(家庭内设备3)执行的处理的种类，能够提高用户的便利性。
[0121]〔控制例2-将“外部气温”这样的文字与指示图像一起投稿的设备控制〕
[0122]图7是表示在用户将“外部气温”这样的文字(附加信息AdInl)与指示图像Imal一起投稿到了家族留言板的情况下，在用户与家庭内设备3(空气调节装置3e)之间进行的消息以及指示图像Imal的交换的示意图。
[0123]如图7所示，父亲(用户)将输入了“外部气温”这样的附加信息AdInl的消息与表示调查空调的状态的指示图像Imal —起投稿到家族留言板。若受理父亲所进行的上述的投稿(操作)，则智能电话I向服务器2，发送表示上述指示图像Imal的指示图像信息ImInl以及“内容:外部气温”且“类别:输入信息”的附加信息Adlnl。
[0124]服务器2参照指示图像表231，根据从智能电话I接收的上述指示图像信息ImInl以及上述附加信息Adlnl，把握以下的内容。S卩，服务器2把握上述指示图像Imal与“获取状态(室温、室内湿度、运转状态)并报告”这样的第I指示信息DirIl建立了对应的情况。即，把握如下情况:与上述指示图像Imal建立对应的第I设备确定信息DirIla是“空气调节装置3e”，与上述指示图像Imal建立对应的第I处理确定信息DirIlb是“获取状态(室温、室内湿度、运转状态)并报告”。
[0125]此外，服务器2参照图4所例示的指示定义表232，根据上述指示图像Imal以及“内容:外部气温”且“类别:输入信息”的附加信息AdInl的组合，来获取以下的第2指示信息DirI20即，获取“第2设备确定信息DirI2a:空调”以及“第2处理确定信息DirI2b:获取室温、室内湿度、运转状态并报告+获取外部气温并报告”这样的第2指示信息DirI2。
[0126]然后，服务器2向由第2设备确定信息DirI2a所确定的家庭内设备3，发送使其执行由第2处理确定信息DirI2b所确定的处理的控制信号。在图7的例子中，服务器2向“空气调节装置3e (微风)”，发送使其执行“获取室温、室内湿度、运转状态并报告”这样的处理以及“获取外部气温并报告”这样的处理的控制信号。
[0127]接收到上述信号的空气调节装置3e执行以下处理。即，空气调节装置3e执行“获取室温、室内湿度、运转状态以及外部气温并报告”这样的处理。此外，空气调节装置3e (微风)将“室温:23°C、室内湿度:42%、运转状态:电源接通。外部气温:9°C。”的报告消息投稿到家族留g板。
[0128]S卩，在家族留言板系统100中，准备有与同指示图像Imal —起投稿(输入)到家族留言板的给定文字建立对应的给定处理。然后，智能电话I在包含“外部气温“这样的文字的附加信息AdInl与指示图像Imal —起被输入的情况下，除了使空气调节装置3e执行与该指示图像Imal建立对应的处理以外，还使空气