专利名称：用于脑波接口系统的起动装置、方法及计算机程序的制作方法
技术领域：
本发明涉及利用脑波操作设备的接口 (脑波接口)系统。更具体而言， 本发明涉及装入脑波接口系统且利用用户的脑波用于选择/起动所希望 的功能的起动装置、起动方法、及该种起动装置中执行的计算机程序。
背景技术：
生活中提案有各式各样的设备，在围绕这些设备的生活中，用户通过 操作设备来接受所希望的信息及服务。提高其接口的操作性的重要性因设 备自身的数量增加、必须使用的设备的信息的增加等逐年增高。例如，在
信息设备(电视、手机、PDA等)中，通过边看画面边选择操作的选择项 来实现设备操作。作为其操作输入装置，采用一边观察通过按压按钮、移 动光标而确定的画面， 一边操作鼠标等方法，但在家务、育儿、及汽车的 运转中等因设备操作以外的作业而不能使用两手的情况下，操作是很困难 的。
与此相对，具有利用用户的生物信号的输入装置。在非专利文献l中 公开了用脑波的事件相关电位识别用户希望选择的选择项的技术。
具体而言，使选择项随机地高亮显示，利用在以用户希望选择的选择 项被高亮显示的时刻为起点从300ms到500ms的时间带出现的阳性成分 (P300成分)，而实现是否想选择的识别。利用该技术，用户即使在占用 两手的情况下，或在因疾病而手足不能活动的状况下，也能够选择希望选 择的选择项，能够实现设备操作等的接口。
这样，通过对脑波信号施加各种各样的处理，实现了脑波的菜单选择。
非专利文献l:工7二二工》、K乂千乂 (Emanuel Donchin)、其他2 名著、"The Mental Prostheeis : Assessing the Speed of a p300—Based Brain —Computer Interface "、 IEEE TRANSACTIONS ONREHABILITAT固 ENGINEERING Vol. 8. No. 2. 2000年6月
6但是，在上述的脑波接口的事例中，只进行了关于来自选择项的选择 的研究，关于怎样将脑波接口起动，未进行研究。其理由是，在这些事例 中，假定在持续显示有脑波接口的画面(例如，选择项的提示画面)的状 况下的使用。例如，在医院内，在对肢体不自由的人使用脑波接口的情况 下，在床的旁边持续显示有脑波接口的画面(例如，选择项的提示画面)。
另一方面，在装载在日常生活中的信息设备的情况下，信息终端的画 面被程序表及邮件正文、电视节目等作为信息终端本来的任务的应提示的 信息所占有，不能持续显示脑波接口的画面。因此，需要能够不对将脑波 接口作为TV影像等信息终端本来的任务而提示的信息进行阻碍而起动的 系统。
也可以设置用于显示脑波接口的画面的起动按钮，但在此，在进行着 家务、育儿及运转时等两手因设备操作以外的任务而占有的状况下，难以 利用脑波接口。当考虑在所有的状况下都希望利用脑波接口而操作信息设 备这种用户的需求时，其起动也需要利用脑波来进行。
发明内容
本发明的目的在于，提供一种脑波接口，关于脑波接口的起动，也利 用用户的生物信号(脑波信号)来实现。
本发明的装置为一种起动装置，其用于起动脑波接口系统，其中，所 述脑波接口系统具有脑波测量部，其测量用户的脑波信号；功能控制部， 其解析所述脑波信号中包含的事件相关电位，且基于解析结果，输出用于 控制设备功能的功能控制信号；输出部，其输出所述功能控制信号，所述 起动装置具备:起动判定部，其在所述脑波接口系统不发挥功能时，向所 述输出部发送用于控制所述输出部的单一项目的视觉刺激的提示及熄灭 的刺激控制信号，且将从所述脑波测量部获取的所述脑波信号中以所述视 觉刺激的提示时刻为起点的事件相关电位的P200成分的值和规定的阈值 进行比较，由此，根据比较结果确定是否向所述功能控制部输出起动触发; 刺激注目判定部，其基于以所述视觉刺激的提示时刻为起点的所述事件相 关电位的N100成分，判定用户是否注目所述视觉刺激，并根据判定结果， 开始所述起动判定部的处理，所述起动装置通过输出所述起动触发，而使所述脑波接口系统起动。所述起动装置通过输出所述起动触发，而使所述 脑波接口系统起动。
也可以是，所述起动判定部以所述视觉刺激的提示时刻为起点而将在
200士50ms的区间中的事件相关电位的值作为所述P200成分的值，并和所
述规定的阈值进行比较。
也可以是，所述起动判定部以所述视觉刺激的提示时刻为起点而将在
200士50ms的区间的事件相关电位的极大值、最大值、区间平均值的其中 之一作为所述P200成分的值，并和所述规定的阈值进行比较。
也可以是，所述刺激注目判定部，根据用户注目着所述视觉刺激的所 述判定结果，对所述起动判定部发出指示，以使所述视觉剌激的提示方法 变化。
也可以是，所述脑波接口系统具备拍摄影像并将影像信号输出的摄像 装置，所述起动装置还具备闪烁检测部，所述闪烁检测部基于所述影像信 号，检测所述影像内闪烁着的被摄体，并基于所述被摄体的特征量，生成 对所述功能控制部所执行的功能进行指示的功能控制信息，且将表示所述 被摄体的点亮定时的信息及所述功能控制信息输出，所述起动判定部，在 基于表示所述点亮定时的信息对所述视觉刺激的提示时刻进行特别指定， 且对所述功能控制部输出起动触发时，将基于所述功能控制信息的控制信 号输出，所述脑波接口系统的所述功能控制部基于所述起动触发及所述功 能控制信息，执行特别指定的功能。
也可以是，所述闪烁检测部保持有对被摄体的特征量和所述功能控制 部所执行的功能的对应关系进行规定的数据库，通过识别所述被摄体的特 征量，并基于所述特征量参照所述数据库，特别指定所述功能控制部所执 行的功能，输出所述功能控制信息。
也可以是， 一种起动装置，其用于在具有测量用户的脑波信号的脑波 测量部、和多个设备的脑波接口系统中，起动所述多个设备中至少一个设 备，其中，所述多个设备的每个，具有功能控制部，其输出用于控制设 备功能的功能控制信号；以及输出部，其输出所述功能控制信号，所述起 动装置具备闪烁定时控制部，其按照对各设备的输出部进行重复视觉刺
激的提示及熄灭的方式进行控制，并且在其中一个设备中输出对提示了所述视觉刺激的定时进行表示的判定触发；保持判定触发信息的记录介质， 其在将所述判定触发的输出定时和输出了所述判定触发时，对提示了所述 视觉刺激的设备进行特别指定；起动判定部，其将从所述脑波测量部获取 的所述脑波信号中以所述判定触发的接收定时为起点的事件相关电位的 P200成分的值和规定的阈值进行比较，并根据比较结果，基于所述判定触 发的接收定时和所述判定触发信息，对提示了所述视觉刺激的设备进行特 别指定，并对所特别指定的设备的功能控制部输出起动触发，所述起动装 置通过输出所述起动触发，而使由所述起动判定部所特别指定的所述功能 起动。
本发明的方法为一种其用于起动脑波接口系统，其中，所述脑波接口 系统，具有脑波测量部，其测量用户的脑波信号；功能控制部，其解析 所述脑波信号中包含的事件相关电位，并基于解析结果，输出用于控制设 备功能的功能控制信号；输出部，其输出所述功能控制信号，所述起动方 法包括在所述脑波接口系统不发挥功能时，对所述输出部，发送用于对 所述输出部的单一项目的视觉刺激的提示及熄灭进行控制的刺激控制信 号的发送步骤；基于以所述视觉刺激的提示时刻为起点的所述事件相关电 位的N100成分，判定用户是否注目着所述视觉刺激的步骤；根据判定结 果，将由所述脑波测量部获取的所述脑波信号中、以所述视觉刺激的提示
时刻为起点的事件相关电位的P200成分的值和规定的阈值进行比较的步 骤;根据比较结果，确定是否对所述功能控制部输出起动触发的步骤；在 确定了对起动触发进行输出时，所述起动装置通过输出所述起动触发，使 所述脑波接口系统起动的步骤。
本发明的计算机程序为一种在已装入脑波接口系统的起动装置中执 行的计算机程序，其中，所述脑波接口系统，具有脑波测量部，其测量 用户的脑波信号；功能控制部，其解析所述脑波信号中包含的事件相关电 位，并基于解析结果，将用于控制设备功能的功能控制信号输出；输出部， 其输出所述功能控制信号；所述计算机程序对所述起动装置的计算机执行 如下步骤在所述脑波接口系统不发挥功能时，对所述输出部，发送用于 对所述输出部的单一项目的视觉刺激的提示及熄灭进行控制的刺激控制 信号的发送步骤；基于以所述视觉刺激的提示时刻为起点的所述事件相关电位的N100成分，判定用户是否注目了所述视觉刺激的步骤；根据判定 结果，将由所述脑波测量部获取的所述脑波信号中、以所述视觉刺激的提 示时刻为起点的事件相关电位的P200成分的值和规定的阈值进行比较的 步骤；根据比较结果，确定是否对所述功能控制部输出起动触发的步骤； 在确定了对起动触发进行输出时，所述起动装置通过输出所述起动触发， 使所述脑波接口系统起动的步骤。
根据本发明的脑波接口系统，使脑波接口的起动用视觉剌激(画面上 的图标、LED等)闪烁，首先，基于以视觉刺激的提示时刻为起点的事件
相关电位的N100成分，判定用户是否注目视觉刺激。而且，根据其判定
结果(具体而言，在判定为用户注目视觉刺激的情况下)，基于以起动用
视觉刺激的提示时刻为起点的事件相关电位的P200成分是否出现在脑波 上，而判定用户的起动意向。而且，在该成分出现在脑波上的情况下，将 脑波接口起动。
由此，在例如家务、育儿、及汽车的运转中等因设备操作以外的作业 而不能使用双手的状况下，不进行按压按钮等物理操作，就能够用用户所 希望的时刻起动脑波接口。
图1是表示脑波接口系统的TV画面的例子的图。 图2是表示在条件(a)、 (b)、 (c)下测定的事件相关电位的波形的 比较结果的图。
图3A是表示条件(a)、 (b)、 (c)的事件相关电位的波形图。 图3B是表示基于和图3A的被验者不同的被验者的条件(a)、 (b)、 (c)的事件相关电位的波形的图。
图4是表示本实施方式的脑波接口系统1的构成及利用环境的图。 图5是表示脑波接口系统1及起动装置20的功能模块的构成图。 图6是表示在TV画面12上显示的菜单画面61的图。 图7是表示实施方式1的脑波接口系统1及起动装置20的硬件构成图。
图8是表示脑波接口系统1的处理流程的流程图。
10图9 (a) (d)是表示在脑波接口系统1中操作TV11且用户2看
到希望视听的种类的节目时的示例的图。
图10是表示功能控制部5的脑波接口起动后的处理顺序的流程图。 图11是表示与实施方式2的脑波接口的起动相关联的处理顺序的流 程图。
图12是表示在TV11的画面之外的框架部分设有提示起动用的视觉刺
激的光源即LED91的示例的图。
图13是表示车辆行驶用信息系统操作时的画面显示例的图。
图14是表示显示在电子公告板111的画面上的、闪烁的广告图像112的图。
图15 (a)是表示判定为用户2未注视图标13时的图标13的图，(b) 是表示判定为用户2注视图标13时的、更大地显示后的图标13的图。
图16是表示实施方式3的脑波接口系统1及起动装置21的功能模块 的构成的图。
图17是表示与实施方式3的脑波接口的起动相关的处理顺序的流程图。
图18是表示实施方式3的脑波接口系统1及起动判定部4的利用环 境的图。
图19是表示实施方式3的脑波接口系统1及起动装置195的功能模 块的构成的图。
图20是表示与实施方式3的脑波接口的起动相关的处理顺序的方框图。
图21是表示规定了店/物体信息和动作设备的对应关系的数据库之 一例的图。
图22是表示实施方式4的脑波接口系统1及起动装置22的利用环境 的图。
图23是表示各设备的LED142a 142n的点亮定时的关系图。 图24是图22所示的各设备的设备名、和设置于各设备的闪烁装置的 点亮定时、和对应的设备动作的对应的例子的图。
图25是表示实施方式4的脑波接口系统1及起动装置22的功能模块的构成图。
图26是表示与实施方式4的脑波接口的起动相关的处理顺序的方框图。
图27是表示将实施方式4的各设备的LED的点亮转换为在PC的显 示屏上显示的旗帜(A'于一)的点亮的变形例的图。
图中
1 脑波接口系统
2 用户
4 起动判定部
5 功能控制部
6 输出部
7 刺激注目判定部
8 闪烁定时控制部
9 闪烁检测部
20、 21、 22、 195 起动装置
具体实施例方式
首先，说明本申请发明人员对上述课题进行研究的事项。 本申请发明人员想出了如下方法即为了利用脑波实现脑波接口系统 的起动，而给予用户视觉刺激，并利用视觉刺激提示之后的事件相关电位 的方法。作为视觉刺激，在信息提示画面的局部使脑波接口系统起动用的 选择项(起动用图标)持续闪烁。用户心中想到的是，在希望脑波接口系 统起动的情况下，根据起动用图标点亮的定时来确定"希望起动"或"不
希望起动"等。根据非专利文献l的方法，认为通过利用以图标点亮时
为起点的事件相关电位P300，可以判定用户的起动意向。
基于上述考察，进行了显示于TV画面上的图标闪烁刺激的事件相关 电位的测量实验(后面进行详述)。由实验的结果可知，即使在用户具有 起动意向的情况下，也不一定在以图标点亮时为起点的300ms 400ms之 间，出现事件相关电位的明确的阳性成分的峰值，有时不能进行利用P300
12的起动意向的判定。
这和从多个选择项中选择一个选择项那种"选择"的情况不同，被认 为是如下原因在起动的情况下，由于刺激单一且提示间隔单调，因此用 户能够预期刺激的时刻，由此不能利用"选择"时利用的成分。
因此，对测量到的事件相关电位的波形进一步解析的结果发现，在以
图标点亮时为起点而在100ms的前后50ms的区间(100士50ms)内发生的 阴性峰值(极小值)的振幅值即N200成分、和在200ms的前后50ms的 区间(200士50ms)内发生的阳性峰值(极大值)的振幅值即P200成分上 具有特征(后面进行详述)。
根据目前的研究、例如与安眠药的药效的测量相关的文献(日本国特 开平10—33513号公报)，P200成分说明了 "将刺激的疼痛等认成是知觉 的情况"的反应。另外，根据觉醒时/REM睡眠时/入眠时对外科医生 刺激的响应性比较的研究("REM睡眠时期和入眠时期的事件相关电位的 比较"，高原他，广岛大学综合科学部纪要IV理系编，第28巻，l一ll 页，2002年12月)，P200成分认成是"REM睡眠时的声音刺激的反应"。 这样，在关于"起动意向判定"及"希望选择该项目这种选择意向判定" 的用途中，P200成分为完全不被利用的信号。
另外，作为与利用脑波特征信号的脑波接口相关的技术，可以例举"利 用事件相关电位的人的心理状态等的判定方法及装置"(日本国特开2002 一169637号公报)中记载的技术。在该文献中，触及到根据个人的特性利 用P200成分及P300成分，选出用户所希望的选择项(目标词)，但关于 目标词选择，没有考虑与状况不同的TV视听时的P200成分的相关。
但是，本申请发明人员由下述实验发现通过利用N100成分和P200 成分，可以判定TV视听中的用户的起动意向。以下，对本申请发明人员 的实验内容进行详细地说明。
本申请发明人员利用TV画面进行实验，以验证是否可适用上述方法。 在本实验中，假定使脑波接口系统起动的起动装置已被装入TV。具体而 言，使TV画面中的图标闪烁，将用户具有起动意向时的用户的脑波的特 征提取。
图1表示脑波起动接口的TV画面的例子。在TV11的TV画面12上显示TV影像，在TV画面12的画面左上部，使脑波接口起动用的图标
13以一定周期闪烁。图标13的闪烁采用700ms期间点亮、700ms期间熄 灭，且重复之。脑波测量部位采用用户的头顶部(国际10—20法的Pz)， 以右耳后部(乳突77卜一 K')为基准进行测量。另夕卜，通过利用15Hz 的低通滤波器，也进行电源等噪音成分的除去。切换出以图标点亮的时刻 为Oms时的事件相关电位，用一100ms 0ms进行计时基线(baseline)修 正。
在用户希望脑波接口系统起动的情况下，即在具有起动意向的情况 下，根据起动用图标13点亮的时刻，用户心中想到的是"希望起动"或 "不希望起动"等。相反，在不希望起动的情况下，看到TV影像。
对两名被验者，在"(a)具有起动意向并注目图标"情况、"(b)不 具有起动意向，看到图标"情况、"(c)不具有起动意向，视听TV影像" 情况的三个条件下，分别对图标闪烁50次部分的脑波的事件相关电位进 行测量。另外，这次大多考虑以图标点亮定时为起点而呈现在约300ms的 事件相关电位的P300ms成分的发生位置出现在比300ms靠后的位置，且 进行300ms 500ms的区间的事件相关电位的各波形的比较。
图2表示在条件(a)、 (b)、 (c)下测定的事件相关电位的波形的比 较结果。这些波形是将以图标点亮的时刻为起点的事件相关电位的 300ms 500ms区间的所有波形加起来平均后的波形，条件(a)的波形用 实线表示，条件(b)的波形用点划线表示，条件(c)的波形用虚线表示。
根据图2，可以说在所有条件(a)、 (b)、 (c)下，难以特别指定300ms 500ms间明确的阳性成分的峰值。另外，可知条件(a)及(c)的值的范 围两者都重复为一l 2.5/xV，两者的波形差也非常小为最大2/iV。因此， 可知在这些被验者的情况下，利用事件相关电位的P300成分来判定条件 (a)是不是"具有起动意向"的波形是非常困难的。
因此，进行了图标点亮时的事件相关电位一100ms 600ms的区间整 体的解析。图3A表示条件(a)、 (b)、 (c)的事件相关电位的波形。各曲 线为将闪烁100次量(被验者2名X闪烁50次)加起来平均后的波形。 条件(a)的波形用实线表示，条件(b)的波形用点划线表示，条件(c) 的波形用虚线表示。另外，从300ms到500ms的区间的波形和图2相同。根据图3A的波形图，可知由于条件(a)及(b)都为一4pV以下， 因此在以图标被点亮的时刻为起点约100ms的前后50ms的区间内，在条 件(a)、条件(b)的情况下，阴性峰值(极小值)的电压的值(N100成 分)在阴性方向上大。换言之，可以确认振幅大的阴性峰值(即N100成 分)。另外，振幅为用绝对值表示的值。
与此相对，在条件(c)中，在上述范围内未发现大的阴性峰值，最 小值也为约0/xV。条件(a)、 (b)都为注视起动图标的状态，条件(c) 为未看到起动图标(看TV影像)的状态。因此，在以图标被点亮的时刻 为起点约100ms的前后50ms的区间内，可以判别是否注视图标。
另外，可知在约200ms的前后50ms的区间内发生的阳性峰值(极大 值)的振幅值(P200成分)在条件(a)的具有起动意向的情况下取高的 值为约5^V。另外，在条件(b)的无起动意向的情况下，为约3/iV。因 此，在以图标被点亮的时刻为起点约200ms的前后50ms的区间内，可以 判别是否具有起动意向。
如上所述，通过进行基于NIOO成分的注视起动图标的判别、基于P200 成分的起动意向的判别，可以区别条件(a)、 (b)、 (c)的三种状态。
本申请发明人员对另外的15名被验者实施了同样的实验。将实验的 结果表示在图3B中。由图3B的结果可知，N100成分及P200成分同样 出现，区别条件(a)、 (b)、 (c)的特征信号不仅可以确认为上述2名被 验者固有的特征信号，而且可以确认为通常出现的特征信号。
因此，本申请发明人员通过将事件相关电位的N100成分及P200成分 利用于起动意向的判定，且将注视闪烁的图标时的N100成分及P200成分 分别与基准值(阈值)进行比较，由此，在TV视听中高效地控制图标的 闪烁，进行是否具有起动意向的判定，直至完成本发明。
下面，参照附图对利用上述特征的本发明的起动装置的实施方式进行 说明。
另夕卜，在本说明书中了解到，为了获取事件相关电位，而对从某时点 起算的经过规定时间后的时刻具体地进行特别指定，但在该时刻可以具有 某程度的幅度。通常，在事件相关电位的波形上呈现每个人30 50毫秒 的差异(偏移)(加我君孝3力、编集，"以事件相关电位(ERP)手控
15P300为中心"，篠原出版社，1995， 30p表l)。因此，所谓"X毫秒"这 种语句可以理解为以X毫秒为中心，"30 50毫秒"的幅度可以存在于其 前后的情况下的代表值。也可以附加"约"及"附近"这种词而明示地包 含其范围。
(实施方式1)
下面，对用于使脑波接口系统起动的起动装置的构成及动作进行说明。
图4表示本实施方式的脑波接口系统1的构成及利用环境。在本实施 方式中，脑波接口系统1包括脑波测量部3、功能控制部5。
对脑波接口系统1的功能进行概述。首先，通过输出部6在TV画面 12上显示菜单选择画面，脑波测量部3测量用户2的脑波信号。功能控制 部5解析所测量的脑波信号中包含的事件相关电位，由此将用于控制设备 (TV11)的功能的功能控制信号向输出部6输出。由此，输出部6可以将 显示于TV11的TV画面12的节目切换为用户所希望的节目。在本说明书 中，用于进行这种设备(TV11等)的操作的人机接口叫做"脑波接口"。
图4中记载有用于使脑波接口系统1起动的起动装置20。在脑波接口 系统l不发挥功能时，更具体而言，在功能控制部5不发挥功能时，起动 装置20在TV画面12上进行某种视觉刺激的提示及闪烁。而且，基于以 视觉刺激的提示时刻为起点的事件相关电位，对是否使功能控制部5起动 进行控制。
在本说明书中，使功能控制部5的用户接口功能的动作开始的情况叫 做"脑波接口系统的起动"。在即使脑波接口系统中包含的脑波测量部3 动作、功能控制部5也不动作时，"脑波接口系统的起动"还未进行。
图5表示脑波接口系统1及起动装置20的功能模块的构成。以下， 参照图5对脑波接口系统1及起动装置20的各构成元件进行说明。
脑波测量部3为例如脑波仪，测量用户2的脑波并输出脑波信号。在 脑波接口系统1未起动时，所测量的脑波信号向起动装置20输送。另一 方面，在脑波接口系统1已经起动时，所测量的脑波信号向功能控制部5 输送。
功能控制部5响应于接收到来自起动装置20的起动触发而开始动作。功能控制部5向后述的输出部6输出功能控制信号。功能控制信号为用于 控制设备的功能的信号。例如，基于功能控制信号进行脑波接口系统的菜 单选择画面的输出控制、基于脑波的菜单选择控制、TV影像的显示控制
输出部6将对用户2的视觉刺激及菜单选择画面、影像等向TV画面 12上输出。
起动装置20包括起动判定部4。起动判定部4在脑波接口系统1不发 挥功能时，向输出部6发送用于控制输出部6的单一项目的视觉刺激的提 示及闪烁的剌激控制信号。另外，起动判定部4将从脑波测量部3获取的 脑波信号中、以视觉刺激的提示时刻为起点的事件相关电位的P200成分 的值和规定的阈值进行比较。而且，根据比较结果来确定是否向功能控制 部5输出起动触发。通过向功能控制部5输出起动触发，可以使脑波接口 系统1起动。
在本实施方式中，利用用户2的脑波，由起动判定部4判断用户2是 否利用脑波接口系统，S卩，用户2是否使功能控制部5的用户接口功能动 作。起动判定部4的具体的动作后面有述。
如上所述，脑波接口系统1用于提供利用用户2的脑波信号来操作 TV11的接口。用户2的脑波信号通过安装于用户2的头部的脑波测量部3 来获取，用有线或无线向起动判定部4发送。内装于TVll的本实施方式 的起动装置20利用构成脑波的一部分的叫做事件相关电位的成分识别用 户2的起动意向，向功能控制部5输出起动触发。
当接受到起动触发时，功能控制部5将用于在TV画面12上显示菜单 画面的功能控制信号向输出部6输出。另外，在本实施方式中，功能控制 部5也内装在TV11内。
图6表示显示于TV画面12的菜单画面61。功能控制部5利用构成 脑波的一部分的叫做事件相关电位的成分识别用户2的起动意图，从显示 于TV画面12的多个选择项目中选择用户2所希望选择项目(62a、 62b、 62c、 62d)，基于选择结果进行接收频道的切换等处理。这种人机接口就 是本申请说明书中言及的"脑波接口"。
图7表示本实施方式的脑波接口系统1及起动装置20的硬件构成。功能控制部5、脑波测量部3即脑波仪71、输出部6、起动装置20 的起动判定部4，连接在总线72上，经由总线72进行各构成元件间的信 号接收。若功能控制部5基于用户2的脑波信号执行脑波接口功能，则结 果是将生成的指示信号向输出部6输送。
在本实施方式中，输出部6包括图像处理电路75和TV11。图像处理 电路75基于从功能控制部5接收的指示信号进行图像处理，生成控制信 号并将其送到TVll。其结果是，TV11进行动作。
另外，虽然说明了将起动装置20及功能控制部5内置于TVll，但在 和脑波接口系统的关系中，它们也可以不内置于TVll。因此，在图7中， 起动判定部4、功能控制部5和TV11作为独立的构成而记载。另外，在 脑波仪71用无线发送用户2的脑波信号的情况下，在脑波仪71中含有无 线的发送部，在总线72上连接有无线的接收部。
起动装置20的起动判定部4具有CPU73a、 RAM73b、 ROM73c。 CPU73a从RAM73b中读出存储于ROM73c的计算机程序73d，在RAM73b 上展开并执行。起动判定部4根据该计算机程序73d而判断后述的脑波接 口系统的起动需要否的处理。另外，ROM73c也可以为可重写的ROM(例 如，EEPROM)。
功能控制部5具有CPU74a、 RAM74b、 ROM74c。 CPU74a、 RAM74b、 ROM74c各自的功能和起动判定部4的同名的构成要素相同。存储于 ROM74c的计算机程序74d对用于实现脑波接口功能的处理进行规定，并 作为其结果，起动判定部4及功能控制部5的功能不同。另外，也可以将 起动判定部4及功能控制部5的CPU、 RAM及ROM共通化，而仅仅另 外设计计算机程序，从而简化结构。
输出部6具有图像处理电路75。图像处理电路75按照CPU73a、 CPU74a的指示，将用于使脑波接口起动用图标在TV11的画面上闪烁， 或用于在画面上显示脑波接口的菜单的影像信号输出。另外，通过功能控 制部5的控制，图像处理电路75也进行TV的基本功能即影像输出处理。
上述的计算机程序记录于CD—ROM等记录介质并作为成品在市场 上流通，或者，通过网络等电通信线路进行传输。另外，起动判定部4及 功能控制部5也可以作为在半导体电路中装有计算机程序的DSP等硬件而
18实现。
图8表示脑波接口系统1的处理流程。在步骤S881中，在TV画面
12上显示TV影像。此为通常时的TVll的状态。
在步骤S882中，起动判定部4输出刺激控制信号，如图1所示那样 控制显示于TV画面12的局部的图标13的闪烁，并基于从脑波测量部3 获取的脑波信号，判定用户2的脑波接口起动意向。该判定处理的具体的 说明后面有述。在判定为用户2无起动意向的情况下，处理返回步骤S881, 直到判定到用户2的起动意向前继续TV影像的显示和图标的闪烁。在判 定为用户2有起动意向的情况下，处理进入步骤S883。
在步骤S883中，通过功能控制部5开始动作，将脑波接口起动。而 且，在下一步骤S884中，用户2利用脑波接口，经由菜单画面，选择所 希望的选择项目。通过步骤S883的脑波接口处理，而选出用户2所希望 的选择项。关于脑波接口处理的详情，后面有述。
在步骤S885中，功能控制部5执行所选择的功能。执行功能后，返 回步骤S881。通过再次显示TV影像而成为脑波接口的起动待机状态。或 者，如果所选择的功能为TVll的电源OFF (关)，则处理结束。
图9 (a) (d)表示在脑波接口系统1中操作TV11而用户2看到 希望视听的种类的节目时的例子。
图9 (a)为在画面12上显示以规定的频率闪烁的起动图标13。当用 户2看到该起动图标13时，当起动判定部4进行判定时，将功能控制部5 起动，并可利用脑波接口。同时显示图9 (b)的菜单项目画面。
图9 (b)为功能控制部5经由TV的画面12向用户提示的菜单的例 子。在画面上显示"想看哪个节目？"这种询问24、和想看的节目的候补 即选择项。在此，显示有"棒球"25a、"天气预报"25b、"动画片"25c 及"新闻"25d四类选择项。
在图9(b)的例子中，首先选择最上面的棒球25a，且进行高亮显示。 "高亮显示"是指比其他项目更明亮的背景的显示、明亮的文字色的显示、 或用光标等进行指示的显示。在此，在用户2看到时，只要系统侧传播当 前希望注意哪个项目即可。第四个"新闻"25d的下一个节目是再返回第 一个节目棒球。图9 (C)为由脑波仪18获取的、用户2的脑波信号的事件相关电位。 将获取事件相关电位的起点设定为各选择项高亮显示的瞬间。而且，从脑
波信号中提取自该瞬间起例如从200ms前到1秒后的事件相关电位。由此， 可以获取用户2对高亮显示的项目的反应。
现在，假设认为用户2希望看"天气预报"25b。若观察分别对应于 选择项25a 25d的脑波信号26a 26d中、高亮显示"天气预报"时的用 户2的脑波信号26b，则在以高亮显示"天气预报"的时刻为起点潜伏期 (潜時)约300ms后出现特征性的阳性成分(P300成分)。因此，功能控 制部5将检测到P300成分的选择项作成用户2希望视听的节目，并将频 道切换到天气预报的频道。图9 (d)表示选择了天气预报的频道后的画面 27。
图IO表示功能控制部5的脑波接口起动后的处理顺序。
在脑波接口起动后的步骤S891中，功能控制部5显示图9 (b)所示 的菜单23。功能控制部5在步骤S892中选择例如"棒球"25a的项目， 在下一步骤S893中，高亮显示已选择的"棒球"25a的项目。
在步骤S894中，以项目的高亮显示为起点，功能控制部5利用从脑 波测量部3输出的脑波信号获取事件相关电位。
在步骤S895中，功能控制部5判定在已获取的事件相关电位中是否 存在由希望选择的项目的高亮显示引起的波形变化。在存在波形变化的情 况下，进入步骤S896，在不存在波形变化的情况下，返回步骤S892,并 进行下一项目(例如"天气预报"25b)的高亮显示。通过识别P300成分 的有无，可以判定现己获取的脑波的波形是对应于用户2希望选择的项目 的波形，还是对对应于不希望选择的项目的波形。
在步骤S896中，功能控制部5执行对应于呈现P300成分的项目的功 能(频道切换)。
通过上述的处理，用户2即使不操作按钮也能够利用脑波选择菜单项 目。另外，在步骤S892中，项目被依次选择，但也可以为随机地提示的 方法。由此，由于事前不明白要选择哪个项目，因此有可能会相当谨慎地 选择菜单。
图11表示与本实施方式的脑波接口的起动相关的处理顺序。在此，例举图1所示的画面进行说明。在例如用户2安装有脑波仪的状态下只视 听TV节目时，执行图ll所示的处理。
在步骤S800中，脑波测量部3从安装于用户2的头部的时点开始测 量。在用户2视听TV11的节目时，脑波测量部3也持续进行脑波信号的 湖lj量。
在步骤S801及步骤S802中；起动判定部4重复以规定的间隔在TV 画面12上使图标13点亮、以规定的间隔使图标13熄灭的处理，从而使 图标13闪烁。
和其动作并行，在步骤S803中，起动判定部4从由脑波测量部3测 量到的脑波信号中切换出包括以点亮图标13的时刻为起点的P200成分的 范围的事件相关电位。另外，在步骤S804中，起动判定部4在以点亮图 标13的时刻为起点后的约200ms的前后50ms的区间内检索阳性的极大 值，并将其振幅作为P200成分而提取。
在步骤S805中，起动判定部4判定P200成分是否超过预先设定的阈 值。预先设定的阈值为例如4/xV。根据图3A的曲线(a)及(b)的例子， 若将4mV设定为阈值，则能够基于p200成分判定有无起动意向。
在步骤S805中，在P200成分超过阈值的情况下，处理进入步骤S806。 另一方面，在P200成分未超过阈值的情况下，处理返回步骤S801，接着， 继续图标13的闪烁。
在步骤S806中，起动判定部4向功能控制部5输出起动触发，功能 控制部5响应于对该起动触发的接收而开始向用户2提供脑波接口 。
这样，通过解析图标13点亮时的用户2的脑波，可以判定是否需要 脑波接口的起动，并根据该判定结果，能够切换脑波接口系统1的处理。
如上所述，能够实现一种脑波接口系统，其能够通过获取用户的脑波 信号，进行脑波接口的起动和基于脑波的菜单项目选择。由于仅仅利用脑 波即可以实现用于由脑波接口的起动、执行及切换后的处理构成的一系列 的处理的操作，因此能够提供实用的脑波接口系统。因此，即使在例如家 务过程中及怀抱婴儿时那种、两手脱不开的状况下，也能够使脑波接口起 动，并能够控制设备的动作。
在上述的例子中，将P200成分作为以点亮图标13的时刻为起点后的约200ms的前后50ms的区间的极大值的振幅进行提取。但是，这是一例。 在存在多个阳性的极大值的情况下，也可以检索其中的最大值。或者，也 可以不检索极大值，而是检索该区间的阳性的峰值(最大值)。或者，也 可以将上述区间的区间平均值作为P200成分进行提取。
另外，和P200成分的值进行比较的阈值为4/xV，但这也是一例。在 将来自脑波测量部3的输出放大时，只要为乘以其放大率的值即可。
在上述的例子中，起动判定部4作为用于使脑波接口系统1起动的功 能模块进行了说明。但是，只要是用户将脑波仪安装在头部，且能测量脑 波信号，则被起动的未必仅限于脑波接口。例如，设备电源的ON/OFF 及视线接口等其他接口的起动也包含在本发明的起动范畴内。
另外，在上述的例子中，输出部6作为在TV画面12上显示起动用图 标13、菜单选择画面、影像内容的功能模块进行了说明，但也可以将在起 动用图标13那种视觉刺激的显示上特殊化了的输出部，和对菜单选择画 面、影像内容进行显示的输出部分离。
例如，图12表示在TV11的画面之外的框架部分设有提示起动用的视 觉刺激的光源即LED91的例子。另外，LED91也为本申请说明书中记载 的输出部6的范畴。即使是该LED91在远离TV11的画面及其框架的位置 并作为与TV11分别独立的硬件被实现的情况，TVll、其LED91也为输 出部6的范畴。
另外，在上述的例子中，脑波接口系统l作为操作TVll的接口进行 了说明。但是，即使是操作的对象不是TV，而只要是保留能提示视觉刺 激的器件的设备，也可适用本发明。
例如，图13表示车辆行驶用信息系统操作时的画面显示例。导航画 面101的表示便利店及道路施工中的图标等地标102的闪烁也被认为 是单一项目的闪烁，可适用本发明。由起动判定部4进行起动判定，且显 示对应于地标102的详细信息(该店的广告及施工的信息等)的那种 接口也为本发明的范畴。
另外，作为另一例，图14表示显示于电子公告板111的画面上的、 闪烁的广告图像112。本发明也可适用于在使广告图像112自身闪烁且由 起动判定部4进行起动这种判定的情况下、显示其商品的详细信息这种接另外，在本实施方式中，虽然对图标闪烁的间隔以700ms点亮/ 700ms 熄灭的方式成为一定间隔进行了说明，但也可以为随机的间隔及更短周期 的点亮/熄灭的重复。在这种情况下，事件相关电位的时刻也以图标点亮 的时刻为起点。但是，若极端地縮短图标的点亮定时，则在用于检测P200 成分的100ms的区间(事件相关电位的约200ms的前后50ms的区间)内， 必然产生多个阳性峰值，势必不能进行P200成分的提取，因此需要以使 图标13的闪烁间隔比P200成分的检测区间(100ms)更长的期间进行图 标闪烁的方式进行控制。
另夕卜，在上述的例子中，说明了在起动判定部4中，进行每次图标点 亮的事件相关电位的出现P200成分的判定，但也可以以将图标点亮时的 多次点亮部分的事件相关电位加起来平均后的波形为对象进行是否出现 P200成分的判定。通过利用多次闪烁部分的加起来平均后的波形，可以减 小闪烁等造成的噪音成分的影响，可以减少起动判定部的误判定的次数。 (实施方式2)
在实施方式1中，图标每一次闪烁都将事件相关电位的P200成分提 取，且进行是否具有起动意向的判定。在本实施方式中，为了提高起动判 定的精度，还在起动判定部4之前设有利用事件相关电位判定是否注视了 图标闪烁的步骤，在未看到图标闪烁的情况下，从起动判定的识别对象中 除去，由此，实现减少用户无意图的设备动作。
例如图15(a)所示，判定为用户2未注视图标13时的图标13在TVll 的TV画面12左上方较小地闪烁。另一方面，如图15 (b)所示，判定为 用户2注视乐图标13时，图标13进行更大地显示。
为了说明实现图15 (a)及(b)所示的显示的原理，而再次验证上述 的实验结果。
表示实验结果的图3A中表示有表示"具有起动意向并注视了图标" 情况的实线(a)、表示"不具有起动意向地看到图标"情况的点划线(b)、 及表示"不具有起动意向地视听TV影像"情况的虚线(c)三种图案的事 件相关电位。
根据图3A，可知看到TV影像的状态(c)、和看到图标闪烁的状态的(a)或(b)在以图标点亮定时为起点的约100ms的前后50ms的区间内， 值会较大地背离。该区间的阴性峰值(极小值)的振幅值叫做"N100成 分"。
被认为N100成分在曲线(a)、 (b)、 (c)的任一情况下都含有，且
不是因噪音的影响而出现的成分。因此，本申请发明人员发现通过预先
利用该N100成分判定用户是否注视图标，可以精度良好地进行图标注视 时的起动判定。由此，能够减少用户无意图的设备动作。
下面，对用于使利用上述特征的脑波接口起动的起动装置的构成及动 作进行说明。
图16表示本实施方式的脑波接口系统1及起动装置21的功能模块的 构成。
起动装置21相对于实施方式1的起动装置20的构成而构成为新设 有判定用户2是否注视乐图标闪烁的刺激注目判定部7。
起动装置21基于由脑波测量部3测量到的脑波信号，判定用户2 是 否注视了视觉刺激。在判定为注视了的情况下，将脑波测量部3测量到的 脑波信号向起动判定部4发送。若接收了脑波信号，则起动判定部4执行 判定起动意向的处理。另外，对本实施方式的构成元件中与实施方式l相 同的构成元件，附带相同的参照符号，省略其说明。
图17表示关于本实施方式的脑波接口的起动的处理顺序。图17所示 的处理和实施方式1的处理(图11)同样，输出部6为TV画面12，且在 用户2视听TV影像时执行。
在步骤S200中，由于用户2安装有脑波测量部3，从而脑波测量部3 开始用户2的脑波信号的测量。在用户2视听TV影像时，也进行脑波信 号的测量。
起动判定部4重复进行以规定的间隔在TV画面12上使图标13点亮 的步骤S201、和以规定间隔使图标13熄灭的步骤S202，且使图标13闪 烁。由此，如图15 (a)所示，起动图标13在显示有TV影像的TV画面 12的局部重复闪烁。
在步骤S207中，刺激注目判定部7从由脑波测量部3测量到的脑波 信号中，切分出以点亮图标13的时刻为起点的含NIOO成分的范围的事件相关电位。
在步骤S208中，刺激注目判定部7还在以点亮图禾示13的时刻为起点 的约100ms的前后50ms的区间内检索极小值，将其振幅作为N100成分 而提取。
在步骤S209中，刺激注目判定部7判定N100成分是否超过预先设定 的阈值。预先设定的阈值为例如一3/xV。更通常化时，优选将图3A的曲 线(a)及(b)的波形、和曲线(c)的波形之间(例如，中间值)设定 为阈值。
在N100成分超过阈值的情况下，处理进入步骤S210。此时意思是指， 判定为用户2注视了图标13的闪烁。另一方面，在N100成分未超过阈值 的情况下，处理返回步骤S201。此时意思是指，判定为用户2未注视图标 13的闪烁。接着，如图15 (a)所示，继续较小地显示的状态下的图标13 的闪烁。
在步骤S210中，如图15 (b)所示，刺激注目判定部7向起动判定部 4输出指示信号，以放大图标13的显示尺寸。其目的是，当将图标13的 显示尺寸放大后，图标13进入自然界和视野，因此能够缓和意识地注视 的程度，并且抑制TV影像造成的对脑波的影响，由此易出现P200成分。 起动判定部4接收该指示信号，并向输出部6输出用于较大地显示图标13 的刺激控制信号。
另夕卜，在用户2注视图标13的闪烁时较大地显示图标13的这种处理 为强调提示视觉刺激的一例。
在下一步骤S203中，起动判定部4基于较大显示的图标的刺激切换 出脑波。其后，起动判定部4从步骤S204到步骤S206中进行起动判定处 理。关于起动判定的处理，和实施方式l同样，因此省略其说明。
如上所述，在本实施方式中，利用用户2的脑波信号，预先判定用户 2是否注视了图标13的闪烁，在注视的情况下，将图标13的闪烁放大， 并使其闪烁。由此，可以将基于大的刺激的闪烁的P200成分提取。由于 图标大时的P200成分的值比小时的P200成分的值大，因此能够更明确地 区别有起动意向、无起动意向或TV视听中。
在上述的例子中，将NIOO成分作为以使图标13点亮的时刻为起点的约100ms的前后50ms的区间的极小值的振幅进行提取。但是，这是一例。
在存在多个极小值的情况下，也可以检索其中的最小值。或者，也可以不 检索极小值，而是检索该区间的阴性的峰值(最小值)。或者，也可以将
上述区间的区间平均值作为N100成分进行提取。 (实施方式3)
在实施方式1及2中，成为刺激的图标的闪烁例举如下脑波接口系
统进行控制，作为操作对象的设备向输出部6提示刺激。但是，在我们的 生活中，正在利用的设备有许多，控制那些所有的设备的闪烁是很困难的。
因此，在本实施方式中，不是对脑波接口系统综合控制闪烁定时进 行说明，而是对在每个设备以各设备独自的时刻进行闪烁的情况下也可适 用的起动接口进行说明。
在我们生活中，看到招牌及氖广告、电子公告板等闪烁着的各种各 样的设备。这些为了吸引顾客的视线而进行闪烁，作为设置招牌及广告的 广告主的最终目的，是让顾客认知详情，或让顾客购买商品。
但是，顾客即使看到招牌并感兴趣，当经过长时间后也会将感兴趣 的事情忘掉，大多牵涉不到最终的购买活动。另外，当广告主对顾客进行 过度的广告时，尤其是对不感兴趣的顾客来说，不需要的信息成为强加， 影响顾客的情绪，反而，很有可能减少顾客的购买机会。
因此，只要是能够只对那些对广告主设置的招牌及广告感兴趣的顾 客进行提供减价购物券等提高购买欲的活动，就能够高效地促进购买活 动。顾客侧也能够只获取与自己感兴趣的广告相关的信息，从而能够进行 高效的信息收集。
将上述的"顾客"当作"用户"，将"兴趣"当作"显示详细功能的 起动意向"，从而可适用于本发明的脑波接口系统及其起动装置。
图18表示本实施方式的脑波接口系统1及其起动装置195的利用环 境。在本实施方式中，将起动装置195装入手机192中，另外，在起动装 置195上设有上述实施方式中说明的起动判定部4等。
用户2将脑波仪71及照相机191安装在头部，利用脑波仪71持续 地测量脑波。照相机191为检测进入用户2的视野的闪烁物(例如，招牌 194)而设，向着用户2的前方。这种脑波接口系统1及其起动装置195在以下的状况下进行利用。 例如，如果用户2在大街上散步时，看到闪烁着的广告中、想了解详细信 息的广告，则在具有起动意向的同时注视广告的闪烁。
如果起动装置195判定了用户2的起动意向，则在所带的手机192
中进行预先设定的功能的起动。
例如，西餐馆的招牌194正在闪烁，用户2具有显示详细信息的起 动意向，并注视招牌194的闪烁。于是，起动装置195判定用户2的起动 意向，在作为脑波接口系统的输出部的手机192的显示屏193上显示西餐 馆的减价优惠券。
图19表示本实施方式的脑波接口系统1及其起动装置195的功能模 块的构成。相对于实施方式1的起动装置20的构成，新设有闪烁检测部9。 闪烁检测部9确定外部的闪烁物的闪烁定时的判定、和起动判定时执行的 功能。而且，闪烁检测部9将表示闪烁定时的信息和对起动判定时执行的 功能进行特别指定的功能控制信息，向起动判定部4输出。
起动判定部4基于表示闪烁定时的信息，对视觉刺激的提示时刻进 行特别指定，并进行实施方式1中说明的处理，判定是否将起动触发输出。 在输出起动触发的情况下，也将用于执行与从闪烁检测部9接收到的功能 控制信息相对应的功能的控制信号一并输出。
图20表示与本实施方式的脑波接口系统的起动相关的处理顺序。
在步骤S400中，用户2安装有脑波测量部3，由此脑波测量部3开 始测量用户2的脑波信号。
在步骤S401中，闪烁检测部9基于朝向用户2的前方的照相机的影 像，探索视野中是否存在闪烁着的物体，而检测其存在。
在其后的步骤S403中，闪烁检测部9在检测到起动意向的情况下确 定执行的功能。具体而言，闪烁检测部9用照相机191拍摄闪烁着的便利 店的招牌及标志等，通过图像处理进行图案识别、及/或通过获取利用了 标签的物体信息，而对闪烁着的物体进行特别指定。而且，闪烁检测部9 基于预规定有保持的店/物体信息和动作功能的对应关系的数据库，确定执 行功能。
图21表示数据库之一例。对与步骤S403相关的、数据库的利用方
27法进行说明。例如，在视线朝向图18所示的招牌194的方向的情况下，
安装在视线方向的照相机191拍摄招牌194的影像而输出影像信号。闪烁 检测部9获取所输出的影像信号，在拍摄到的影像中，检测闪烁着的被摄 体即招牌194，进行图像的图案识别。
闪烁检测部9基于图像的图案识别结果，并参照图21的数据库，根 据参照结果，判定为闪烁着的招牌194是"黛莉西亚斯(于1、>卞7)西 餐馆"的招牌，将判定用户2的起动意向时执行的功能设定为"显示减价 优惠券"。
再次参照图20。和步骤S403并行，闪烁检测部9进行步骤S404的 处理。步骤S404以后的处理为利用用户2的脑波信号的起动判定处理。
在步骤S404中，闪烁检测部9检测闪烁物体点亮的时刻，将执行功 能的内容和点亮定时发送到起动判定部4。
步骤S405、 S406、 S407和图11的步骤S803 S806相同，起动判定 部4进行利用P200成分的起动单身判定。
在P200成分未超过阈值的情况下，返回步骤S404的点亮刺激检测， 重复处理。反之，在P200成分超过阈值的情况下，在步骤S408中，起动 判定部4按照由闪烁检测部9确定的执行功能，将执行的功能的起动触发 向功能控制部5输出。该结果是，即使对于脑波接口系统1没有进行闪烁 定时的控制的设备，也能够进行起动意向的判定。
(实施方式4)
在实施方式l中，对如下方法进行了说明为了将TV保留的一个功 能(脑波接口)起动，使一个图标闪烁，且利用图标点亮时的事件相关电 位P200成分，进行起动判定。
在我们的生活环境中，除TV以外，也存在有许多设备及功能。若利 用本发明来实现这些设备及功能，仅仅基于一个图标闪烁的一个功能的起 动，是不充分的。
另外，通过使附属于各设备的图标轮流地闪烁，可以利用事件相关 电位的P300成分，而选择用户想使用的设备。在被选择的设备的数量多 达十数个或数十个的情况下，当使那些设备的图标轮流地点亮时，需要非 常多的时间，很难以用户所希望的时刻选择想使用的设备。因此，在本实施方式中，通过以多个时刻使每一设备的图标闪烁，来 实现判定用户对哪个图标具有起动意向并注视了的起动接口。这种起动接 口被认为是，用多个时刻进行单一种类的视觉刺激的起动意向判定的处 理，因此可适用本发明的内容。
在本实施方式中，不是以TV为对象的脑波接口系统的起动，而是以 微波炉及电磁烹调器等设备的操作接口为对象而进行说明。具体而言，对
利用设备的LED的闪烁将设备的电源进行ON / OFF的起动接口进行了说 明。
另外，关于利用脑波控制设备的事项，和实施方式1同样。因此， 在本实施方式中，包括这种起动装置的系统整体叫做"脑波接口系统"。
图22表示本实施方式的脑波接口系统1及起动装置22的利用环境。 脑波接口系统1及起动装置22在厨房内做家务的状况下进行利用。
在厨房内洗衣服及烹调等使用两手的作业较多，其作业中，用户2不 能进行其他的作业。另一方面，用户2必须同时操纵多个设备及烹调用具。
本申请发明人员着眼于请求对多个操纵的设备及烹调用具进行简单 的控制，而用起动装置22实现了设备的起动及动作的停止。由此，即使 在用户2放不开手的作业中，也可以使各种设备起动，使动作停止。
用户2安装有脑波仪71。起动装置22包括起动判定部4和闪烁定时 控制部8。起动装置22以无线接收由脑波仪71检测到的用户2的脑波信 号。
设置于厨房的电磁烹调器141a及微波炉141b等各设备具有LED等 刺激提示部(61a、 61b)和设备控制部5，以各不相同的定时闪烁着。闪 烁定时利用闪烁定时控制部8以闪烁开始时刻和闪烁周期进行管理，且按 照各设备的闪烁定时不重复的方式进行控制。另外，起动装置22以无线 控制LED (142a、 142b、 142c、…、142n)的闪烁定时，向各设备的功能 控制部(5a、 5b、 5c、…、5n)输出起动触发。
用户2对希望控制的设备所附带的LED的闪烁进行注释。在用户2 具有起动意向并注视的情况下，以LED点亮的时刻为起点的事件相关电 位的P200成分取比较高的值。若用户2具有起动意向并继续注视，则按 照LED的闪烁定时，P200成分继续出现。因此，通过将该LED的闪烁定时和P200成分的产生定时进行比较，能够特别指定用户2注视着哪个设
备的LED。此时，起动装置22为了进行预定于各设备的控制，向所选择的设备的功能控制部5发送起动触发。
图23表示各设备的LED142a 142n的点亮定时的关系。各设备以预定的点亮定时重复点亮。图24是图22所示的各设备的设备名、设置于各设备的闪烁装置的点亮定时、和对应的设备动作的之间的对应的例子。基于该对应，进行P200成分的产生时刻检测，确定设备的动作。
再次参照图23，对闪烁定时和P200成分的产生时刻的比较方法进行说明。闪烁定时控制部8控制各设备的LED的点亮开始定时和闪烁周期，并且以各设备的LED点亮定时不重复的方式进行管理。闪烁定时控制部8根据点亮开始定时和闪烁周期，预测各设备的闪烁定时。
由预测结果可知，在判明多个设备的LED的点亮定时重复的情况下，将一设备的LED的点亮定时错位到与另一设备的LED的点亮定时不重复的时刻。例如，闪烁定时控制部8使分配给各设备的设备序号大的一方的设备的LED的点亮定时滞后100ms。由此，能够按照闪烁定时不重复的方式进行控制。
另外，当多个设备的LED的闪烁定时的P200成分的检测区间重复时，有可能不能判定在重复的区间产生的阳性峰值是在哪些设备的LED上反应的P200成分。因此，闪烁定时控制部8按照各闪烁定时的P200成分的检测区间不重复的方式(以各设备的LED闪烁定时不为100ms以下的方式)进行调整。闪烁定时控制部8在根据点亮开始时刻和闪烁周期预料到重复的情况下，将一设备的LED的点亮定时修正为比另一设备的LED的点亮定时滞后100ms以上的时刻。
各设备(141a、 141b、 141c、…、141n)随着上述的闪烁定时控制部8的控制，使各设备所保持的刺激提示部61即LED(142a、 142b、 142c、…、142n)闪烁。在全部设备的点亮定时中，起动判定部4进行事件相关电位的测量，检测所测量到的事件相关电位中具有P200成分的事件相关电位，并判定该P200成分的产生定时。另夕卜，起动判定部4将P200成分的产生时刻和各设备的LED的点亮定时进行比较，探索时刻一致的定时，由此特别指定对哪个设备具有了起动意向。
30图25表示本实施方式的脑波接口系统1及起动装置22的功能模块的构成。本实施方式的构成相对于实施方式1而言，在起动装置中新设有闪
烁定时控制部8，并且在脑波接口系统1中设有刺激提示部61a、 61b、…。
例如，图25所示的最上段的设备具备刺激提示部61a、输出部6a、功能控制部5a。刺激提示部61a利用LED等提示刺激。输出部6a将设备的功能向用户2输出。功能控制部5a执行对其设备预先设定的功能。脑波接口系统1的其他设备也同样地被构成。
起动装置22的闪烁定时控制部8综合控制各设备所保持的刺激提示部61的点亮/熄灭的时刻。
图26表示与本实施方式的脑波接口系统的起动相关的处理顺序。
图26中，主要的是，由闪烁定时控制部8执行左侧的处理，由起动判定部4执行右侧的处理。
在步骤S300中，闪烁定时控制部8基于图24所示的各设备的点亮开始时刻及点亮周期，预测各设备的点亮定时。而且，在步骤S301中，闪烁定时控制部8判定那些点亮定时重复的时刻是否存在。在重复的时刻存在的情况下，处理进入步骤S302，在不存在的情况下，进入步骤S303。
在步骤S302中，闪烁定时控制部8将一设备的闪烁定时错开100ms以上。由此，关于点亮定时重复的该时刻，重复被消除。但是，点亮定时错开的结果是，有可能因和其他设备的点亮定时的关系而产生重复。因此，处理再次返回步骤S300，闪烁定时控制部8重复从步骤S300到步骤S302的处理直到重复消失。
在步骤S303中，闪烁定时控制部8向各设备发送控制信号，使各设备的LED点亮。通过前边的步骤S300 S302的处理，持续点亮的只是一个设备的LED。
在步骤S304中，若将任一设备的LED点亮，闪烁定时控制部8将判定触发向起动判定部4输出。该判定触发，为了对在后述的起动判定部4中用于提取事件相关电位的P200成分的基点进行确定而利用。
在步骤S305中，闪烁定时控制部8将各设备的LED点亮定时记录在记录介质(未图示)上。该结果是，如步骤S310所示，判定触发信息被储存在记录介质上。判定触发信息记述有例如用于特别指定设备的设备
31ID、其设备的点亮定时等。"其设备的点亮定时"可以是其设备实际点亮 的时刻，也可以是距前一点亮定时的差分值。
在步骤S306中，闪烁定时控制部8使各设备的LED熄灭。 从步骤S303到步骤S306的处理为某设备点亮后到熄灭的处理。图 23所示的设备的每次点亮都进行这些处理。 接着，对步骤S320以后的处理进行说明。
在步骤S320中，起动判定部4等待判定触发的检测。若检测到判定 触发，则在步骤S321中，起动判定部4接收判定触发。
在下一步骤S322中，起动判定部4接收判定触发后直到经过250ms 都等待处理。其理由是，为了提取P200成分，需要LED点亮后的(即， 接收判别触发后)从150ms到250ms的脑波信号。如果经过，则处理进入 步骤S323，如果未经过，则处理返回步骤S320。
在步骤S323中，起动判定部4从来自脑波测量部3的脑波信号切换 出以判定触发的接收时刻为起点的含P200成分的范围的事件相关电位。 而且，起动判定部4在自其基点约200ms的前后50ms的区间内，检索阳 性的极大值，将其振幅作为P200成分而提取。
在步骤S324中，起动判定部4判定P200成分是否超过预先设定的阈 值。在超过的情况下，处理进入步骤S325，在未超过的情况下，处理返回 步骤S320。
在步骤S325中，起动判定部4基于储存在步骤S310的判定触发信息， 确定其判定触发被输出时已点亮的设备。例如，当实质上同时进行闪烁定 时控制部8实现的判定触发的输出和起动判定部4实现的判定触发的接收 时，起动判定部4以其判定触发的接收时刻为基础，检索判定触发信息， 并特别指定在其时刻已点亮的设备。
在步骤S326中，起动判定部4从存储器(未图示)中读出所确定的 设备的控制数据。其结果是，在步骤S327中，起动判定部4当用户2希 望操作时，向已特别指定的各设备的功能控制部5输出起动触发。其设备 能够响应该起动触发的接收而开始起动。
例如，在用户2的事件相关电位的P200成分的出现时刻和微波炉141b 的LED142b的点亮定时一致的情况下，起动判定部4从图24所示的控制数据中读出选择了微波炉141b时的设备动作，向微波炉141b保持的功能 控制部5b输出"开始加热"这种起动触发。接收了起动触发的微波炉141b
的功能控制部5b控制输出部6b并执行加热功能。
根据上述那种构成，在控制对象的设备多达数十个的情况下，也不会 长时间等待图标点亮，能够以用户所希望的时刻进行利用脑波的事件相关 电位的控制。
另外，在上述的例子中，起动装置22作为脑波仪71以及与各设备分 体的结构进行了说明，但即使是内装于脑波仪71或各设备的结构，也为 本发明的范畴。
另外，在本实施方式中，将操作对象作为微波炉及电磁烹调器等设备， 且利用设备的LED的闪烁将设备的电源进行ON / OFF这样的起动接口的 例子进行了说明，但控制对象未必采用设备，也可以以单一的设备中包含 的多个功能为控制对象。例如，在如PC那样在一个设备中保持有许多功 能的情况下，也可适用本实施方式的结构。
另外，在以一次的图标点亮来对起动的设备进行特别指定的情况下， 需要使所有设备的LED点亮定时成为不同的时刻。另外，在LED的点亮 定时有可能重复的情况下，也可以通过利用对各设备的每一 LED点亮定 时加起来平均后的事件相关电位，而进行基于P200成分出现的设备的特 别指定。
图27表示将本实施方式的各设备的LED的点亮置换为显示于PC的 显示屏的旗帜点亮的例子。
当用户阅览显示在PC显示屏181上的主网页时，看到各种各样的图 像广告。这些叫做旗帜。通过点击旗帜，可以使画面过渡到记述有更详细 的信息的页面，因此旗帜作为意味着向其他画面的过渡的标志而利用。
许多时候多个旗帜显示在同一页面上。例如，在图27中，显示有三 个旗帜182a、旗帜182b、旗帜182c。另外，对旗帜按照用户注目的方式 进行使图像闪烁等加工。
上述的本实施方式的各设备的LED的点亮可以置换为显示于PC的显 示屏的旗帜的点亮。
例如，在阅览中的页面上存在有想了解详情的旗帆的情况下，用户具有起动意向并注视旗帜的闪烁。内装于PC内的脑波接口系统基于由用户 的头部测量的脑波，利用P200成分进行起动意向的判定，将起动意向的 出现时刻和旗帆的闪烁定时进行比较，由此能够判定用户具有起动意向而 注视了哪个旗帜。通过特别指定用户想了解详情的旗帜，能够过渡到记载 有旗帜的详细信息的页面。
这样，通过利用旗帜的闪烁，即使没有鼠标等器件，也能选择所希望 的旗帜，能够实现可以向详细显示页面过渡的接口。 产业上的可利用性
根据本发明的脑波接口系统及起动装置，不进行物理操作就可以进 行脑波接口的起动，在脑波接口起动后的菜单的选择和确定等所有的阶 段，都可以利用用户的脑波进行脑波接口的操作。该系统在需要控制设备 的场所，可以广泛地利用。通过将该系统应用于例如信息设备，则即使在 车辆的运转中及怀抱婴儿时等离不开手的状况下，只利用脑波就能够进行 该信息设备的控制。另外，由于不进行物理操作就可以进行脑波接口的操 作，因此应用于佩戴设备等以免提为特征的设备。
权利要求
1、一种起动装置，其用于起动脑波接口系统，其特征在于，所述脑波接口系统具有脑波测量部，其测量用户的脑波信号；功能控制部，其解析所述脑波信号中包含的事件相关电位，且基于解析结果，输出用于控制设备功能的功能控制信号；输出部，其输出所述功能控制信号，所述起动装置具备起动判定部，其在所述脑波接口系统不发挥功能时，向所述输出部发送用于控制所述输出部的单一项目的视觉刺激的提示及熄灭的刺激控制信号，且将从所述脑波测量部获取的所述脑波信号中以所述视觉刺激的提示时刻为起点的事件相关电位的P200成分的值和规定的阈值进行比较，由此，根据比较结果确定是否向所述功能控制部输出起动触发；刺激注目判定部，其基于以所述视觉刺激的提示时刻为起点的所述事件相关电位的N100成分，判定用户是否注目所述视觉刺激，并根据判定结果，开始所述起动判定部的处理，所述起动装置通过输出所述起动触发，而使所述脑波接口系统起动。
2、 如权利要求l所述的起动装置，其特征在于，所述起动判定部以所述视觉刺激的提示时刻为起点而将在200土50ms 的区间中的事件相关电位的值作为所述P200成分的值，并和所述规定的 阈值进行比较。
3、 如权利要求1所述的起动装置，其特征在于， 所述起动判定部以所述视觉刺激的提示时刻为起点而将在200士50ms的区间的事件相关电位的极大值、最大值、区间平均值的其中之一作为所 述P200成分的值，并和所述规定的阈值进行比较。
4、 如权利要求l所述的起动装置，其特征在于，所述刺激注目判定部，根据用户注目着所述视觉刺激的所述判定结 果，对所述起动判定部发出指示，以使所述视觉刺激的提示方法变化。
5、 如权利要求1所述的起动装置，其特征在于，所述脑波接口系统具备拍摄影像并将影像信号输出的摄像装置，所述起动装置还具备闪烁检测部，所述闪烁检测部基于所述影像信 号，检测所述影像内闪烁着的被摄体，并基于所述被摄体的特征量，生成 对所述功能控制部所执行的功能进行指示的功能控制信息，且将表示所述 被摄体的点亮定时的信息及所述功能控制信息输出，所述起动判定部，在基于表示所述点亮定时的信息对所述视觉刺激的 提示时刻进行特别指定，且对所述功能控制部输出起动触发时，将基于所 述功能控制信息的控制信号输出，所述脑波接口系统的所述功能控制部基于所述起动触发及所述功能 控制信息，执行特别指定的功能。
6、 如权利要求5所述的起动装置，其特征在于，所述闪烁检测部保持有对被摄体的特征量和所述功能控制部所执行 的功能的对应关系进行规定的数据库，通过识别所述被摄体的特征量，并基于所述特征量参照所述数据库， 特别指定所述功能控制部所执行的功能，输出所述功能控制信息。
7、 一种起动装置，其用于在具有测量用户的脑波信号的脑波测量部、 和多个设备的脑波接口系统中，起动所述多个设备中至少一个设备，其特 征在于，所述多个设备的每个，具有功能控制部，其输出用于控制设备功能的功能控制信号；以及输出部，其输出所述功能控制信号， 所述起动装置具备闪烁定时控制部，其按照对各设备的输出部进行重复视觉刺激的提示 及熄灭的方式进行控制，并且在其中一个设备中输出对提示了所述视觉刺 激的定时进行表示的判定触发；保持判定触发信息的记录介质，其在将所述判定触发的输出定时和输 出了所述判定触发时，对提示了所述视觉刺激的设备进行特别指定；起动判定部，其将从所述脑波测量部获取的所述脑波信号中以所述判定触发的接收定时为起点的事件相关电位的P200成分的值和规定的阈值 进行比较，并根据比较结果，基于所述判定触发的接收定时和所述判定触 发信息，对提示了所述视觉刺激的设备进行特别指定，并对所特别指定的设备的功能控制部输出起动触发，所述起动装置通过输出所述起动触发，而使由所述起动判定部所特别 指定的所述功能起动。
8、 一种起动方法，其用于起动脑波接口系统，其特征在于， 所述脑波接口系统，具有脑波测量部，其测量用户的脑波信号；功能控制部，其解析所述脑波信号中包含的事件相关电位，并基于解 析结果，输出用于控制设备的功能的功能控制信号； 输出部，其输出所述功能控制信号， 所述起动方法包括在所述脑波接口系统不发挥功能时，对所述输出部，发送用于对所述 输出部的单一项目的视觉刺激的提示及熄灭进行控制的刺激控制信号的 发送步骤；基于以所述视觉刺激的提示时刻为起点的所述事件相关电位的N100 成分，判定用户是否注目着所述视觉刺激的步骤；根据判定结果，将由所述脑波测量部获取的所述脑波信号中、以所述 视觉刺激的提示时刻为起点的事件相关电位的P200成分的值和规定的阈 值进行比较的步骤；根据比较结果，确定是否对所述功能控制部输出起动触发的步骤；在确定了对起动触发进行输出时，所述起动装置通过输出所述起动触 发，使所述脑波接口系统起动的步骤。
9、 一种计算机程序，其在已装入脑波接口系统的起动装置中执行， 其特征在于，所述脑波接口系统，具有 脑波测量部，其测量用户的脑波信号；功能控制部，其解析所述脑波信号中包含的事件相关电位，并基于解 析结果，将用于控制设备的功能的功能控制信号输出； 输出部，其输出所述功能控制信号；所述计算机程序对所述起动装置的计算机执行如下步骤 在所述脑波接口系统不发挥功能时，对所述输出部，发送用于对所述输出部的单一项目的视觉剌激的提示及熄灭进行控制的刺激控制信号的发送步骤；基于以所述视觉刺激的提示时刻为起点的所述事件相关电位的N100成分，判定用户是否注目了所述视觉刺激的步骤；根据判定结果，将由所述脑波测量部获取的所述脑波信号中、以所述视觉刺激的提示时刻为起点的事件相关电位的P200成分的值和规定的阈值进行比较的步骤；根据比较结果，确定是否对所述功能控制部输出起动触发的步骤；在确定了对起动触发进行输出时，所述起动装置通过输出所述起动触发，使所述脑波接口系统起动。
全文摘要
本发明提供一种脑波接口系统，其利用用户的脑波信号实现脑波接口(IF)的起动。脑波IF系统具有测量脑波信号的脑波测量部、解析脑波信号中包含的事件相关电位且基于解析结果将用于控制设备功能的功能控制信号输出的功能控制部、输出功能控制信号的输出部。起动装置具备起动判定部和刺激注目判定部，该起动判定部在脑波IF系统不发挥功能时，向输出部发送用于控制输出部的单一项目的视觉刺激的提示及熄灭的刺激控制信号，且将由脑波测量部获取的脑波信号中、以视觉刺激的提示时刻为起点的事件相关电位的P200成分的值和规定的阈值进行比较，由此根据比较结果，确定是否向功能控制部输出起动触发；该刺激注目判定部基于以视觉刺激的提示时刻为起点的事件相关电位的N100成分，判定用户是否注目视觉刺激，根据判定结果，开始起动判定部的处理。起动装置通过起动判定部输出起动触发，而使脑波IF系统起动。
文档编号G06F3/01GK101669083SQ20088001245
公开日2010年3月10日 申请日期2008年10月21日 优先权日2007年10月29日
发明者寺田佳久, 森川幸治, 足立信夫 申请人:松下电器产业株式会社