具有多播特征的远程呈现机器人系统的制作方法

所公开的主题通常涉及机器人技术（robotics）领域。
背景技术：
：机器人（robot）已经用在各种应用中，范围从危险材料的远程控制到协助执行外科手术。例如，wang等人提出的美国专利no.5,762,458公开了一种系统，其允许外科医生通过使用机器人控制的设备来执行微创医疗过程。wang系统中的机器人（robotic）臂之一移动具有照相机的内窥镜。照相机允许外科医生观看患者的手术区域。该申请的受让人intouchtechnologies有限公司引入的移动远程呈现（tele－presence）机器人已经市场化，其商标为rp-7。intouch机器人受控于远程站处的用户。远程站可以是具有允许用户远程控制机器人的移动的操纵杆的个人计算机。机器人和远程站二者皆具有照相机、监控器（monitor）、扬声器和麦克风，以便允许双向视频/音频通信。机器人照相机将视频图像提供给在远程站处的屏幕，从而用户可以观看机器人的周围，并且相应地移动机器人。wang等人提出的并且转让于本申请的拥有者intouchtechnologies有限公司的美国专利7,158,860公开了一种远程呈现机器人系统，其包括初级（primary）远程控制站以及全部链接到远程呈现机器人的一个或多个次级控制站。该系统允许次级站观察机器人所提供的视频/音频馈送。这允许次级站的用户通过机器人和初级站而受训练。将期望修改这种系统，以实施更多特征，例如对于各站之间的双向通信的能力，或者将机器人控制传送到次级站之一。技术实现要素：一种用于远程控制的机器人系统的图形用户界面，其包括：机器人视见区（viewfield），用于显示由机器人提供的信息；以及观察者（observer）视见区，用于显示关于可以接收所述机器人信息的一个或多个观察者的观察者信息。附图说明图1是机器人系统的图示；图2是机器人的电系统的示意图；图3是机器人的侧视图；图4是机器人系统的示意图，其中多个远程站耦合到机器人；图5是用户界面的图示；图6是用户界面的消息弹出（popup）的图示；图7a-图7c是图形消息的图示；图8是具有下拉式菜单的图5所示的用户界面的图示；图9是示出观察者远程控制站的用户界面的图示；图10是示出麦克风音量控制特征的与图5类似的图示；图11是示出在会话期间系统的带宽需求的对话框的图示；以及图12是机器人头部的侧视图。具体实施方式所公开的是一种用于远程控制的机器人系统的图形用户界面，其包括：机器人视见区，用于显示由机器人提供的信息；以及观察者视见区，用于显示关于可以接收机器人信息的一个或多个观察者的观察者信息。所述界面具有允许主机（master）用户控制观察者的观察和参与的各种特征。更具体地通过参考标记来参照附图，图1示出机器人系统10的实施例。机器人系统10包括机器人12、基站14和多个远程控制站16。每个远程控制站16可以通过网络18耦合到基站14。举例来说，网络18可以是分组交换网络（例如互联网）或电路交换网络（例如公共交换电话网络（pstn））或其它宽带系统。基站14可以通过调制解调器20或其它宽带网络接口（interface）设备耦合到网络18。每个远程控制站16可以包括计算机22，其具有监控器24、照相机26、麦克风28和扬声器30。计算机22也可以包含输入设备32，例如操纵杆或鼠标。每个控制站16典型地位于远离机器人12的位置。虽然仅示出一个机器人12，但应理解，系统10可以具有多个机器人12。通常，任何数量的机器人12可以受控于任何数量的远程站。例如，一个远程站16可以耦合到多个机器人12，或者一个机器人12可以耦合到多个远程站16。机器人12包括移动平台34，其附连到机器人外壳36。还附连到机器人外壳36的是照相机38、监控器40、（一个或多个）麦克风42和扬声器44。麦克风42和扬声器30可以创建立体声。机器人12也可以具有天线46，其无线式耦合到基站14的天线48。系统10允许在远程控制站16处的用户通过输入设备32来移动机器人12。机器人照相机38耦合到远程监控器24，从而在远程站16处的用户可以观看患者。类似地，机器人监控器40耦合到远程照相机26，从而患者可以观看用户。麦克风28和42以及扬声器30和44允许患者与用户之间的听得见的通信。每个远程站计算机22可以操作microsoftos软件和windowsxp或其它操作系统（例如linux）。远程计算机22也可以操作视频驱动器、照相机驱动器、音频驱动器和操纵杆驱动器。视频图像可以用压缩软件（例如mpegcodec）而被传送和接收。图2和图3示出机器人12的实施例。机器人12可以包括高级控制系统50和低级控制系统52。高级控制系统50可以包括处理器54，其连接到总线56。总线通过输入/输出（i/o）端口58耦合到照相机38，并且通过串行输出端口60和vga驱动器62耦合到监控器40。监控器40可以包括触摸屏功能，其允许患者通过触摸监控器屏幕而录入输入。扬声器44通过数字到模拟转换器64耦合到总线56。麦克风42通过模拟到数字转换器66耦合到总线56。高级控制器50也可以包含随机存取存储器（ram）设备68、非易失性ram设备70和大容量存储设备72，它们全都耦合到总线62。大容量存储设备72可以包含可以由在远程控制站16处的用户访问的患者的医疗文件。例如，大容量存储设备72可以包含患者的图片。用户（尤其是健康护理提供者）可以调出（recall）旧图片，并且在监控器24上与照相机38所提供的患者的当前视频图像进行并列（sidebyside）比较。机器人天线46可以耦合到无线收发器74。举例来说，收发器74可以根据ieee802.11b传送并且接收信息。控制器54可以用linuxos操作系统操作。控制器54也可以操作mswindows连同用于与远程控制站16进行通信的视频、照相机和音频驱动器。可以使用mpegcodec压缩技术来收发（transceive）视频信息。软件可以允许用户将电子邮件发送到机器人站点处的某人，并且反之亦然，或者允许在机器人站点处的某人访问互联网。通常，高级控制器50操作用于控制机器人12与远程控制站16之间的通信。高级控制器50可以通过串行端口76链接到低级控制器52。低级控制器52运行软件例程，其机械地启动机器人12。例如，低级控制器52提供指令以启动移动平台来移动机器人12。低级控制器52可以从高级控制器50接收移动指令。可以从远程控制站接收作为移动命令的移动指令。虽然示出两个控制器，但应理解，机器人12可以具有控制高级功能和低级功能的一个控制器。图3示出机器人12的实施例。机器人12可以包括附连到机器人外壳112的完整（holonomic）平台110。该完整平台110提供三个自由度，以允许机器人12在任何方向上移动。机器人12可以具有头部114，其支撑照相机38和监控器40。头部114可以具有两个自由度，从而照相机26和监控器24可以如箭头所指示的那样旋转（swivel）并且绕枢轴转动（pivot）。所述系统可以与受让人加利福尼亚圣巴巴拉市的intouch-health有限公司所提供的机器人系统相同或类似，其商标为rp-7。该系统也可以与2005年8月2日提出的美国专利no.6,925,357中公开的系统相同或类似，通过引用将该专利合并到此。在操作中，机器人12可以置于家庭、公共或商用建筑物（property）、或一个或多个患者要被监控和/或协助的设施中。所述设施可以是医院或住宅（residential）护理设施。举例来说，机器人12可以置于家庭中，在此，健康护理提供者可以监控和/或协助患者。类似地，朋友或家庭成员可以与患者进行通信。在机器人和远程控制站二者处的照相机和监控器允许患者与在（一个或多个）远程站处的人之间进行远程会议。可以通过操控远程站16处的输入设备32来操纵（maneuver）机器人12通过家庭、建筑物或设施。机器人10可以受控于多个不同用户。为了适应该情况，机器人可以具有仲裁系统。该仲裁系统可以集成到机器人12的操作系统中。例如，仲裁技术可以被嵌入高级控制器50的操作系统中。举例来说，用户可以划分为几类，其包括机器人自身、本地用户、护理者、医生、家庭成员、或服务提供者。机器人12可以忽略（override）与机器人操作冲突的输入命令。例如，如果机器人撞到（runinto）墙壁，则系统可以忽视在墙壁方向上继续的所有附加命令。本地用户是物理上与机器人一起存在的人。机器人可以具有允许本地操作的输入设备。例如，机器人可以结合语音识别系统，其接收并且解释听得见的命令。护理者是远程监控患者的某人。医生是医疗专业人员，其可以远程控制机器人，并且还访问机器人存储器中所包含的医疗文件。家庭和服务用户远程地访问机器人。服务用户可以例如通过升级软件或者设置操作参数来为系统服务。消息分组可以在机器人12与远程站16之间传送。分组提供命令和反馈。每个分组可以具有多个字段。举例来说，分组可以包括id字段、前进速度字段、角速度字段、停止字段、缓冲器（bumper）字段、传感器范围字段、配置字段、文本字段和调试（debug）字段。远程用户的标识可以被设置在从远程控制站16传送到机器人12的信息的id字段中。例如，用户可以将用户id输入到远程控制站16所运行的应用软件中的设置表中。于是利用传送到机器人的每个消息来发送用户id。机器人12可以以两个不同模式（排他（exclusive）模式或共享模式）之一操作。在排他模式中，仅一个用户具有机器人的访问控制。排他模式可以具有分配给每种类型的用户的优先级。举例来说，优先级可以是这样的顺序：本地、医生、护理者、家人、并且然后是服务用户。在共享模式下，两个或更多用户可以共享与机器人访问。例如，护理者可以具有对机器人的访问，于是护理者可以进入共享模式以允许医生也访问机器人。护理者和医生二者都可以进行与患者的同时远程会议。仲裁方案可以具有四种机制（通知、超时、排队（queue）和叫回（callback））之一。通知机制可以向当前用户或请求用户通知：另一用户已访问机器人或者想要访问机器人。超时机制向某些类型的用户给出完成对机器人的访问的指定时间量。排队机制是针对访问机器人的按顺序等待列表。叫回机制通知用户机器人可以被访问。举例来说，家庭用户可以接收机器人可供自由使用的电子邮件消息。表1和表2示出各机制如何解决来自各种用户的访问请求。表i用户访问控制医疗记录命令忽略软件/调试访问设置优先级机器人否否是（1）否否本地否否是（2）否否护理者是是是（3）否否医生否是否否否家人否否否否否服务是否是是是表ii在站16与机器人12之间传送的信息可以被加密。此外，用户可能必须输入口令来进入系统10。于是站16将电子密钥给予所选机器人。机器人12验证密钥，并且将另一密钥返回给站16。密钥用于对会话中传送的信息进行加密。图4示出一种系统，其具有可以通过网络18访问机器人12的多个远程站16a、16b和16c。该系统可以被设置为会话模式，其中主机远程站16a控制机器人的移动，并且分别从机器人照相机和扬声器接收视频和音频信息二者。观察者站16b和16c也可以接收在机器人12和站16a之间传送的听觉信息和视觉信息。该模式允许当在站16a处的教员或技术人员（master）移动机器人时，在站16b和16c处的多个用户观察机器人的使用。在会话期间，主机远程站16a可以将从机器人12接收到的听觉/视觉信息重传到观察者站16b和16c。可以通过改变从机器人接收到的数据分组的id字段中的（一个或多个）id并且然后将分组重传到观察者站来完成该操作。或者，主机远程站16a可以指示机器人将该听觉和视觉信息传送到主机16a、以及观察者16b和16c远程站。应理解，每个远程站16a、16b和16c具有唯一网络标识符，例如允许机器人将信息指引到每个站的ip地址。分组可以包含broadcast字段，其包含针对从机器人接收分组的远程站的站id。broadcast字段可以由主机站16a填写（fill）。会话模式允许通过机器人进行训练。例如，主机远程站16a可以由医生操作，所述医生将机器人移动到与患者的视觉和听觉接触内。观察者远程站16b和16c可以由人员操作（man），所述人员例如是在将护理提供给患者时观察并且接收指令训练的实习医生（intern）。尽管描述了医疗人员的指令，但该系统可以用于训练远离训练区域而定位的任何用户群体。例如，系统可以用于训练在百货店处的人员，或者允许房地产（realestate）建筑物的潜在买家远程观看建筑物。图5示出在主机控制站16a处显示的显示器用户界面（“dui”）200。dui200可以包括机器人视见区202，其显示机器人的照相机所捕获的视频图像。dui200也可以包括站视见区204，其显示主机远程站16a的照相机所提供的视频图像。dui200可以是远程站16a的计算机22所存储并且操作的应用程序的一部分。dui200可以包括“连接”按钮206，其可以被选择以将站连接到机器人。连接按钮206的选择可以使得显示允许用户选择期望的机器人的下拉屏幕等。系统设置和选项可以分别通过按钮208和210而得以选择。选项之一是允许多播（multicasting）。图6示出菜单212，其具有“启用（enable）多播”框214，其可以被“选取（checked）”以允许其他远程站加入多播会话。在观察者站处的用户可以尝试与同一机器人的连接。如果机器人已经在使用中，则屏幕可以显示如图7a所示的消息框216。消息框216包括“确定（ok）”按钮218，其允许用户请求作为观察者（observer）而加入会话。如果当前连接到机器人的用户尚未启用多播特征，则可以显示指出该事实的消息220，如图7b所示。如果用户选择了确定按钮218，则主机用户可以接收消息222，如图7c所示。该消息包括“接受”按钮224和“拒绝”按钮226，其允许主机用户分别接受或者拒绝观察会话的请求。当观察者被接受时，观察者可以从机器人接收音频/视频馈送。被接受的用户被显示在主机控制站dui200的观察者视见区228中，如图5所示。区228可以提供观察者远程控制站的照相机所捕获的用户的视频图像。每个视频图像也可以包括观察者姓名的标题（caption）。该区包括向下滚动（scrolldown）标签230，其允许主机用户向下滚动观察者的视频图像。主机用户可以在任何观察者视频图像上右击，以显示下拉菜单232，如图8所示。下拉菜单228允许主机用户选择用于所选观察者的各种选项。下拉菜单232包括“允许机器人听见该用户”特征234，其可以被选择，使得观察者可以将音频提供给机器人。系统可以允许机器人、主机用户与一个观察者之间的同时三向（threeway）音频。主机站和观察者站二者都包括“即按即说（pushtotalk）”图标236。如果存在多于一个观察者，则“即按即说”图标236被启用，并且观察者必须连续选择图标232来通话，更像是对讲机（walkie－talkie）按钮。在选择图标236之后，也可以按下空格键，以允许到机器人的音频通信。当选择即按即说时，于是图标238可以显示在观察者视频图像中，以指出哪个观察者正在将音频输入提供给机器人。主机站和观察者站也可以具有“本地通话”图标240。选择本地通话图标允许仅各远程站之间的文本通信，在每个界面内弹出文本交谈对话框，这允许主机和观察者交换文本消息。在显示文本交谈对话框之前，可以向发起本地通话的用户显示弹出对话框（未示出），其将列出所有当前会话参与者，并且允许用户仅选择那些成为本地通话一部分的参与者。可以存在“限制语音”框（未示出），其可以被选择以将本地交谈中的参与者的音频输出限制为仅到参与本地交谈的那些其它远程站。“允许机器人看见该用户”特征242可以被选择，从而观察者的视频图像而非主机用户的视频图像被提供给机器人的监控器。当观察者的图像被提供给机器人时，观察者的视频图像可以显示在站视见区204中。“允许该用户看见机器人视频”244和“允许该用户听见机器人音频”特征246可以被选择，从而观察者分别从机器人接收视频和音频馈送。“头部控制”特征248允许所选观察者控制机器人头部来移动机器人照相机。“驱动”特征250允许观察者驱动机器人。当该驱动特征被选择时，机器人数据（例如位置传感器数据、电池功率等）被提供给所选观察者的远程站。“照相机&辅助视频控制”特征252允许观察者控制机器人照相机功能，例如变焦（zoom）、亮度等。当这些特征传送到观察者时，主机不再具有头部、驱动和照相机控制。菜单232包括“远程解释（telestration）”特征254，其允许观察者对机器人所提供的图像进行注释。例如，图像可以是文档或x射线（x-ray）。观察者可以将图像注释为例如x射线区域和圆圈，以帮助与在机器人站点处的患者的通信。该主机或任何观察者可以通过选择“直播（live）光标”图标256来启用光标功能。选择图标256允许用户移动置于（overlay）机器人视频图像上的光标258。光标258被提供在图像区202上，以用于会话中的所有远程站。主机和观察者每一个都可以被指定不同的颜色，从而用户可以区分不同的光标。光标颜色260可以显示在主机或观察者的视频图像中。机器人可以连接到医疗设备，例如听诊器。下拉菜单232的“听诊器”特征262允许观察者从听诊器接收设备输入。菜单232可以具有“给予该用户主机控制”特征264，其允许所选观察者变为主机用户。主机也可以通过选择“断开该用户”特征266而断开观察者。图9示出用于观察者的用户界面270。该界面不包括机器人控制功能，除非由主机用户启用。界面270类似于主机dui200，但缺少某些机器人控制。再次参照图5，机器人视见区202和站视见区204二者可以具有用于改变视频和音频显示的关联图形。例如，每个区可以具有分别用于改变照相机的变焦和亮度的图形滑动条280和282。可以通过选择图形照相机图标284之一而在机器人或远程站处取得静止图片。静止图片可以是在选择照相机图标284之时在对应区202或204处呈现的图像。可以通过图形图标286来进行捕获和回放视频。通过选择图形live按钮288，在取得静止图片、所捕获的视频，或者检查（review）幻灯片放映之后，可以恢复返回到实时视频。本地控制可以包括用于本地站扬声器290和麦克风292的滑动条。还显示的是麦克风仪表图标294，其随用户语音的音量而变化。机器人音量可以不同于用户的输入音量。远程控制还包括麦克风仪表图标296，其表示在机器人处的用户的音频音量。机器人可以具有本地音量控制，从而在机器人站点处的用户可以改变机器人扬声器音量。一般，仪表图标294和296将表示基本相同的值。例如，如果机器人本地音量控制在所述机器人站点处被调整，则机器人音量可以不同于用户的输入音量。如图10所示，如果出现这种情况，则可以启用音量滑动条292，以允许用户改变麦克风。dui也可以显示“重置”按钮298，其可以被选择成将机器人扬声器音量自动重置到中心位置。参照图5，机器人视见区202可以包括“对机器人视频静音（mute）”特征300，当其被选择时，阻止音频和视频从所有远程站传送到机器人。区202也可以具有“主机/机器人隐避（privacy）”特征302，其可以阻止观察者站从机器人和主机控制站二者接收机器人视频和音频。也可以允许主机用户通过控制对观察者站的视频馈送来控制系统的带宽。图11示出对话框310，其显示会话中的各个参与者的带宽使用连同网络健康（health）参数，例如参与者之间的抖动以及分组丢失。“丢弃（drop）vid”按钮312可以被放置成紧接着观察者站，从而主机用户可以丢弃特定观察者的视频。图12示出非移动机器人头部320，其可以使得照相机38和监控器40既绕枢轴转动又自旋（spin）。机器人头部320可以类似于机器人12，但没有平台110。机器人头部320可以具有相同机构和部件，以使得照相机38和监控器40围绕枢轴4转动，并且还使得照相机38和监控器40围绕自旋轴5自旋。枢轴可以与自旋轴相交（intersect）。使得机器人头部320既绕枢轴转动又自旋提供了宽广的观看区域。机器人头部320可以在具有移动机器人12的系统中或者也可以在代替移动机器人12的系统中。该系统可以具有多种应用。例如，内科重症医生（physicianintensivist）可以发起与机器人的远程呈现（presence）会话，以便诊断急诊室中的患者。在检查患者时，内科医生可能意识到患者评估将需要神经科专科医生的会诊。重症医生通过电话呼叫神经科医生，要求他加入会话。一旦接收到电话请求，神经科医生打开他的膝上型计算机，从在界面中的机器人列表选择正在讨论的机器人，并且点击“连接”。在看见图7a中的消息时，他点击“确定”，然后看见图7b中的消息。重症医生同时看见图7c中的消息，并且点击“接受”。此时，神经科医生接收机器人视频，并且可以听见机器人侧音频和重症医生二者。重症医生使用直播光标来指向患者的面部和背景墙（wall）上的eeg数据。神经科医生获得可以由站在患者旁边并且在机器人前面的护士提供的背景信息、以及由主机控制站上的重症医生提供的icu特定信息。然后，神经科医生可以提供患者的状况的音频评估。神经科医生于是右击区288中的神经科医生的缩略（thumbnail）图像，并且点击下拉菜单中的适当特征，以允许机器人看见和听见神经科医生。神经科医生于是可以向患者和家人二者通知该状况。在另一应用中，外科医生可以登录到机器人，并且在医院内的患者室中执行巡视（round）。来自其它城市中的医院的住院医生（resident）按上述方式加入会话。外科医生向住院医生描述他正做什么，所述住院医生可能提问，并且由此学习到巡视患者的最佳方式。在另一应用中，医院ceo可以连接到机器人，并且致电话于医院正设法将其加入员工的三个有前途的医生。这些医生均加入上述会话。于是ceo使用操纵杆来驱动机器人通过医院，执行虚拟巡游（tour），并且与观察者内科医生讨论设施。在又一应用中，mri制造公司的销售vp可以连接到医院的实验室侧厅（wing）中的机器人，并且然后致电话于不同医院的coo来加入会话。一旦加入，销售vp将机器人驱动到mri实验室中，并且驱动到mri机器周围，描述其特征。在场（on－site）mri技术人员在销售vp的指导下操作特定控制。销售vp向coo解释购买mri机器的各种好处。虽然已经描述并且在附图中示出了某些示例性实施例，但应理解，这些实施例仅是宽泛发明的说明而非限制，并且本发明不受限于所示出和描述的特定构造和布置，因为对于本领域普通技术人员来说可以出现各种其它修改。当前第1页12