专注于可听信息的音频增强现实提示的制作方法

背景技术：

1、外科手术通常在医疗机构诸如医院的外科手术室(surgical operatingtheater/room)中执行。在执行外科手术时，利用了各种外科装置和系统和/或感测系统。在数字和信息时代，医护专业人员可利用技术来改善患者习惯做法。期望的是，找到方式来利用增强现实(ar)计算系统诸如音频ar计算系统和/或可视ar计算系统，以协助医护专业人员改善患者习惯做法。

技术实现思路

1、音频增强现实(ar)计算系统可包括处理器。处理器可被配置成能够：从手术室中的感测系统，接收音频数据，该音频数据包括测量数据；基于所接收的音频数据，生成ar内容；获得或接收指示针对该ar内容的调整信息的调整指示；以及基于调整指示，调整所生成的ar内容。

2、可将包括了测量数据的音频数据与用户诸如医护专业人员、hcp(例如，外科医生)或患者相关联。有利地，可调整或放大与特定测量数据相关的以及/或者对当前外科手术重要的可听信息(例如，增加音量)。因此，可提高对外科手术、or气氛和/或hcp之间的交互的感知。

3、可以从外科计算系统接收该调整指示，并且该调整指示可包括以下中的至少一项：指示正在执行或待执行的外科任务的外科任务指示；指示外科任务的重要性的任务重要性指示；指示镇静音频插入的音频插入指示；指示音频数据的音频翻译的音频翻译指示；或指示音频数据的音频源位置的音频源位置指示。

4、该调整指示可包括外科步骤的重要性，并且处理器可进一步被配置成能够：识别与该外科步骤的重要性相关联的音频ar设置；并且根据音频ar设置，调整ar内容。有利地，可根据外科步骤的重要性来调整ar内容，这可提高对外科手术的感知。

5、该调整指示可包括任选地针对关键外科步骤的音频信息，并且其中为了调整所生成的ar内容，处理器可被配置成能够：使来自感测系统的音频数据静音；以及将与任选地针对关键外科步骤的音频信息相关联的音频放大。有利地，将可能与关键外科步骤相关的音频信息的可听度增加，并且因此可提高对外科手术的感知。

6、针对关键外科步骤的音频信息可进一步包括增加频率指示或降低频率指示中的至少一项，并且处理器可被配置成能够：基于包括了增加频率指示的音频信息，向感测系统发送增加频率请求，该增加频率请求包括用以增加发送来自感测系统的音频数据的频率的请求；或基于包括了降低频率指示的音频信息，向感测系统发送降低频率请求，该降低频率请求包括用以降低发送来自感测系统的音频数据的频率的请求。有利地，将可能与关键外科步骤相关的音频信息的可听度增加，并且因此可提高对外科手术的感知。

7、该调整指示可包括指示正在执行或待执行的外科任务的外科任务指示，并且处理器可被配置成能够：识别来自感测系统的音频数据与外科任务指示中指示的外科任务的相关性；基于所识别的与外科任务指示中指示的外科任务的相关性，确定是否屏蔽来自感测系统的音频数据，其中在来自感测系统的音频数据与外科任务指示中指示的外科任务不相关的情况下，屏蔽来自感测系统的音频数据，以及/或者在来自感测系统的音频数据与外科任务指示中指示的外科任务相关的情况下，允许来自感测系统的音频数据。有利地，例如hcp可以仅服从于与正在执行或待执行的外科任务相关的音频数据。因此，可提高对外科手术的感知。

8、处理器可被配置成能够：接收指示手术室的环境噪声水平的环境噪声水平指示；并且在所接收的环境噪声水平低于阈值环境噪声水平的情况下，向外科计算系统发送关键任务指示，该关键任务指示指示待执行的关键外科任务。有利地，系统可确定hcp即将执行关键任务，并且可向其他hcp发送即将到来的任务涉及关键外科任务的警报。

9、在调整所生成的ar内容之前，处理器可被配置成能够：向外科计算系统发送用户输入请求，该用户输入请求请求用户输入；并且接收与该用户输入请求相关联的用户输入，其中基于用户输入，进一步调整ar内容。有利地，用户可定制或调整ar内容。

10、该调整指示可包括指示正在执行或有待执行的外科任务的外科任务指示，处理器可被配置成能够：识别与该外科任务相关联的音频ar设置；并且根据所识别的音频ar设置，调整ar内容。有利地，可根据正在执行或有待执行的外科任务来调整ar内容。因此，可提高对外科手术的感知。

11、音频数据可包括第一音频数据，感测系统可包括第一感测系统，调整指示可包括与外科手术相关联的用户偏好设置，其中处理器可被配置成能够：从手术室中的第二感测系统，接收第二音频数据；基于用户偏好设置，在来自第一感测系统的第一音频数据与来自第二感测系统的第二音频数据之间，选择优选音频数据；并且通过增加所选的优选音频数据的音量，调整ar内容。有利地，系统能够根据用户偏好来处理多个音频数据源。

12、音频数据可包括第一音频数据，感测系统可包括第一感测系统，调整指示可包括与外科手术相关联的用户偏好设置，其中处理器可被配置成能够：从手术室中的第二感测系统，接收第二音频数据；基于用户偏好设置，在来自第一感测系统的第一音频数据与来自第二感测系统的第二音频数据之间，选择优选音频数据；并且在将来自第二感测系统的第二音频数据选为优选音频数据的情况下，通过减小来自第一感测系统的第一音频数据的音量，调整ar内容。有利地，系统能够根据用户偏好来处理多个音频数据源。

13、音频数据可包括第一音频数据，感测系统可包括第一感测系统，调整指示可包括与外科手术相关联的用户偏好设置，其中处理器可被配置成能够：从手术室中的第二感测系统，接收第二音频数据；在基于用户偏好设置优选第一音频数据的情况下，执行以下中的至少一项：向第一感测系统发送第一增加频率请求，以增加发送来自第一感测系统的第一音频数据的频率，或者向第二感测系统发送第一降低频率请求，以降低发送来自第二感测系统的第二音频数据的频率；并且在基于用户偏好设置优选第二音频数据的情况下，执行以下中的至少一项：向第二感测系统发送第二增加频率请求，以增加发送来自第二感测系统的第二音频数据的频率，或者向第一感测系统发送第二降低频率请求，以降低发送来自第一感测系统的第一音频数据的频率。有利地，系统能够根据用户偏好来处理多个音频数据源。

14、该调整指示可包括指示外科步骤的外科步骤指示，并且处理器可被配置成能够：接收与手术室中的第一医护专业人员(hcp)角色相关联的第一音频数据；接收与手术室中的第二hcp角色相关联的第二音频数据；确定与第一hcp相关联的第一音频数据是否与外科步骤指示中指示的外科步骤相关，以及与第一hcp相关联的第二音频数据是否与外科步骤指示中指示的外科步骤相关；并且在确定与第一hcp相关联的第一音频数据与该外科步骤相关并且与第一hcp相关联的第二音频数据与外科步骤指示中指示的外科步骤不相关后，通过允许与第一hcp相关联的第一音频数据通过并屏蔽来自第二hcp的第二音频数据，调整ar内容。有利地，系统能够根据外科步骤来处理多个音频数据源。

15、一种计算机实现的方法可包括：从手术室中的感测系统，接收音频数据，该音频数据包括测量数据；基于所接收的音频数据，生成增强现实(ar)内容；获得或接收指示针对该ar内容的调整信息的调整指示；以及基于调整指示，调整所生成的ar内容。

16、可以将可包括测量数据的音频数据与用户诸如医护专业人员、hcp(例如，外科医生)或患者相关联。

17、有利地，可调整或放大与特定测量数据相关的以及/或者对当前外科手术重要的可听信息(例如，增加音量)。因此，可提高对外科手术、or气氛和/或hcp之间的交互的感知。

18、可以从外科计算系统接收该调整指示，并且该调整指示可包括以下中的至少一项：指示正在执行或待执行的外科任务的外科任务指示；指示外科任务的重要性的任务重要性指示；指示镇静音频插入的音频插入指示；指示音频数据的音频翻译的音频翻译指示；或指示音频数据的音频源位置的音频源位置指示。

19、该调整指示可包括外科步骤的重要性，并且该方法可包括：识别与该外科步骤的重要性相关联的音频ar设置；并且根据音频ar设置，调整ar内容。有利地，可根据外科步骤的重要性来调整ar内容，这可提高对外科手术的感知。

20、该调整指示可包括任选地针对关键外科步骤的音频信息，并且其中为了调整所生成的ar内容，该方法可包括：使来自感测系统的音频数据静音；以及将与任选地针对关键外科步骤的音频信息相关联的音频放大。有利地，将可能与关键外科步骤相关的音频信息的可听度增加，并且因此可提高对外科手术的感知。

21、针对关键外科步骤的音频信息可进一步包括增加频率指示或降低频率指示中的至少一项，并且该方法可包括：基于包括了增加频率指示的音频信息，向感测系统发送增加频率请求，该增加频率请求包括用以增加发送来自感测系统的音频数据的频率的请求；或基于包括了降低频率指示的音频信息，向感测系统发送降低频率请求，该降低频率请求包括用以降低发送来自感测系统的音频数据的频率的请求。有利地，将可能与关键外科步骤相关的音频信息的可听度增加，并且因此可提高对外科手术的感知。

22、该方法可包括：接收手术室的环境噪声；并且屏蔽所接收的环境噪声。有利地，可接收音频数据，该音频数据可包括or的环境噪声(例如，hcp彼此交谈、外科器械的声音等)，该环境噪声可被消除和/或屏蔽。

23、该调整指示可包括指示外科步骤的外科步骤指示，并且该方法可包括：接收与手术室中的第一医护专业人员(hcp)角色相关联的第一音频数据；接收与手术室中的第二hcp角色相关联的第二音频数据；以及基于外科步骤指示，通过允许与第一hcp相关联的第一音频数据并屏蔽来自第二hcp的第二音频数据，调整ar内容。有利地，系统能够根据外科步骤来处理多个音频数据源。

24、计算机可读介质可包括指令，当由计算机执行时，这些指令使计算机执行上述方法。

25、可听增强现实(ar)计算系统可以从手术室(or)中的感测系统接收音频数据，诸如可听信息。在示例中，音频数据可以是或可包括与用户相关联的测量数据。用户可以是或可包括医护专业人员(hcp)，诸如外科医生或患者。在示例中，音频数据可以是或可包括or的环境噪声。在示例中，音频数据可屏蔽和/或消除or的环境噪声。在示例中，音频数据可以是或可包括音乐，诸如镇静音乐、可听反馈信息、与外科步骤和/或任务相关联的可听信息、和/或其他与外科手术相关联的可听信息。

26、音频ar计算系统可生成ar内容。例如，音频ar计算系统可基于可听数据而生成ar内容。ar内容可以是或可包括与音频数据相关联的可听信息。ar内容可以是或可包括待传输给用户的可听ar信息，该用户佩戴了音频ar计算系统和/或由音频ar计算系统所控制的头戴式耳机。例如，可听ar计算系统可以是或可包括外科医生感测系统和/或患者感测系统。

27、音频ar计算系统可获得调整指示。该调整指示可以是或可包括针对ar内容的调整信息。例如，该调整指示可以是或可包括以下一项或多项：外科任务指示、任务重要性指示、音频插入指示、音频翻译指示、音频源位置指示。外科任务指示可指示正在执行或待执行的外科任务。任务重要性指示可指示外科任务的重要性。音频插入指示可指示镇静音频插入和/或镇静音乐插入。音频翻译指示可指示音频数据的音频翻译。音频源位置指示可指示音频数据的音频源位置。例如，可以从外科计算系统(诸如外科集线器)获得(例如，接收)该调整指示。

28、音频ar计算系统可例如基于调整指示来调整所生成的ar内容。在示例中，音频ar计算系统可基于指示外科步骤的重要性的调整指示来调整所生成的ar内容。音频ar计算系统可识别出与外科步骤的重要性相关联的音频ar设置。音频ar设置可包括与可听信息相关联的音量(例如，与外科步骤相关联的音量)、可听信息的传输频率、和/或与可听信息相关联的语音。音频ar计算系统可根据音频ar设置来调整所生成的ar内容。例如，音频ar计算系统可基于ar设置来调整ar内容的音量。音频ar计算系统可基于ar设置来增加或降低ar内容的音量。音频ar计算系统可增加或降低接收所生成的内容的频率。音频ar计算系统可基于ar设置来改变所生成的ar内容的语音。

29、在示例中，基于指示针对关键外科步骤的音频信息的调整指示，音频ar计算系统可调整所生成的ar内容。音频ar计算系统可以使来自感测系统的音频数据静音。例如，音频ar计算系统可通过屏蔽(例如，临时屏蔽)来自感测系统的音频数据并允许与关键外科步骤相关联的可听信息来调整ar内容。音频ar计算系统可增加针对关键外科步骤的音频信息的音量。音频ar计算系统的用户可接收针对关键外科步骤的可听信息，并且可收听和/或专注于与关键外科步骤相关联的可听信息。

30、在示例中，基于针对关键外科步骤的音频信息，音频ar计算系统可调整所生成的ar内容。针对关键外科步骤的音频信息可以是或可包括增加频率指示或降低频率指示(例如，诸如ar设置)。基于增加频率指示，音频ar计算系统可增加针对关键外科步骤的可听信息的频率。音频ar计算系统可向其他计算系统(例如，外科计算系统和/或中央计算系统)发送增加频率请求，并且可请求增加发送可听信息的频率。基于该降低频率指示，音频ar计算系统可降低针对关键外科步骤的可听信息的频率。音频ar计算系统可向其他计算系统(例如，外科计算系统、中央计算系统和/或外科集线器)发送降低频率请求，并且可请求降低发送针对关键外科步骤的可听信息的频率。

31、在示例中，基于包括在调整指示中的外科任务指示，音频ar计算系统可调整所生成的ar内容。外科任务指示可指示正在执行或有待执行的外科任务。音频ar计算系统可识别出与关联于外科任务的可听信息相关联的音频ar设置。音频ar计算系统可根据所识别的音频ar设置来调整ar内容。例如，如本文所述，通过增加或降低与外科任务相关联的可听信息的音量以及/或者增加或降低接收可听信息的频率，音频ar计算系统可调整ar内容。

32、在示例中，基于包括在调整指示中的外科任务指示，音频ar计算系统可调整所生成的ar内容。外科任务指示可指示正在执行或有待执行的外科任务。音频ar计算系统可识别出来自感测系统的音频数据与外科任务指示中指示的外科任务的相关性。例如，音频ar计算系统可从or中的一个或多个感测系统接收一项或多项测量数据。音频ar计算系统可识别出(例如，确定)与来自感测系统的测量数据相关联的音频数据的相关性。音频ar计算系统可确定是否屏蔽来自感测系统的音频数据。例如，基于所识别的与外科任务指示中指示的外科任务的相关性，音频ar计算系统可确定是否屏蔽来自一个或多个感测系统的音频数据。如果音频ar计算系统确定来自一个或多个感测系统的一项或多项音频数据与外科任务指示中指示的外科任务不相关，则音频ar计算系统可屏蔽该一项或多项音频数据。如果音频ar计算系统确定来自一个或多个感测系统的一项或多项音频数据与外科任务指示中指示的外科任务相关，则音频ar计算系统可允许该一项或多项音频数据并播放该音频数据。

33、在示例中，音频ar计算系统可通过屏蔽or的环境噪声来调整所生成的ar内容。例如，音频ar计算系统可接收音频数据，该音频数据可包括or的环境噪声(例如，hcp彼此交谈声、和/或外科器械的声音等)。音频ar计算系统可消除和/或屏蔽环境噪声。

34、在示例中，音频ar计算系统可接收环境噪声被屏蔽的可听数据。音频ar计算系统可生成不含环境噪声的ar内容。

35、在示例中，音频ar计算系统可接收环境噪声水平指示。环境噪声水平指示可指示or的环境噪声水平。在示例中，音频ar计算系统可检测or的环境噪声水平。如果音频ar计算系统确定or的环境噪声水平低于阈值环境噪声水平，则音频ar计算系统可感知和/或确定一项关键步骤和/或任务有待执行。音频ar计算系统可向其他计算系统(例如，外科计算系统)发送关键任务指示。该关键任务指示可指示有待执行的关键外科任务。音频ar计算系统可调整ar内容并可接收针对关键外科任务的可听信息。

36、在示例中，音频ar计算系统可请求用户输入而用于调整ar内容。例如，在调整ar内容之前，音频ar计算系统可请求用户输入。音频ar计算系统可向其他计算系统(例如，外科计算系统)发送用户输入请求。该用户输入请求可在调整所生成的ar内容之前请求用户输入。在预先配置的时间内，音频ar计算系统可等待对用户输入的响应。如果音频ar计算系统没有接收到对用户输入的响应，则音频ar计算系统可向or中的其他hcp发送提醒用户输入请求以及/或者发送用户输入请求。

37、在示例中，音频ar计算系统可接收一项或多项音频数据。例如，音频ar计算系统可从感测系统接收可听信息并从另一感测系统接收另一可听信息。音频ar计算系统可获得调整指示。该调整指示可以是或可包括与外科手术相关联的用户偏好设置。基于用户偏好设置，音频ar计算系统可通过选择和/或接收来自感测系统的音频信息(例如，来自第一感测系统的第一可听信息)来调整ar内容。音频ar计算系统可屏蔽来自其他感测系统的其他音频信息(例如，来自第二感测系统的第二可听信息)。

38、如果ar计算系统从多个感测系统接收可听数据，则用户偏好设置可指示优选的音频数据。ar计算系统可通过增加所选的和/或优选的音频数据的音量来调整ar内容。音频ar计算系统可减小未选音频数据的音量。音频ar计算系统可消除和/或屏蔽未选音频数据。音频ar计算系统可请求增加接收所选的和/或优选的音频数据的频率。音频ar计算系统可发送降低接收未选音频数据的频率。

39、在示例中，基于指示外科步骤指示的调整指示，音频ar计算系统可调整ar内容。该外科步骤指示可指示与外科手术相关联的当前外科步骤。音频ar计算系统可接收与or中的hcp角色相关联的音频数据。音频ar计算系统可接收与or中的其他hcp角色相关联的其他音频数据。音频ar计算系统可调整ar内容，以允许与hcp角色(例如，第一hcp角色)相关联的音频数据(例如，第一音频数据)，并且可屏蔽与其他hcp角色(例如，第二hcp角色)相关联的其他音频数据(例如，第二音频数据)。