用于生成语义标注的系统和方法
【专利说明】 用于生成语义标注的系统和方法
[0001]相关申请的交叉引用
本申请要求美国临时专利申请N0.61/700542 (2012年9月13日提交，标题为“Situat1nal awareness for gas stat1ns and similar commercial sites ofinterest”)的权益，通过引用将其完整地结合到本文中。
技术领域
[0002]本文所公开的主题一般涉及生成语义标注。更具体来说，本主题涉及用于基于先前事件的语义标注来生成事件叙述、即事件的语义标注序列的系统和方法。
【背景技术】
[0003]当前智能平台接收大量输入(例如视频输入、音频输入、地理信号等)，并且使用基于规则的系统、有限状态机等从所接收输入来确定关键事件。例如，制造工厂包括视频监控系统，以用于接收即时视频馈送并且从所接收视频馈送中检测犯罪现场。在这种示例中，视频监控系统从即时视频馈送来生成元数据，并且分析元数据是否满足例如描述犯罪的预定义规则。
[0004]这类智能平台具有许多问题。例如，这类智能平台无法检测先前尚未遇到并且由智能平台的管理员预先定义的事件。因此，需要用于生成语义标注的增强系统和方法，其将允许超越原始元数据的分析、对事件的推理。
【发明内容】
[0005]按照本技术的一个方面，公开一种方法。该方法包括从一个或多个传感器接收新视频，并且基于新视频来生成新内容图表(CG)。该方法还包括将新CG与多个先前CG进行比较，其中多个先前CG从先前接收的视频来生成。该方法还包括识别与第一先前CG的一部分匹配的新CG的第一部分以及与第二先前CG的一部分匹配的新CG的第二部分。该方法还包括分析与第一先前CG的部分关联的语义标注(SA)的第一集合以及与第二先前CG的部分关联的SA的第二集合。该方法还包括基于SA的第一和第二集合的分析来生成新视频的SA序列。
[0006]按照本系统的一个方面，公开一种系统。该系统包括图表模块，以用于从一个或多个传感器接收新视频，并且基于新视频来生成新内容图表(CG)。该系统还包括比较模块，以用于将新CG与多个先前CG进行比较，并且识别与第一先前CG的一部分匹配的新CG的第一部分以及与第二先前CG的一部分匹配的新CG的第二部分，其中多个先前CG从先前接收的视频来生成。该系统还包括叙述模块，以用于分析与第一先前CG的部分关联的语义标注(SA)的第一集合以及与第二先前CG的部分关联的SA的第二集合，并且基于SA的第一和第二集合的分析来生成新视频的SA序列。
[0007]按照本技术的一个方面，公开对指令进行编码的计算机程序产品。指令在由处理器运行时使该处理器从一个或多个传感器接收新视频，并且基于新视频来生成新内容图表(CG)，其中多个先前CG从先前接收的视频来生成。指令还使处理器将新CG与多个先前CG进行比较，其中多个先前CG从先前接收的视频来生成。指令还使处理器识别与第一先前CG的一部分匹配的新CG的第一部分以及与第二先前CG的一部分匹配的新CG的第二部分。指令还使处理器分析与第一先前CG的部分关联的语义标注(SA)的第一集合以及与第二先前CG的部分关联的SA的第二集合。指令还使处理器基于SA的第一和第二集合的分析来生成新视频的SA序列。
【附图说明】
[0008]通过参照附图阅读以下详细描述，将会更好地了解本发明的这些及其他特征、方面和优点，附图中，相似标号在附图中通篇表示相似部件，附图包括:
图1是示出按照一个实施例、用于生成语义标注的系统的框图；
图2是示出按照一个实施例的语义引擎的框图；
图3是示出按照一个实施例、用于生成语义标注的方法的图形表示；以及图4是示出按照一个实施例、用于生成语义标注的方法的流程图。
【具体实施方式】
[0009]在以下说明书和权利要求书中，将参照定义成具有下列含意的多个术语。
[0010]单数形式“一”、“一个”、“该”和“所述”包括复数引用，除非上下文另加明确说明。[0011 ] 如本文所使用的术语“非暂时计算机可读介质”意在表示按照任何方法或技术所实现以用于信息(例如计算机可读指令、数据结构、程序模块和子模块或者任何装置中的其他数据)的短期和长期存储的任何有形的基于计算机的装置。因此，本文所述的方法可编码为包含在有形非暂时计算机可读介质(非限制性地包括存储装置和/或存储器装置)中的可执行指令。这类指令在由处理器运行时使该处理器执行本文所述方法的至少一部分。此外，如本文所使用的术语“非暂时计算机可读介质”包括所有有形计算机可读介质，非限制性地包括非暂时计算机存储装置(非限制性地包括易失性和非易失性介质、可拆卸和不可拆卸介质，例如固件、物理的虚拟存储装置、CD-ROM、DVD)和任何其他数字源(例如网络或因特网)以及有待开发的数字部件，其中唯一例外是暂时传播信号。
[0012]如本文所使用的术语“软件”和“固件”是可互换的，并且包括存储器中存储的任何计算机程序，以供非限制性地包括移动装置集群、个人计算机、工作站、客户端和服务器的装置执行。
[0013]如本文所使用的术语“计算机”及相关术语、例如“计算装置”并不局限于本领域称作计算机的集成电路，而是广义地表示至少一个微控制器、微处理器、可编程逻辑控制器(PLC)、专用集成电路以及其他可编程电路，并且这些术语在本文中可互换地使用。
[0014]本文所使用的近似语言在本说明书和权利要求书中通篇可适用于修改可准许改变的任何定量表示，而没有引起与其相关的基本功能的变化。相应地，通过诸如“大约”和“基本上”之类的一个或多个术语所修改的值并不局限于所指定的精确值。在至少一些情况下，近似语言可对应于用于测量该值的仪器的准确度。在这里并且在整个说明书和权利要求书中，范围限制可以相结合和/或互换，这类范围被标识，并且包括其中包含的所有子范围，除非上下文或语言另加说明。
[0015]本文描述用于生成语义标注的系统和方法。图1示出按照一个实施例、用于生成语义标注的系统100的框图。所示系统100包括一个或多个传感器120和语义引擎130，其经由网络170在通信上耦合。
[0016]传感器120是任何类型的装置，其配置成测量物理量或特征，例如压力、光、声、温度、运动等。传感器120可包括图像传感器、声传感器、接近传感器、生物传感器、机械传感器、陀螺传感器、热传感器、压力传感器等，并且生成输入数据。在一个实施例中，传感器120安装在商业场所，例如燃料站、便利店、医院等。在这种实施例中，传感器120配置成生成与在商业场所发生的事件关联的输入数据。
[0017]在一个示例中，传感器120包括图像传感器(例如摄像机、闭路电视摄像机等)，以用于捕获图像和/或记录进入燃料站的汽车的视频。在另一示例中，传感器120包括机械传感器，以用于确定是否移开燃料分配机并且抽吸汽油。在另一个示例中，传感器120包括录音机，以用于记录客户的语音。在另一个示例中，传感器120包括销售点传感器，以用于确定客户是否为汽油付款。在一个实施例中，传感器120还配置成经由网络170向语义引擎130发送所生成的输入数据。传感器120经由信号线125在通信上耦合到网络170。信号线125是为了便于说明而提供的，并且表示一个或多个传感器120通过有线或元件部件经由网络170进行通信。在一个示例中，传感器120具有发出传感器和成像数据的传输能力。在另一个示例中，120耦合到通信装置(未示出)，其促进传感器数据的传输。虽然在所示实施例中示出多个传感器120，但是在其他实施例中，单个传感器120可耦合到网络170。
[0018]语义引擎130是用于接收输入数据(即，来自传感器120的传感器数据)并且生成所接收输入数据的语义标注的任何类型的装置。语义引擎130基于与先前接收的输入数据关联的语义关联来生成所接收输入数据的语义标注序列。在所示系统100中，语义引擎130包括语义应用140。语义引擎130经由信号线135在通信上耦合到网络170。虽然在所示实施例中示出一个语义引擎130，