可穿戴设备的智能仿真器的制作方法

1.本发明一般涉及可穿戴设备领域，更具体地说涉及通过仿真器为可穿戴设备设计的测试应用程序生成数据。


背景技术：

2.可穿戴设备，或者更广泛地说，可穿戴技术，是指结合计算机和其他先进电子技术的服装和配件。这些“可穿戴设备”的设计通常包含实用的功能和特点，例如跟踪用户在白天采取的步骤数量和监测用户的脉冲速率。活动追踪器、智能手表和连接到互联网的眼镜是可穿戴设备的三个例子。


技术实现要素：

3.本发明实施例包括一种方法、计算机程序产品和系统，用于生成用于通过仿真器测试为可穿戴设备设计的应用程序的数据。在一个实施例中，接收视频文件的输入。该视频文件包括表示可穿戴设备的视频。根据视频文件确定一个或多个运动矢量数据。基于运动矢量数据生成一个或多个运动传感器数据。使用运动传感器数据确定一个或多个测试结果。存储视频文件、运动矢量数据和运动传感器数据。
附图说明
4.图1描述了根据本发明实施例的计算环境的功能框图；图2描述了根据本发明实施例，通过仿真器生成用于测试为可穿戴设备设计的应用程序的数据的程序流程图；图3描述了根据本发明实施例生成运动传感器数据的程序的流程图；以及图4描述了根据本发明实施例的图1的计算环境组件的框图。
具体实施方式
5.本发明实施例提供通过仿真器生成用于测试为可穿戴设备设计的应用程序的数据。在可穿戴设备可用之前，可能需要进行应用测试。因此，需要在没有可穿戴设备的情况下生成可穿戴设备的运动传感器数据，以便完成应用测试。执行应用程序测试允许应用程序开发人员更改应用程序，以便在可穿戴设备可用时应用程序可用。当测试输入为静态时，由于人体运动是可变的，因此很难生成运动传感器数据。此外，基于可变的人体运动，存在很高的丢失边缘情况（即，在最小或最大参数下发生的情况）。
6.本发明的实施例认识到，可能存在一种方法、计算机程序产品和计算机系统，用于通过仿真器生成用于测试为可穿戴设备设计的应用程序的数据。该方法、计算机程序产品和计算机系统可以使用模拟可穿戴设备的视频来确定运动矢量数据，并生成运动传感器数据，供模拟器在测试为可穿戴设备设计的应用程序时使用。
7.现在将参考图详细描述本发明。
8.图1是根据本发明的一个实施例说明计算环境（通常指定为100）的功能框图。图1仅提供了一个实施例的说明，并不意味着对可实施不同实施例的系统和环境有任何限制。本领域技术人员可以对所描绘的实施例进行许多修改，而不背离权利要求所述的本发明范围。
9.在一个实施例中，计算环境100包括连接到网络110的测试设备120和计算设备130。在实施例中，计算环境100可以包括其他计算设备（图1中未显示），例如智能手表、手机、智能手机、可穿戴技术、便携式电脑、平板电脑、笔记本电脑、台式电脑、其他计算机服务器或已知的任何其他计算机系统。在本领域中，通过网络110与测试装置120和计算装置130互连。
10.在本发明的实施例中，测试设备120和计算设备130可以连接到网络110，从而使测试设备120和计算设备130能够访问不直接存储在测试设备120和计算设备130上的其他计算设备或数据。网络110可以是，例如，短程、低功耗无线连接、局域网（lan）、电信网络、广域网（wan），例如互联网，或这三者的任意组合，并且包括有线、无线或光纤连接。网络110可以包括一个或多个能够接收和传输数据、语音或视频信号的有线或无线网络，包括包括语音、数据和视频信息的多媒体信号。通常，根据本发明实施例，网络110可以是支持测试设备120、计算设备130和连接到网络110的任何其他计算设备之间通信的连接和协议的任意组合。在一个实施例中，由计算环境100中的另一计算设备（图1中未显示）接收的数据可以通过网络110传输到测试设备120和计算设备130。
11.在本发明实施例中，测试设备120可以是全功能（即完全可操作）的笔记本电脑、平板电脑或上网本个人计算机（pc）、台式计算机、个人数字助理（pda）、智能手机、标准手机、智能手表或任何其他可穿戴技术，或任何其他能够与计算环境100内的任何其他计算设备通信的手持可编程电子设备。在另一实施例中，测试装置120可以是先前讨论的电子装置的部分功能（即工作但不完全可操作）版本。在又一实施例中，测试装置120可以是先前讨论过的任何电子装置的模拟版本。在又一实施例中，测试装置120可以是任何可以表示任何电子装置的项目。
12.在本发明实施例中，计算设备130可以是笔记本电脑、平板电脑或上网本个人计算机（pc）、台式计算机、个人数字助理（pda）、智能手机、标准手机，智能手表或任何其他可穿戴技术，或任何其他手持可编程电子设备，能够与计算环境100内的任何其他计算设备通信。在某些实施例中，计算设备130表示使用群集计算机和组件（例如，数据库服务器计算机、应用服务器计算机等）的计算机系统，这些组件在被计算环境100的元素访问时充当单个无缝资源池。一般来说，计算设备130代表能够执行计算机可读程序指令的任何电子设备或电子设备组合。计算环境100可以包括任意数量的测试装置120和计算装置130。根据本发明的实施例，测试装置120和计算装置130可包括图4中进一步详细描述和描述的部件。
13.在一个实施例中，计算设备130包括信息存储库132、图像设备134和仿真器程序139。
14.根据本发明的实施例，信息存储库132可以是存储器，可以写入或由仿真器程序139读取。在一个实施例中，信息存储库132驻留在计算设备130上。在其他实施例中，信息存储库132可以驻留在计算环境100中的任何其他设备（图1中未显示）、云存储中或可通过网络110访问的其他计算设备上。在又一实施例中，信息存储库132可以表示计算设备130内的
多个存储设备。存储到信息存储库132的数据示例包括视频文件、运动数据向量、运动传感器数据和模拟器测试结果。
15.在一个实施例中，信息存储库132可以使用本领域已知的用于存储信息的任何易失性或非易失性存储介质来实现。例如，信息存储库132可以通过磁带库、光盘库、一个或多个独立硬盘驱动器、独立磁盘冗余阵列中的多个硬盘驱动器（raid）、固态驱动器（ssd）或随机存取内存（ram）来实现。类似地，信息存储库132可以使用本领域已知的任何适当的存储体系结构实现，例如关系数据库、面向对象的数据库或一个或多个表。在本发明的一个实施例中，仿真器程序139和在计算设备130上运行的任何其他程序和应用程序（未显示）可以存储、读取、修改或写入数据到信息存储库132。
16.根据本发明实施例，图像设备134是能够捕获测试设备120的照片或视频的设备。在一个实施例中，图像设备134可以是集成到计算设备130中的摄像机（例如，集成的网络摄像机）。在另一实施例中，图像设备134可以是通过硬线连接（例如电缆）连接到计算设备130、无线连接到计算设备130或不连接到计算设备130的独立摄像机。在具有硬线连接的实施例中，数据通过电缆从图像设备134传输到计算设备130。在无线连接的实施例中，数据通过网络110从图像设备134传输到计算设备130。在图像设备134和计算设备130之间没有连接的实施例中，通过将存储设备（例如便携式存储设备（图1中未显示）从图像设备134移动到计算设备130来传输数据，以便可以传输数据。在又一实施例中，图像设备134可以是集成的或独立的照相机，其拍摄和存储静止图像（即照片），该静止图像可以通过图像设备134或其他应用程序（图1中未显示）转换为视频文件。在实施例中，视频文件可以通过先前讨论的技术或本领域已知的任何其他技术从图像设备134传输到计算设备130。一般而言，图像设备134是能够拍摄物体照片或视频的设备。
17.在一个实施例中，模拟器程序139包括视频分析引擎136和运动传感器数据生成器138。
18.根据本发明的实施例，视频分析引擎136确定视频内容分析（vca）。在一个实施例中，vca是自动分析视频以检测和确定时间和空间事件的能力。vca广泛应用于娱乐、医疗、零售、汽车、交通、家庭自动化、安全和安保等领域。vca使用的算法可以作为通用机器上的软件实现，也可以作为专用视频处理单元中的硬件实现。vca中可以实现许多不同的功能。视频运动检测（vmd）是对固定背景场景进行运动检测的简单形式之一。更高级的功能包括视频跟踪和egomion（即环境中相机的三维运动）估计。基于vca在机器中生成的内部表示，可以构建其他功能，例如识别、行为分析或其他形式的态势感知。在一个实施例中，视频分析引擎136使用vmd从存储到信息存储库132的视频文件生成运动矢量数据。在实施例中，生成的运动矢量数据存储到信息存储库132中。在一个实施例中，运动矢量数据是关于参考项的项的二维运动矢量。对于视频数据，运动矢量数据提供项目从最近帧中的坐标到较早帧中项目的坐标的偏移量。
19.根据本发明的实施例，运动传感器数据生成器138从由视频分析引擎136确定并存储到信息存储库132的确定的运动矢量数据生成运动传感器数据。在一个实施例中，运动传感器数据是由运动传感器（例如加速度计、陀螺仪、重力传感器、线性加速度传感器、旋转矢量传感器和本领域已知的任何其他运动传感器）生成的原始数据。在一个实施例中，对于包含在可穿戴设备中的每个传感器，将提供离散运动传感器数据生成器（即，如果可穿戴设备
包括加速计，则仿真器程序139中将包含加速计数据生成器）。在一个实施例中，每个离散运动传感器数据生成器将使用确定的运动矢量数据作为输入，以确定该类型的数据格式。换句话说，如果应用程序测试需要陀螺仪数据，陀螺仪数据生成器将使用运动矢量数据生成类似于实际陀螺仪的输出。
20.在另一个实施例中，运动传感器数据可以在仿真器的构建和训练期间使用对现有信息的认知分析生成。在一个实施例中，运动传感器数据生成器将包括映射到运动传感器数据中的运动矢量数据的数据库。在实施例中，映射被视为标记过程，手动脱机完成。在实施例中，从包含在可穿戴设备中的传感器确定的运动矢量用从数据库中获取的相应运动传感器数据值进行标记。在一个实施例中，从定义运动矢量位移和运动传感器位移之间关系的标记数据中学习规则。在实施例中，将所学规则提供给仿真器，以用于从运动矢量数据生成运动传感器数据。
21.根据本发明实施例，仿真器程序139可以是程序、较大程序的子程序、应用程序、多个应用程序或移动应用软件，通过仿真器为可穿戴设备设计的测试应用程序生成数据的功能。程序是由程序员为执行特定任务而编写的一系列指令。模拟器程序139可以自己运行，但可能依赖于系统软件（图1中未显示）来执行。在一个实施例中，仿真器程序139充当驻留在计算设备130上的独立程序。在另一实施例中，仿真程序139可与计算环境100中的其他程序、应用程序等一起工作。在又一实施例中，仿真程序139可在计算环境100中的其他计算设备（图1中未显示）上找到，这些设备通过网络110与计算设备130互连。
22.在一个实施例中，仿真程序139可以接收视频文件的输入。在一个实施例中，仿真程序139可以从视频文件确定运动矢量数据。在一个实施例中，仿真器程序139可从运动矢量数据生成运动传感器数据。在一个实施例中，仿真器程序139可将运动矢量数据和运动传感器数据存储到信息存储库中。在一个实施例中，仿真器程序139可接收到用户已加载应用程序进行测试的指示。在一个实施例中，仿真器程序139可从信息存储库中检索适用的运动传感器数据。在一个实施例中，仿真器程序139可以将运动传感器数据发送给仿真器，供仿真器用于测试应用程序。在一个实施例中，仿真器程序139可以存储来自仿真器的测试结果。
23.图2是工作流200的流程图，描述了通过仿真器为可穿戴设备设计的测试应用程序生成数据的方法。在一个实施例中，工作流200的方法由仿真器程序139执行。在另一实施例中，工作流200的方法可以由使用仿真器程序139的任何其他程序执行。在一个实施例中，用户通过用户界面（图1中未显示）可以在图像设备通电时调用工作流200。在另一个实施例中，用户可以在访问仿真器程序139时调用工作流200。
24.在一个实施例中，仿真器程序139接收输入（步骤202）。换句话说，模拟器程序139接收视频文件的输入。在一个实施例中，视频文件被图像设备（例如图像设备134）捕获，该图像设备集成到仿真器程序139所在的同一计算设备中。在另一个实施例中，视频文件被硬连接到模拟器程序139所在的计算设备的图像设备捕获。在又一实施例中，视频文件正被传输到计算设备，其中仿真器程序139来自诸如拇指驱动器或存储卡之类的存储设备。在又一实施例中，视频文件正在无线传输到模拟器程序139所在的计算设备。根据本发明的一个实施例，视频文件的主题是一个正在移动以模拟用户所穿戴的可穿戴设备的移动的测试设备。在一个实施例中，被模仿的可穿戴设备可以是智能手表、头戴式显示器、健身带、可穿戴
衣物物品或本领域已知的任何其他可穿戴设备。在一个实施例中，测试设备120佩戴在用户的手腕上，并且由图像设备134拍摄由用户以三维（即x轴、y轴和z轴）移动的测试设备120的视频。例如，“joe”戴着一个高度可见的带子，它模拟手腕上的智能手表，“joe”正在三维移动高度可见的带子，而“joe”拥有的笔记本电脑正在捕捉视频。
25.在一个实施例中，仿真器程序139确定矢量数据（步骤204）。换句话说，模拟器程序139使用视频运动检测（vmd）来确定视频文件中的运动矢量数据。根据本发明的实施例，vmd包含在可用于仿真器程序139的视频分析引擎中。在一个实施例中，视频分析引擎解码视频文件并提取视频中移动对象的运动矢量数据。在一个实施例中，解码将基带模拟视频信号转换为数字分量视频，从中提取运动矢量数据。在一个实施例中，仿真程序139中包含的视频分析引擎136从接收的视频文件确定运动矢量数据（步骤202）。例如，运动矢量数据是由“乔”在手腕上移动高度可见带的视频确定的。
26.在一个实施例中，仿真器程序139生成传感器数据（步骤206）。换句话说，模拟器程序139从确定的运动矢量数据生成运动传感器数据（步骤204）。在一个实施例中，接收运动矢量数据。在一个实施例中，初始化权重。在一个实施例中，确定重量。在一个实施例中，生成规则。有关生成运动传感器数据的更详细讨论，请参阅下面的图3。
27.在一个实施例中，仿真器程序139存储数据（步骤208）。换句话说，仿真程序139将接收到的视频文件（步骤202）、确定的运动矢量数据（步骤204）、生成的运动传感器数据（步骤206）和确定的规则（步骤206）存储到存储器中。在一个实施例中，接收的视频文件、确定的运动矢量数据、生成的运动传感器数据和确定的规则存储到计算设备130上的信息存储库132。例如，“joe”移动手腕上的高清晰带的视频，运动矢量数据决定了“joe”移动手腕上的高清晰带的视频，运动矢量数据生成的运动传感器数据和运动传感器数据生成的规则存储在“joe”拥有的笔记本电脑的存储器中。
28.根据本发明的实施例，存储的数据存储在共享存储库中（例如，在云存储中），以便任何数量的其他用户都可以访问数据。在一个实施例中，存储的数据可供任何人使用。在另一个实施例中，需要授权来访问存储的数据，以便由发起用户以受控方式提供数据。在一个实施例中，还存储用于生成存储数据的方法，以便用户能够理解数据是如何开发的。
29.在一个实施例中，仿真器程序139接收指示（步骤210）。换句话说，模拟器程序139接收到要测试的应用程序的指示。在一个实施例中，要测试的应用需要使用可穿戴设备中包含的至少一个运动传感器。在一个实施例中，用户将要测试的应用程序加载到计算设备130上。在另一个实施例中，要测试的应用程序由另一个使用仿真器程序139的程序加载到计算设备130上。在一个实施例中，仿真器程序139接收用户将应用程序置于计算设备130上的指示。例如，“joe”将健身应用程序加载到“joe”拥有的笔记本电脑上。
30.在一个实施例中，仿真器程序139检索传感器数据（步骤212）。换句话说，为了响应接收到需要将测试加载到计算设备上的应用程序指示（步骤210），模拟器程序139检索与应用程序关联的数据。在一个实施例中，相关数据由用户基于包含在可穿戴设备中的运动传感器定义，并且可以包括包含在可穿戴设备中的运动传感器的运动传感器数据和运动传感器数据生成器生成的规则。在一个实施例中，仿真器程序139从信息存储库132检索与加载到计算设备130上的应用程序相关的运动传感器数据。例如，与健身应用程序相关联的运动
传感器数据从“joe”拥有的笔记本电脑的内存中检索。
31.在一个实施例中，仿真器程序139发送传感器数据（步骤214）。换句话说，模拟器程序139将检索到的数据（步骤212）发送给模拟器（未显示）以测试应用程序。在一个实施例中，仿真器是集成开发环境（ide）的一部分，它是一个为软件开发提供综合工具的软件应用程序，包括源代码编辑器、各种构建自动化工具和调试器。在另一个实施例中，模拟器是独立于ide的软件应用程序。在一个实施例中，仿真器将使用检索到的数据来测试应用程序（步骤210）。在实施例中，仿真器将使用应用程序使用的每个传感器的特定运动传感器数据（即，如果应用程序使用陀螺仪，仿真器将使用特定于陀螺仪的检索数据）。在一个实施例中，仿真器程序139将检索到的数据发送到计算设备130上的ide（未显示）中的仿真器。例如，从“joe”拥有的笔记本电脑内存中检索到的数据被发送到“joe”拥有的笔记本电脑上的模拟器。
32.在一个实施例中，模拟器程序139存储测试结果（步骤216）。换句话说，模拟器程序139存储应用程序的模拟器测试的结果。在一个实施例中，仿真器程序139将应用程序测试的结果存储到计算设备130上的信息存储库132。例如，测试健身应用程序的测试结果存储在“joe”拥有的笔记本电脑的内存中。
33.图3是描述产生运动传感器数据的方法的工作流300的流程图。在一个实施例中，工作流300的方法由仿真器程序139执行。在另一实施例中，工作流300的方法可以由使用仿真器程序139的任何其他程序执行。在一个实施例中，可以在接收运动矢量数据时调用工作流300。在另一个实施例中，用户可以在访问仿真器程序139时调用工作流300。
34.在一个实施例中，仿真器程序139接收输入（步骤302）。换句话说，模拟器程序139接收确定的运动矢量数据的输入（步骤204）。在一个实施例中，对于包含在可穿戴设备中的每个传感器，将提供离散运动传感器数据生成器（即，如果可穿戴设备包括加速计，则仿真器程序139中将包含加速计数据生成器）。在一个实施例中，每个离散运动传感器数据生成器将使用确定的运动矢量数据作为输入，以确定该类型的数据格式。换句话说，如果应用程序测试需要陀螺仪数据，陀螺仪数据生成器将使用运动矢量数据生成类似于实际陀螺仪的输出。在一个实施例中，仿真器程序139从接收的输入生成运动传感器数据。例如，“joe”拥有的笔记本电脑生成用于测试健身应用程序的加速度计数据。
35.在一个实施例中，仿真器程序139初始化权重（步骤304）。换句话说，模拟器程序139初始化（即设置初始值）确定的运动矢量数据的变量值（即权重）。在一个实施例中，初始化使得所有变量值都相等。在另一个实施例中，变量值的初始化是随机的。在另一个实施例中，初始化基于用户输入。在另一个实施例中，初始化基于运动矢量数据的历史数据。在一个实施例中，仿真程序139初始化运动矢量数据变量值。
36.在一个实施例中，仿真器程序139确定权重（步骤306）。换句话说，模拟器程序139确定变量值的最终权重。根据本发明实施例，使用机器学习算法来确定最终权重。在一个实施例中，机器学习算法包括人工神经网络、决策树、随机森林、最近邻、先验算法等。在一个实施例中，选择机器学习算法，并迭代地运行，以从初始权重到最终权重。在一个实施例中，仿真程序139通过多次迭代使用apriori算法来确定最适合运动矢量数据的最终权重。
37.在一个实施例中，仿真器程序139生成规则（步骤308）。换句话说，模拟器程序139从最适合运动矢量数据的最终权重生成规则（即模型），用于可穿戴设备应用程序的模拟器
测试。在一个实施例中，生成的规则允许将运动矢量数据转换为运动传感器数据。在一个实施例中，仿真器程序139根据变量值的最终权重生成规则。
38.图4描述了计算机系统400，它是包含仿真器程序139的系统的示例。计算机系统400包括处理器401、缓存403、内存402、持久存储405、通信单元407、输入/输出（i/o）接口406和通信结构404。通信结构404提供缓存403、内存402、持久存储405、通信单元407和输入/输出（i/o）接口406之间的通信。通信结构404可以使用任何设计用于在处理器（如微处理器、通信和网络处理器等）、系统内存、外围设备和系统内的任何其他硬件组件之间传递数据或控制信息的架构来实现。例如，通信结构404可以通过一个或多个总线或交叉开关实现。
39.内存402和持久存储405是计算机可读存储介质。在本实施例中，存储器402包括随机存取存储器（ram）。一般来说，存储器402可以包括任何合适的易失性或非易失性计算机可读存储介质。缓存403是一种快速内存，通过保存内存402中最近访问的数据和最近访问的数据，可以提高处理器401的性能。
40.用于实施本发明实施例的程序指令和数据可以存储在持久存储器405和存储器402中，由一个或多个相应的处理器401通过缓存403执行。在一个实施例中，持久性存储器405包括磁盘驱动器。或者，除磁盘驱动器外，持久存储405还可以包括固态硬盘驱动器、半导体存储设备、只读存储器（rom）、可擦除可编程只读存储器（eprom）、闪存，或任何其他能够存储程序指令或数字信息的计算机可读存储介质。
41.持久存储405使用的介质也可以是可移动的。例如，可移动硬盘驱动器可用于永久存储405。其他示例包括插入驱动器以传输到另一个计算机可读存储介质（也是持久存储405的一部分）的光盘和磁盘、拇指驱动器和智能卡。
42.在这些例子中，通信单元407提供与其他数据处理系统或设备的通信。在这些例子中，通信单元407包括一个或多个网络接口卡。通信单元407可通过使用物理和无线通信链路或两者提供通信。用于实施本发明实施例的程序指令和数据可以通过通信单元407下载到持久存储器405。
43.i/o接口406允许与其他设备输入和输出数据，这些设备可以连接到每个计算机系统。例如，i/o接口406可以提供到外部设备408的连接，例如键盘、键盘、触摸屏或一些其他合适的输入设备。外部设备408还可以包括便携式计算机可读存储介质，例如拇指驱动器、便携式光盘或磁盘和存储卡。用于实施本发明实施例的软件和数据可以存储在此类便携式计算机可读存储介质上，并且可以通过i/o接口406加载到持久存储405上。i/o接口406也连接到显示器409。
44.显示器409提供一种向用户显示数据的机制，例如，它可以是计算机监视器。
45.本发明可以是系统、方法或集成的任何可能技术细节级别的计算机程序产品。计算机程序产品可以包括计算机可读存储介质（或介质），其上具有用于使处理器执行本发明各个方面的计算机可读程序指令。
46.计算机可读存储介质可以是一种有形的设备，可以保留和存储指令以供指令执行设备使用。例如，计算机可读存储介质可以是（但不限于）电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或上述的任何适当组合。计算机可读存储介质的更具体示例的非详尽列表包括：便携式计算机磁盘、硬盘、随机存取存储器（ram）、只读存储器
（rom）、可擦除可编程只读存储器（eprom或闪存）、静态随机存取存储器（sram）、便携式光盘只读存储器（cd-rom）、数字多功能磁盘（dvd）、记忆棒、软盘、机械编码装置（如穿孔卡）或凹槽中的凸起结构，其上记录有指令，以及上述各项的任何适当组合。本文所用的计算机可读存储介质本身不应解释为瞬态信号，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波（例如，光脉冲通过光纤电缆）或通过电线传输的电信号。
47.本文所述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者通过网络（例如，因特网、局域网、广域网或者无线网络。网络可包括铜传输电缆、光纤、无线传输、路由器、防火墙、交换机、网关计算机或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读的程序指令。以及转发计算机可读程序指令，用于在各自的计算/处理装置内存储在计算机可读存储介质中。
48.用于执行本发明操作的计算机可读程序指令可以是汇编指令、指令集体系结构（isa）指令、机器指令、与机器相关的指令、微码、固件指令、状态设置数据、集成电路的配置数据，或用一种或多种编程语言（包括面向对象的编程语言）的任意组合编写的源代码或目标代码。例如simulaltalk、c++等，以及程序化编程语言，如“c”编程语言或类似的编程语言。计算机可读程序指令可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立软件包执行，部分在用户的计算机上执行，部分在远程计算机上执行，或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网（lan）或广域网（wan），或者可以连接到外部计算机（例如，通过互联网使用互联网服务提供商）。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列（fpga）的电子电路，或者可编程逻辑阵列（pla）可以通过利用计算机可读程序指令的状态信息来个性化电子电路来执行计算机可读程序指令，以执行本发明的各个方面。
49.本文参照本发明实施例的方法、装置（系统）和计算机程序产品的流程图或框图来描述本发明的各个方面。可以理解，流程图插图或方框图的每一个方框，以及流程图插图或方框图中的方框组合，都可以通过计算机可读的程序指令来实现。
50.这些计算机可读的程序指令可提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器，以产生机器，从而使指令，通过计算机的处理器或其他可编程数据处理设备执行，创建实现流程图或框图块中规定的功能/行为的方法。这些计算机可读程序指令也可以存储在计算机可读存储介质中，该存储介质可以引导计算机、可编程数据处理设备或其他设备以特定方式工作，使具有存储在其中的指令的计算机可读存储介质包括制造物品，包括实现流程图或框图块中指定的功能/行为方面的指令。
51.计算机可读的程序指令也可以加载到计算机、其他可编程数据处理设备上，或其它装置，使计算机、其它可编程装置或其它装置上执行一系列操作步骤，以产生计算机实现的过程，使在计算机、其它可编程装置上执行的指令，或其他装置实现流程图或方框图中规定的功能/动作。
52.图中的流程图和方框图说明了系统可能实现的架构、功能和操作，方法和根据本发明的各种实施例的计算机程序产品。在这方面，流程图或框图中的每个块可以表示指令的一个模块、段或部分，其中包含一个或多个用于实现指定逻辑功能的可执行指令。在一些可选的实现中，块中记录的函数可能出现在图中记录的顺序之外。例如，事实上，连续显示的两个块可以实质上同时执行，或者根据所涉及的功能，这些块有时可以逆序执行。还应注
意，方框图或流程图中的每个方框，以及方框图或流程图中的方框组合，可以通过执行指定功能的专用硬件系统来实现，或者执行专用硬件和计算机指令的组合。