一种视频通话的数据处理方法和装置与流程

本发明涉及视频应用领域，特别涉及一种视频通话的数据处理方法和装置。

背景技术：

数字通信基础设施日益演进，通信带宽越来越宽，通信介质中承载的数据从最初的文字(电报)和语音，发展到现在的视频通话。视频电话时，数字通信系统需要同时传输压缩的视频数据和音频数据，对通信带宽、通信实时性和系统音视频处理能力有极高的要求。

视频通话最基础的要求是对音频数据和视频数据按照通用的格式编码压缩，再打包成通用的传输流格式，再通过通信基础设施传输给对方。现有的视频通话一般通过摄像头来捕捉视频数据以及用麦克风捕捉音频数据，并对捕捉的视频数据和音频数据直接传输，无法实现对视频数据或音频数据的效果渲染处理，存在着用户体验不高等问题。

技术实现要素：

为此，需要提供一种视频通话的数据处理技术方案，用以解决现有视频电话过程中，使用用户粘性不高、用户体验差等问题。

为实现上述目的，发明人提供了一种视频通话的数据处理装置，所述装置包括多个终端和服务器，所述终端包括第一终端和第二终端；所述第一终端包括第一视频采集单元、第一音频采集单元、第一音频效果单元、第一显示合成单元、第一编码单元和第一通信单元；所述第一音频效果单元包括第一音频识别子单元、第一音频数字音效子单元和第一音频变速子单元；

所述第一视频采集单元用于实时采集第一视频数据，所述第一音频采集单元用于实时采集第一音频数据；

所述第一音频识别子单元用于将第一音频数据识别成第一文字数据；所述第一音频数字音效子单元将第一音频数据叠加音频数字音效；所述第一音频变速子单元将第一音频数据叠加变速不变调效果；

所述第一显示合成单元用于将第一文字数据与第一视频数据进行合成，得到第一合成数据；

所述第一编码单元用于将第一音频数据按照预设音频格式进行编码压缩，得到第一音频编码数据；并用于将第一合成数据按照预设视频格式进行编码压缩，得到第一视频编码数据；以及用于将第一音频编码数据和第一视频编码数据按照预设传输格式打包，得到第一编码多媒体数据；

所述第一通信单元用于将第一编码多媒体数据发送至第二终端。

进一步地，所述第一终端还包括第一显示单元；所述第二终端包括第二视频采集单元、第二音频采集单元、第二音频效果单元、第二显示合成单元、第二编码单元、第二通信单元和第二显示单元；所述第二音频效果单元包括第二音频识别子单元、第二音频数字音效子单元和第二音频变速子单元；

所述第二视频采集单元用于实时采集第二视频数据，所述第二音频采集单元用于实时采集第二音频数据；

所述第二音频识别子单元用于将第二音频数据识别成第二文字数据；所述第二音频数字音效子单元用于将第二音频数据叠加音频数字音效；所述第二音频变速子单元用于将第二音频数据叠加变速不变调效果。

所述第二显示合成单元用于将第二文字数据与第二视频数据进行合成，得到第二合成数据；

所述第二编码单元用于将第二音频数据按照预设音频格式进行编码压缩，得到第二音频编码数据；并用于将第二合成数据按照预设视频格式进行编码压缩，得到第二视频编码数据；以及用于将第二音频编码数据和第二视频编码数据按照预设传输格式打包，得到第二编码多媒体数据；

所述第二通信单元用于第二编码多媒体数据发送至第一终端；

所述第一显示单元用于显示第二编码多媒体数据，第二显示单元用于显示第一编码多媒体数据。

进一步地，所述第一终端还包括第一文字效果渲染单元和第一视频效果渲染单元；所述第一文字效果渲染单元用于接收第一渲染指令，并对第一文字数据进行效果渲染；所述第一视频效果渲染单元用于接收第二渲染指令，并对第一视频数据进行效果渲染；所述第一显示合成单元用于将渲染后的第一文字数据与渲染后的视频数据进行合成，得到第一合成数据；

进一步地，服务器包括存储单元，所述存储单元用于存储文字效果渲染模板；所述第一终端包括第一文字渲染模板获取单元；

所述第一文字渲染模板获取单元用于接收文字模板获取指令，从所述服务器获取对应的文字效果渲染模板；

所述第一文字效果渲染单元用于根据所获取的文字效果渲染模板对第一文字数据进行效果渲染。

进一步地，服务器包括存储单元，所述存储单元还用于存储视频效果渲染模板；所述第一终端包括第一视频渲染模板获取单元；

所述视频渲染模板获取单元用于接收视频模板获取指令，从所述服务器获取对应的视频效果渲染模板；

所述第一视频效果渲染单元用于根据所获取的视频效果渲染模板对第一视频数据进行效果渲染。

发明人还提供了一种视频通话的数据处理方法，所述方法应用于视频通话的数据处理装置，所述装置包括多个终端和服务器，所述终端包括第一终端和第二终端；所述第一终端包括第一视频采集单元、第一音频采集单元、第一音频效果单元、第一显示合成单元、第一编码单元和第一通信单元；所述方法包括：

第一视频采集单元实时采集第一视频数据，第一音频采集单元实时采集第一音频数据；

第一音频效果单元包括第一音频识别子单元、第一音频数字音效子单元和第一音频变速子单元。第一音频识别子单元将第一音频数据识别成第一文字数据；第一音频数字音效子单元将第一音频数据叠加音频数字音效；第一音频变速子单元将第一音频数据叠加变速不变调效果。

第一显示合成单元将第一文字数据与第一视频数据进行合成，得到第一合成数据；

第一编码单元将第一音频数据按照预设音频格式进行编码压缩，得到第一音频编码数据；并将第一合成数据按照预设视频格式进行编码压缩，得到第一视频编码数据；以及将第一音频编码数据和第一视频编码数据按照预设传输格式打包，得到第一编码多媒体数据；

第一通信单元将第一编码多媒体数据发送至第二终端。

进一步地，所述第一终端还包括第一显示单元；所述第二终端包括第二视频采集单元、第二音频采集单元、第二音频效果单元、第二显示合成单元、第二通信单元、第二编码单元和第二显示单元；所述方法包括：

第二视频采集单元实时采集第二视频数据，第二音频采集单元实时采集第二音频数据；

第二音频效果单元包括第二音频识别子单元、第二音频数字音效子单元和第二音频变速子单元；第二音频识别子单元将第二音频数据识别成第二文字数据；第二音频数字音效子单元将第二音频数据叠加音频数字音效；第二音频变速子单元将第二音频数据叠加变速不变调效果；

第二显示合成单元将第二文字数据与第二视频数据进行合成，得到第二合成数据；

第二编码单元将第二音频数据按照预设音频格式进行编码压缩，得到第二音频编码数据，并将第二合成数据按照预设视频格式进行编码压缩，得到第二视频编码数据；以及将第二音频编码数据和第二视频编码数据按照预设传输格式打包，得到第二编码多媒体数据；

第二通信单元将第二编码多媒体数据发送至第一终端；

第一显示单元显示第二编码多媒体数据，第二显示单元显示第一编码多媒体数据。

进一步地，所述第一终端还包括第一文字效果渲染单元和第一视频效果渲染单元；所述方法包括：

第一文字效果渲染单元接收第一渲染指令，并对第一文字数据进行效果渲染；

第一视频效果渲染单元接收第二渲染指令，并对第一视频数据进行效果渲染；

第一显示合成单元将渲染后的第一文字数据与渲染后的视频数据进行合成，得到第一合成数据；

进一步地，服务器包括存储单元，所述存储单元用于存储文字效果渲染模板；所述第一终端包括第一文字渲染模板获取单元；所述方法包括：

第一文字渲染模板获取单元接收文字模板获取指令，从所述服务器获取对应的文字效果渲染模板；

第一文字效果渲染单元根据所获取的文字效果渲染模板对第一文字数据进行效果渲染。

进一步地，服务器包括存储单元，所述存储单元还用于存储视频效果渲染模板；所述第一终端包括第一视频渲染模板获取单元；所述方法包括：

第一视频渲染模板获取单元接收视频模板获取指令，从所述服务器获取对应的视频效果渲染模板；

第一视频效果渲染单元根据所获取的视频效果渲染模板对第一视频数据进行效果渲染。

上述技术方案所述的视频通话的数据处理方法和装置，所述方法应用于视频通话的数据处理装置，所述装置包括多个终端和服务器，所述终端包括第一终端和第二终端；所述第一终端包括第一视频采集单元、第一音频采集单元、第一音频效果单元、第一显示合成单元、第一通信单元；所述方法包括：第一视频采集单元实时采集第一视频数据，第一音频采集单元实时采集第一音频数据；第一音频效果单元包括第一音频识别子单元、第一音频数字音效子单元和第一音频变速子单元，将第一音频数据识别成文字数据并叠加数字音频音效/音频变速效果；第一显示合成单元将第一文字数据与第一视频数据进行合成，得到第一合成数据；第一编码单元将第一音频数据按照一定的音频格式编码压缩；并将第一合成数据按照一定的视频格式编码压缩；并将音视频压缩的编码数据按照一定的传输格式打包，得到第一编码多媒体数据；第一通信单元将第一编码多媒体数据发送至第二终端。这样，在视频电话过程中，可以将音频音效/音频变速效果叠加到音频数据上；可以将通话语音识别成文字信息，并与视频数据叠加，并在通话的终端上呈现，有效增强了用户体验。

附图说明

图1为本发明一实施方式涉及的视频通话的数据处理装置的示意图；

图2为本发明一实施方式涉及的视频通话的数据处理方法的流程图；

图3为本发明另一实施方式涉及的视频通话的数据处理方法的流程图；

图4为本发明另一实施方式涉及的视频通话的数据处理方法的流程图；

附图标记说明：

101、第一终端；111、第一视频采集单元；121、第一音频采集单元；131、第一音频效果单元；141、第一显示合成单元；151、第一通信单元；161、第一显示单元；171、第一文字渲染模板获取单元；181、第一视频渲染模板获取单元；191、第一文字效果渲染单元；201、第一视频效果渲染单元；211、第一编码单元；

133、第一音频识别子单元；134、第一音频数字音效子单元；135、第一音频变速子单元；

102、第二终端；112、第二视频采集单元；122、第二音频采集单元；132、第二音频效果单元；142、第二显示合成单元；152、第二通信单元；162、第二显示单元；172、第二文字渲染模板获取单元；182、第二视频渲染模板获取单元；192、第二文字效果渲染单元；202、第二视频效果渲染单元；212、第二编码单元；

136、第二音频识别子单元；137、第二音频数字音效子单元；138、第二音频变速子单元

103、服务器；113、存储单元；

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1，本发明一实施方式涉及的视频通话的数据处理装置的示意图。所述装置包括多个终端和服务器103，所述终端包括第一终端101和第二终端102；所述第一终端101包括第一视频采集单元111、第一音频采集单元121、第一音频效果单元131、第一显示合成单元141、第一通信单元151、第二编码单元211；

所述第一视频采集单元111用于实时采集第一视频数据，所述第一音频采集单元121用于实时采集第一音频数据。所述终端为移动智能设备，如手机、平板等，用户可以通过终端之间进行视频通话。所述视频采集单元为具有视频数据采集功能的电子元件，如摄像头；所述第一音频采集单元为具体音频数据采集功能的电子元件，如麦克风。在本实施方式中，第一终端和第二终端为进行视频通话的两个终端设备，所述第一视频数据为第一终端的摄像头所采集的第一用户的视频图像信息，所述第一音频数据为第一终端的麦克风所采集的第一用户的音频数据。

所述第一音频效果单元131包括第一音频识别子单元133、第一音频数字音效子单元134和第一音频变速子单元135；第一音频识别子单元133用于将第一音频数据识别成第一文字数据；所述第一音频数字音效子单元134将第一音频数据叠加音频数字音效；所述第一音频变速子单元135将第一音频数据叠加变速不变调效果；

所述音频识别子单元可以通过语音识别算法解析出音频数据的音频信息，再将音频信息识别成对应的文字数据，即第一文字数据。

所述第一显示合成单元141用于将第一文字数据与第一视频数据进行合成，得到第一合成数据。在本实施方式中，第一文字数据可以以字幕的形式与第一视频数据进行叠加，例如位于根据视频画面比例，选用适当的文字大小，将文字数据作为画面字幕置于视频画面的底部。在另一些实施例中，第一文字数据还可以叠加在视频画面的其他方位，具体可根据用户的喜好设置。

所述第一编码单元211用于将第一音频数据按照预设音频格式进行编码压缩，得到第一音频编码数据；并用于将第一合成数据按照预设视频格式进行编码压缩，得到第一视频编码数据；以及用于将第一音频编码数据和第一视频编码数据按照预设传输格式打包，得到第一编码多媒体数据。

所述预设音频格式包括但不限于pcm,mp3,aac,ac3,dts。所述预设视频格式包括但不限于divx,xvid,mpeg4,h264,h265,vp8,vp9。所述预设传输格式包括但不限于m3u8，ts,mpeg2ts,flv,mov,mp4。

所述第一通信单元151用于将第一编码多媒体数据发送至第二终端。第一终端和第二终端可通过有线或无线的方式进行通信，当第二终端接收到第一编码多媒体数据后，第二终端的显示单元不仅可以显示第一用户的图像信息时，还可以显示第一用户的音频数据对应的文字数据，即将音频音效/音频变速效果叠加到音频数据上；将语音识别成文字与视频画面叠加进行显示，使得视频电话过程中语音更加直观化，有效提高了用户体验。

在某些实施例中，所述第一终端101还包括第一显示单元161；所述第二终端102包括第二视频采集单元112、第二音频采集单元122、第二音频效果单元132、第二显示合成单元142、第二编码单元212、第二通信单元152和第二显示单元162。

所述第二视频采集单元112用于实时采集第二视频数据，所述第二音频采集单元122用于实时采集第二音频数据；所述第二音频效果单元132包括第二音频识别子单元136、第二音频数字音效子单元137和第二音频变速子单元138。第二音频识别子单元136用于将第二音频数据识别成第二文字数据；第二音频数字音效子单元137将第二音频数据叠加音频数字音效；第二音频变速子单元138将第二音频数据叠加变速不变调效果。

所述第二显示合成单元142用于将第二文字数据与第二视频数据进行合成，得到第二合成数据；所述第二通信单元152用于将第二合成数据和第二音频数据发送至第一终端；所述第一显示单元161用于显示第二编码多媒体数据，第二显示单元162用于显示第一编码多媒体数据。优选的，第一终端用于将接收到的第二编码多媒体数据解析后进行显示，第二终端用于将接收到的第一编码多媒体数据解析后进行显示。当然，第一终端上也可以解析第一编码多媒体数据进行显示，以便在第一终端上的显示单元，可以同时看到通信双方用户的视频画面，第二终端同理可得，从而有效提高视频通话的交互性。

第二终端对获取的第二用户的音频数据识别成文字数据的方式，与第一终端类似，此处不再赘述。在进行视频通话过程中，以使用第一终端的第一用户视角为例，第一合成数据和第二合成数据可以分别显示在屏幕上的两个窗口中，两个窗口可以大小、摆放位置可以根据用户喜好进行调整。

在某些实施例中，所述第一终端101还包括第一文字效果渲染单元191和第一视频效果渲染单元201；所述第一文字效果渲染单元191用于接收第一渲染指令，并对第一文字数据进行效果渲染；所述第一视频效果渲染单元201用于接收第二渲染指令，并对第一视频数据进行效果渲染；所述第一显示合成单元141用于将渲染后的第一文字数据与渲染后的视频数据进行合成，得到第一合成数据。所述第一渲染指令和第二渲染指令可以通过用户点击屏幕上的按钮触发。

优选的，所述服务器103包括存储单元113，所述存储单元113用于存储文字效果渲染模板；所述第一终端包括第一文字渲染模板获取单元171；所述第一文字渲染模板获取单元171用于接收文字模板获取指令，从所述服务器获取对应的文字效果渲染模板；所述第一文字效果渲染单元191用于根据所获取的文字效果渲染模板对第一文字数据进行效果渲染。所述文字渲染模板包含有诸多文字效果配置项，所述文字效果配置项包括文字颜色、字形、字体大小、文字风格(如渐变呈现)等。

在某些实施例中，服务器包括存储单元，所述存储单元还用于存储视频效果渲染模板；所述第一终端包括第一视频渲染模板获取单元181；所述第一视频渲染模板181获取单元用于接收视频模板获取指令，从所述服务器获取对应的视频效果渲染模板；所述第一视频效果渲染单元201用于根据所获取的视频效果渲染模板对第一视频数据进行效果渲染。所述视频渲染模板包含有诸多视频效果配置项，所述视频效果配置项包括场景风格设置、背景设置、亮度调整等。

在某些实施例中，所述第二终端还包括第二文字渲染模板获取单元172、第二视频渲染模板获取单元182、第二文字效果渲染单元192、第二视频效果渲染单元202，第二文字效果渲染单元192用于根据第二文字渲染模板获取单元172从服务器获取的文字渲染模板对第二文字数据进行效果渲染；第二视频效果渲染单元192用于根据第二视频渲染模板获取单元182从服务器获取的视频渲染模板对第二视频数据进行效果渲染。在实际应用过程中，当第一终端和第二终端进行通话时，第一用户可以通过第一终端对第一合成数据进行效果渲染，也可以对第二终端传输的第二合成数据进行效果渲染，从而有效提高了用户体验。

请参阅图2，为本发明一实施方式涉及的视频通话的数据处理方法的流程图,。所述方法应用于视频通话的数据处理装置，所述装置包括多个终端和服务器，所述终端包括第一终端和第二终端；所述第一终端包括第一视频采集单元、第一音频采集单元、第一音频效果单元、第一显示合成单元、第一编码单元、第一通信单元；所述方法包括：

首先进入步骤s201第一视频采集单元实时采集第一视频数据，第一音频采集单元实时采集第一音频数据。

而后进入步骤s202第一音频效果单元中的第一音频识别子单元将第一音频数据识别成第一文字数据。所述第一音频识别子单元可以通过语音识别算法解析出音频数据的音频信息，再将音频信息识别成对应的文字数据，即第一文字数据。

而后进入步骤s203第一显示合成单元将第一文字数据与第一视频数据进行合成，得到第一合成数据。在本实施方式中，第一文字数据可以以字幕的形式与第一视频数据进行叠加，例如位于根据视频画面比例，选用适当的文字大小，将文字数据作为画面字幕置于视频画面的底部。在另一些实施例中，第一文字数据还可以叠加在视频画面的其他方位，具体可根据用户的喜好设置。

而后进入步骤s204第一编码单元将第一音频数据按照预设音频格式进行编码压缩，得到第一音频编码数据，并将第一合成数据按照预设视频格式进行编码压缩，得到第一视频编码数据。

而后进入步骤s205第一编码单元将第一音频编码数据和第一视频编码数据按照预设传输格式打包，得到第一编码多媒体数据。

而后进入步骤s206第一通信单元将第一编码多媒体数据发送至第二终端。第一终端和第二终端可通过有线或无线的方式进行通信，当第二终端接收到第一合成数据和第一音频数据后，第二终端的显示单元不仅可以显示第一用户的图像信息时，还可以显示第一用户的音频数据对应的文字数据，即将音频音效/音频变速效果叠加到音频数据上；将语音识别成文字与视频画面叠加进行显示，使得视频电话过程中语音更加直观化，有效提高了用户体验。

请参阅图3，为本发明另一实施方式涉及的视频通话的数据处理方法的流程图。所述第一终端还包括第一显示单元；所述第二终端包括第二视频采集单元、第二音频采集单元、第二音频效果单元、第二显示合成单元、第二编码单元、第二通信单元和第二显示单元；所述方法包括：首先进入步骤s301第二视频采集单元实时采集第二视频数据，第二音频采集单元实时采集第二音频数据；而后进入步骤s302第二音频效果单元中的第二音频识别子单元将第二音频数据识别成第二文字数据；而后进入步骤s303第二显示合成单元将第二文字数据与第二视频数据进行合成，得到第二合成数据；而后进入步骤s304第二编码单元将第二音频数据按照预设音频格式进行编码压缩，得到第二音频编码数据，并将第二合成数据按照预设视频格式进行编码压缩，得到第二视频编码数据；而后进入步骤s305第二编码单元将第二音频编码数据和第二视频编码数据按照预设传输格式打包，得到第二编码多媒体数据；而后进入步骤s306第二通信单元将第二编码多媒体数据发送至第一终端；而后进入步骤s307第一显示单元显示第二编码多媒体数据，第二显示单元显示第一编码多媒体数据。

如图4所示，在某些实施例中，所述第一终端还包括第一文字效果渲染单元和第一视频效果渲染单元；所述方法包括：首先进入步骤s401第一文字效果渲染单元接收第一渲染指令，并对第一文字数据进行效果渲染；而后进入s402第一视频效果渲染单元接收第二渲染指令，并对第一视频数据进行效果渲染；而后进入s403第一显示合成单元将渲染后的第一文字数据与渲染后的视频数据进行合成，得到第一合成数据。

在某些实施例中，服务器包括存储单元，所述存储单元用于存储文字效果渲染模板；所述第一终端包括第一文字渲染模板获取单元；所述方法包括：第一文字渲染模板获取单元接收文字模板获取指令，从所述服务器获取对应的文字效果渲染模板；第一文字效果渲染单元根据所获取的文字效果渲染模板对第一文字数据进行效果渲染。

在某些实施例中，服务器包括存储单元，所述存储单元还用于存储视频效果渲染模板；所述第一终端包括第一视频渲染模板获取单元；所述方法包括：第一视频渲染模板获取单元接收视频模板获取指令，从所述服务器获取对应的视频效果渲染模板；第一视频效果渲染单元根据所获取的视频效果渲染模板对第一视频数据进行效果渲染。

上述技术方案所述的视频通话的数据处理方法和装置，所述方法应用于视频通话的数据处理装置，所述装置包括多个终端和服务器，所述终端包括第一终端和第二终端；所述第一终端包括第一视频采集单元、第一音频采集单元、第一音频效果单元、第一显示合成单元、第一通信单元；所述方法包括：第一视频采集单元实时采集第一视频数据，第一音频采集单元实时采集第一音频数据；第一音频效果单元包括第一音频识别子单元、第一音频数字音效子单元和第一音频变速子单元，将第一音频数据识别成文字数据并叠加数字音频音效/音频变速效果；第一音频识别子单元将第一音频数据识别成第一文字数据；第一显示合成单元将第一文字数据与第一视频数据进行合成，得到第一合成数据；第一通信单元将第一合成数据和第一音频数据发送至第二终端。

这样，在视频电话过程中，可以将音频音效/音频变速效果叠加到音频数据上；可以将通话语音识别成文字信息，并与视频数据叠加，并在通话的终端上呈现，有效增强了用户体验。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。

本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：ram、rom、磁碟、磁带、光盘、闪存、u盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。