APP开发平台、APP开发方法及电子设备与流程

app开发平台、app开发方法及电子设备
技术领域
1.本发明涉及电子技术领域，尤其涉及一种app开发平台、app开发方法及电子设备。


背景技术：

2.目前，各种电子设备(例如，手机、平板、电脑、车机、智能手表等等)都可以安装应用程序(application，app)。开发人员需要为这些电子设备开发各种app。一般地，同一个app，开发人员需要分别给不同操作系统或不同设备形态的电子设备编写一套程序代码。举例来说，对于同一视频app，开发人员需要给安卓系统的手机、ios系统的手机、电脑等各写一套程序代码，且开发人员为一种电子设备写的代码无法直接复用到另一种不同操作系统的电子设备中。
3.另外，许多app的程序代码使用的编程语言不同，导致开发人员在开发app时无法复用现有app中实现某一功能的程序代码。例如，现有拍照app和美颜类app中均有拍照功能。若开发人员需要开发一个具有拍照功能的app，由于现有的具有拍照功能的app使用的编程语言或者接口不同，使得开发人员无法直接复用现有app中实现拍照功能部分的程序代码。这样，开发人员无法利用现有app中实现某些功能的程序代码去便利地开发一个新的app，开发一个app需要耗费较多的时间。
4.由此，如何提升开发平台开发app的效率，快速地开发新app是亟待解决的问题。


技术实现要素：

5.本技术提供了一种app开发平台、app开发方法及电子设备。本技术提供的app开发平台，用户可以在app开发平台中选择组件进行连接，app开发平台可以验证用户选择的组件是否可以连接。当用户选择的组件连接成功后，用户可以选择在app开发平台中将连接成功的组件编译成app可执行的源代码。这样，用户可以快速开发app。
6.第一方面，本技术提供一种app开发平台，该app开发平台应用于电子设备，app开发平台包括组件工具箱，组件编排设计器，代码生成引擎。其中，组件工具箱用于提供组件，组件为实现特定功能的独立模块，组件由一个组件主体和一个或多个连接点构成，连接点支持一种或多种数据实体类型；组件编排设计器用于显示组件，根据用户连接组件的操作连接两个或多个组件；代码生成引擎用于将组件编排设计器中连接的两个或多个组件生成第一app可执行的源代码，第一app包括两个或多个组件。
7.其中，数据实体，即连接点可以支持的数据。数据实体类型即为数据实体的类型。数据实体类型可以包括音频、视频、图像、文字等多种类型。
8.通过本技术提供的app开发平台，用户从组件工具箱中选定组件，电子设备中安装有app开发平台。组件编排设计器可以创建组件并显示组件的构成，组件可以由一个组件主体和一个或多个连接点组件。用户在组件编排设计器的界面中连接第一组件和第二组件；响应于该操作，组件设计编排器连接第一组件和第二组件；用户在组件编排设计器中选择编译完成连接的组件，响应于该操作，代码生成引擎将组件编排设计器中显示的多个完成
连接的组件编译成app的可执行代码。这样，开发人员利用已有的多个组件快速组合成用户需要开发的app，不需要逐一写程序代码实现app的功能逻辑。
9.在一种可能的实现方式中，组件编排设计器还用于：响应于用户连接第一组件和第二组件的操作，验证第一组件和第二组件是否匹配；若第一组件和第二组件匹配，则连接第一连接点和第二连接点，第一连接点为第一组件的连接点，第二连接点为第二组件的连接点。这样，可以避免第一组件和第二组件的数据格式不匹配。
10.在一种可能的实现方式中，第一组件和第二组件匹配包括：第一数据实体类型与第二数据实体类型相同、第一数据实体类型包括第二数据实体类型、或者第二数据实体类型包括第一数据实体类型，其中，第一数据实体类型为第一连接点支持的数据实体的类型，第二数据实体为第二连接点支持的数据实体的类型。
11.在一种可能的实现方式中，组件工具箱还用于：响应于用户上传组件或从组件市场下载组件的操作，显示用户上传或从组件市场下载的组件的名称。这样，app平台可以给用户提供更多的组件，提升用户体验。
12.在一种可能的实现方式中，组件编排设计器具体用于：显示连接第一连接点和第二连接点的连接线。这样，可以提示用户第一连接点和第二连接点成功连接。
13.在一种可能的实现方式中，组件编排设计器具体用于：将第一连接点和第二连接点重叠显示。这样，可以提示用户第一连接点和第二连接点成功连接。
14.在一种可能的实现方式中，组件编排设计器具体用于：根据用户从组件工具箱中选择第一组件的操作，显示第一组件。
15.在一种可能的实现方式中，组件编排设计器还用于：响应于用户选择对第一组件进行智能编排的操作，显示出第一组件的组件调用树；组件调用树用于展示与第一组件匹配的第二组件和/或第三组件、以及与第二组件匹配的第四组件和/或第五组件、直到与第m组件匹配的第n组件，且第n组件为无输出连接点的组件，其中，m和n为正整数。这样，当用户不知道与第一组件匹配的组件时，可以智能给用户推荐可以和第一组件连接的组件，节约用户时间，提升用户体验。
16.在一种可能的实现方式中，显示出所述第一组件的组件调用树，具体为：根据第一组件的功能和/或第一组件的连接点支持的数据实体类型，显示出第一组件的组件调用树。这样，可以更准确地推荐出第一组件匹配的组件。
17.在一种可能的实现方式中，组件编排设计器还用于：响应于用户删除组件的操作，删除组件调用树中的组件。
18.在一种可能的实现方式中，组件编排设计器还用于：保存完成连接的两个或多个组件的编排模型图，以及编排模型图中的第一信息；第一信息包括中两个或多个组件的id、名称、两个或多个组件的连接点支持的数据实体类型中的一项或多项。
19.在一种可能的实现方式中，代码生成引擎具体用于：根据编排模型图、第一信息和组件调用模板生成第一app可执行的源代码，组件调用模板中包括预设格式的程序代码。组件调用模板是按照不同类型的组件，以及连接点的属性来预设好的代码模板，封装了通用的接口调用代码逻辑。
20.第二方面，本技术提供了一种app开发方法，该方法包括：响应于用户从电子设备的组件工具箱中选择组件的操作，电子设备在组件编排设计器中显示所述组件，组件为实
现特定功能的独立模块；组件由一个组件主体和一个或多个连接点构成，连接点支持一种或多种数据实体类型；响应于用户连接多个组件的操作，电子设备在组件编排设计器中连接两个或多个组件；响应于用户选择编译的两个或多个组件的操作，电子设备在代码生成引擎中将连接的两个或多个组件生成第一app的可执行的源代码。
21.其中，数据实体为连接点可以支持的数据。数据实体类型即为数据实体的类型。数据实体类型可以包括音频、视频、图像、文字等多种类型。
22.这样，用户可以利用已有的组件连接得到app，不需要重新的编写app的代码，可以节约用户开发app的时间。
23.在一种可能的实现方式中，电子设备在组件编排设计器中连接两个或多个组件，具体包括：响应于用户连接第一组件和第二组件的操作，电子设备通过组件编排设计器验证第一组件和第二组件是否匹配；若第一组件和第二组件匹配，则电子设备连接第一连接点和第二连接点，第一连接点为第一组件的连接点，第二连接点为第二组件的连接点。这样，可以保证用户连接的两个组件是匹配的。
24.在一种可能的实现方式中，第一组件和第二组件匹配包括：第一数据实体类型与第二数据实体类型相同、第一数据实体类型包括第二数据实体类型、第二数据实体类型包括第一数据实体类型，第一数据实体类型为第一连接点支持的数据实体的类型，第二数据实体为第二连接点支持的数据实体的类型。
25.在一种可能的实现方式中，该方法还包括：响应于用户查看第一组件的第一连接点属性的操作，电子设备在组件编排设计器中显示第一连接点支持的数据实体类型。这样，用户可以知道第一组件的第一连接点的属性，以便于用户后续操作，例如，根据第一连接点的属性查找与第一组件匹配的第二组件。
26.在一种可能的实现方式中，电子设备连接第一连接点和第二连接点包括：显示连接第一连接点和第二连接点的连接线；或，将第一连接点和第二连接点重叠。这样，可以提示用户第一连接点和第二连接点已经建立连接。
27.在一种可能的实现方式中，该方法还包括：响应于用户选择对第一组件进行智能编排的操作，电子设备在组件编排设计器中显示出第一组件的组件调用树；组件调用树用于展示第一组件匹配的第二组件和/或第三组件、以及与第二组件匹配的第四组件和/或第五组件、直到与第m组件匹配的第n组件，且第n组件为无输出连接点的组件，其中，m和n为正整数。这样，当用户不知道与第一组件匹配的组件时，可以智能给用户推荐可以和第一组件连接的组件，节约用户时间，提升用户体验。
28.在一种可能的实现方式中，电子设备在组件编排设计器中显示出第一组件的组件调用树，具体包括：根据第一组件的功能和/或第一组件的连接点支持的数据实体类型，显示出第一组件的组件调用树。这样，可以更准确地推荐出第一组件匹配的组件。
29.在一种可能的实现方式中，该方法还包括：响应于用户删除组件的操作，电子设备删除组件调用树种的组件。这样，用户可以删除组件调用树中跟第一app无关的组件。
30.在一种可能的实现方式中，该方法还包括：电子设备在组件编排设计器中保存完成连接的两个或多个组件的编排模型图，以及编排模型图中的第一信息；第一信息包括中两个或多个组件的id、名称、两个或多个组件的连接点支持的数据实体类型中的一项或多项。
31.在一种可能的实现方式中，该方法还包括：电子设备在所述代码生成引擎中，根据编排模型图、第一信息和组件调用模板生成第一app可执行的源代码，组件调用模板中包括预设格式的程序代码。组件调用模板是按照不同类型的组件，以及连接点的属性来预设好的代码模板，封装了通用的接口调用代码逻辑。
32.第三方面，本技术提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器；该一个或多个存储分别与一个或多个处理器耦合；该一个或多个存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令；当该计算机指令在该处理器上运行时，使得该电子设备执行上述任一方面任一种可能的实现方式中的app开发方法。
33.第四方面，本技术实施例提供了一种计算机存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得通信装置执行上述任一方面任一项可能的实现方式中的app开发方法。
34.第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述任一方面任一项可能的实现方式中的app开发方法。
附图说明
35.为了更清楚地说明本技术实施例中的技术方案，下面将对本技术实施例中所需要使用的附图进行说明。
36.图1a为本技术实施例提供的一种视频解码组件的示意图；
37.图1b为本技术实施例提供的一种复合组件的示意图；
38.图2为本技术实施例提供的一种app开发平台10的架构示意图；
39.图3为本技术实施例提供的组件工具箱101的示意图；
40.图4为本技术实施例提供的一种用户界面的示意图；
41.图5a-图5g为本技术实施例提供的用户界面的示意图；
42.图6a-图6b为本技术实施例提供的用户界面的示意图；
43.图7a-图7b为本技术实施例提供的用户界面的示意图；
44.图8a-图8d为本技术实施例提供一种用户界面示意图；
45.图9为本技术实施例提供的一种app开发方法的流程示意图；
46.图10为本技术实施例提供的一种应用场景示意图；
47.图11为本技术实施例提供的一种组件开发生态示意图；
48.图12为本技术实施例提供的组件的领域描述语言与组件图形对应关系示意图；
49.图13为本技术实施例提供的电子设备的硬件结构示意图；
50.图14为本技术实施例的电子设备的示意性框图。
具体实施方式
51.下面将结合附图对本技术实施例中的技术方案进行清除、详尽地描述。其中，在本技术实施例的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，另外，在本技术实施例的描述中，“多个”是指两个或多于两个。
52.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本技术实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。此外，本技术的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。需要说明的是，本技术实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
53.首先对本技术实施例涉及到的一些概念(如组件component、连接点connectpoint)进行介绍。
54.(1)组件(component)
55.组件是一个由一定业务逻辑、以及相关数据组成的独立模块。组件可以完成特定的功能。例如，视频播放组件可以完成播放视频的功能、视频解码组件可以完成对视频解码的功能。一个app可以由一个或多个组件组成。组件可以有用户界面，也可以没有用户界面。例如，视频解码组件可以没有用户界面，即电子设备通过视频解码组件对视频解码的过程可以不展现在用户界面中，用户不感知。单个组件可以独立运行于用户设备中，例如，tv中可以安装有播放视频组件，然后tv通过该播放视频组件播放视频。
56.每个组件包括一个组件主体和若干个连接点(输入连接点或输出连接点)。一个组件通过连接点来实现与其他组件传递数据。一般地，组件至少包括一个输入连接点或输出连接点。可以理解的是，有的组件也可以没有连接点，即这类组件无输入连接点和输出连接点。在本技术实施例中，可以用来组成app的组件至少有一个或多个连接点。
57.示例性地，一个组件的构成可以如图1a所示。图1a示出了视频解码组件的图形示例。视频解码组件可以包括一个组件主体(如图1a中解码视频10a)和一个输入连接点(如图1a中输入连接点input connectpoint10b)、以及二个输出连接点(如图1a中输出连接点output connectpoint10c和输出连接点10d)。
58.(2)连接点(connectpoint)
59.连接点是组件的对外的智能化接口，即实现输入或输出功能的代理者，负责与其他连接点进行接口协议检查、协商对接、数据传递等。连接点是组件接收另一个组件输入数据的途径，也是组件向另一个组件输出数据的途径。连接点包括输入连接点或者输出连接点。通常，每个连接点可以支持一种或多种类型的数据实体entity。连接点支持的数据实体可以是图像、音频、视频、文字等等。
60.(3)数据实体(entity)
61.数据实体，即连接点可以支持的数据。数据实体类型即为数据实体的类型，数据实体有多种类型，例如音频、视频、图像、文字等等。如表1所示，表1示例性的示出了数据实体的一些类型。其中视频可以按照不同的视频编码标准分类。例如，视频编码标准可以包括动态图像专家组(moving pictures experts group，mpeg)压缩编码标准和高效视频编码
(high efficiency video coding，hevc)标准。其中，mpeg压缩编码标准可以包括mpeg、mpeg2和mpeg4等几种编码标准。hevc可以包含编码标准h265。音频的文件可以有多种格式。例如动态影像专家压缩标准音频层面3(moving picture experts group audio layer iii，简称mp3)格式的音频文件、波形文件(waveform audio，简称wave)格式的音频文件、无损音频压缩编码(free lossless audio codec，flac)格式的音频文件。数据实体的类型还可以包括文本、图片、压缩文件、文档、流和数据集等等。流可以包括视频流、音频流或者复合流。复合流中可以包含视频流和音频流。数据集可以包括数据库表。其中，每一个类型还可以包括一些子类型，格式或者一些其他属性。例如，视频类型数据实体类型可以mpeg、mpeg2和mpeg4等子类型，还可以包括：宽度、高度、字幕、语言等等属性。例如，图1a中输入连接点10b支持的数据实体类型可以为mpeg格式的视频、格式为1920*1080，语言为中文等等。具体可以参考表1，此处不再赘述。
62.表1
63.[0064][0065]
(4)复合组件
[0066]
复合组件由多个组件组成，可以完成多个功能。例如，如图1b所示，复合组件100a可以由视频解码组件和视频播放组件组成。其中，视频解码组件包括一个主体(解码视频10a)、一个输入连接点(输入连接点10b)和两个输出连接点(输出连接点10c和输出连接点10d)。视频播放组件包括一个主体(播放视频10e)和一个输入连接点(输入连接点10f)。视频解码组件的输出连接点10d和视频播放组件的输入连接点10f连接。复合组件100a可以实现视频解码和视频播放的功能。
[0067]
为了解决开发app比较耗时的问题，在一种实现方式中，开发人员可以在电子设备上通过“快捷指令”应用将现有快捷指令或自定义快捷指令组成新的app。即开发人员可以通过“快捷指令”应用合并终端中多个应用间的多个操作，以创建一个app。举例来说，电子设备中应用a具有拍照这个操作。电子设备中应用b具有一键将照片转换为pdf文档这个操作。开发人员可以通过“快捷指令”将应用a中的拍照操作和应用b中一键将照片转换为pdf文档操作串接组合成一个新app。这样，开发人员可以较为快捷地开发一个新的app。
[0068]
但是，这种实现方式中提出的方法只能简单的组合电子设备中的一些操作。当开发人员需要开发一个功能较多的，业务逻辑比较复杂的app时，上述实现方式中提出的方法难以满足开发人员的需求。
[0069]
针对上述实现方式中存在的问题，本技术提供了一种app开发平台。该app开发平台包括组件工具箱，组件编排设计器以及代码生成引擎。基于该app开发平台，本技术提出一种app开发方法。该方法包括：电子设备检测到用户从组件工具箱中选定组件的操作，电子设备中安装有app开发平台。响应于该操作，组件编排设计器可以创建组件并显示组件的构成，组件可以由一个组件主体和一个或多个连接点组件。电子设备检测到用户在组件编排设计器的界面中连接第一组件和第二组件的操作；响应于该操作，组件设计编排器判断第一组件的输出连接点支持的数据实体类型和第二租件的输入连接点支持的数据实体类型是否匹配。若匹配，组件设计器编排器可以显示连接成功的标识。电子设备检测到用户在组件编排设计器中选择编译完成连接的组件的操作，响应于该操作，代码生成引擎将组件
编排设计器中显示的多个完成连接的组件编译成app的可执行代码。这样，开发人员利用已有的多个组件快速组合成用户需要开发的app，不需要逐一写程序代码实现app的功能逻辑。
[0070]
在本技术实施例中，开发人员又可以称为用户，该用户可以在本技术提供的电子设备中开发app或组件。
[0071]
首先对本技术实施例提供的一种app开发平台进行介绍。如图2所示，图2示出了本技术实施例提供的app开发平台10的架构示意图。本技术实施例提供的app开发平台10包括：组件工具箱101、组件编排设计器102、代码生成引擎103。
[0072]
组件工具箱101用于呈现组件。组件工具箱101中的组件可以按照组件的功能分类。用户可以从组件市场中下载组件，然后保存在组件工具箱101中。用户也可以将自己开发设计的组件上传到组件市场中。
[0073]
示例性地，组件工具箱101可以如图3所示，图3示出了本技术实施例提供的组件工具箱101。组件工具箱101可以显示在用户界面(未示出)的显示区域1000中。显示区域1000中可以包括控件1001、控件1002、控件1003以及控件1004。用户可以通过控件1001搜索组件工具箱101中的组件。控件1002和控件1003用来展开或收起某一类组件。例如，图3中控件1002用来展开或收起常用组件类的组件。控件1003用来展开或收起影音播放类的组件。图3中示例性的示出了组件工具箱101中包含常用组件类的组件和影音播放类的组件。可以理解的是，组件工具箱101中的组件不限于常用组件类的组件和影音播放类的组件。组件工具箱101中还可以包含其他种类的组件，例如，文档处理类的组件、图片处理类的组件等等。可以理解的是，本技术实施例对组件工具箱101的具体用户界面不做限制。组件工具箱101的用户界面中可以具有比图3中更多或更少的控件。
[0074]
在一些实施例中，用户可以按照自己的使用习惯对组件进行分类，例如用户可以将播放视频组件添加到常用组件这一分类中。用户可以将预定机票组件、预定酒店组件、订餐外卖分到预定支付类组件中，具体分类名称可由用户自行定义。可以理解的是，不同用户中的组件工具箱101中组件列表中的组件分类可以不一样。例如，图3中示出的常用组件类(例如发送短信组件、拨打电话组件等等)、影音播放类(例如播放视频组件、解码视频组件、解码音频组件等等)的组件等等。关于如何对组件进行分类，本技术实施例不作限制。本技术实施例下文以根据组件的功能对组件分类为例进行阐述。
[0075]
组件编排设计器102是组件编排和开发的核心工具，具体的，开发者可以在编排设计器中，选择、布局和连接多个组件，选择连接点数据实体类型，设定业务逻辑，构成新的复合组件等。组件编排设计器可具体用于：
[0076]
显示生成组件：示例性的，组件编排设计器102响应于用户将组件从组件工具箱101中拖拽到组件编排设计器102中，组件编排设计器102可为用户呈现该组件。具体的，开发者可以在组件工具箱101中选择组件，然后组件编排设计器102读取该组件的文件。组件编排设计器102根据该组件的文件中获得组件的组成并将组件绘制出来，呈现在组件编排设计器102中。
[0077]
连接点对接验证：验证两个组件的连接点的数据实体类型是否一致。
[0078]
组件连接：根据用户操作将两个或多个组件进行连接。示例性地，开发者可以根据所需app的业务逻辑或者符合组件的业务逻辑在组件编排设计器102中将两个或多个组件
进行连接。在两个组件进行连接时，组件编排设计器102还可以验证两个组件的连接点支持的数据类型是否一致。例如，当视频播放组件的输出连接点和视频解码组件的输入连接点支持相同的数据实体类型时，可以将两个组件之间的连接点进行连接。
[0079]
业务逻辑编排：开发者可根据组件连接点支持的数据实体类型对连接点增加逻辑判断或循环。
[0080]
智能化编排：组件编排设计器102可根据组件的功能和组件连接点支持的数据实体类型，自动联想和推荐可以与当前组件对接的其他组件，供开发者选择；或者按照编排策略自动生成对接编排模型。示例性地，组件编排设计器102可以根据用户操作，显示所有能够与第一组件的连接点连接的组件。用户可以在组件编排设计器102显示的组件中选择需要的组件。
[0081]
支持查看连接点属性：组件编排设计器102可以响应于用户查看组件连接点支持的数据类型的操作，显示该连接点支持的数据类型。
[0082]
保存组件编排模型图：示例性地，组件编排设计器102还可用于保存多个组件编排完成的模型图，以及模型图中的所有信息。例如，模型图中所有组件的id和名称、所有连接点的数据实体类型、连接点的连接属性(包括两个相连的连接点支持的数据实体类型，以及数据传输方式(直接传输或需要判断条件，满足判断条件才传输))。
[0083]
代码生成引擎103用于将编排好的复合组件、app生成可执行的源代码。具体地，代码生成引擎103根据组件编排设计器102中保存的多个组件编排完成的模型图，以及模型图中的所有信息。例如，模型图中所有组件的id和名称、所有连接点的数据实体类型、连接点的连接属性和组件调用模板生成可执行的源代码。其中，组件调用模板是按照不同类型的组件，以及连接点的属性来预设好的代码模板，封装了通用的接口调用代码逻辑。示例性地，组件调用模板可以包括如下程序代码：
[0084]
[0085][0086][0087]
上述代码中除了<>中的内容之外，其余的代码均为模板。代码生成引擎可以根据
具体生成的app替换上述代码中<>的内容。例如，<composeplayer>中的“composeplayer”可以替换为具体app的名称(如123player)。<videosplit>中的“videosplit”可以替换为实际生成app所需的组件名称。<connectpoint1>中的“connectpoint1”可以替换为实际的连接点。<entity.mpeg>,<entity.640_480>中“mpeg”和“640_480”可以替换为实际的数据实体类型。
[0088]
可以理解的是，本技术中的app开发平台可以作为一个单独开发app的工具，也可以是一个开发工具中的一个模块。此处不作限定。
[0089]
下面通过附图介绍利用本技术实施例提供的app开发平台开发app的实现过程。
[0090]
图4-图8d示例性地示出了开发一个视频app的过程。本技术实施例以电子设备是电脑为例进行阐述。
[0091]
如图4所示，图4示出了用户界面400。用户界面400用于用户创建app。用户界面400中可以包括输入框401、输入框402、输入框403、输入框405、以及控件404、控件406、控件407、控件408、控件409、控件410。其中，输入框401用于输入用户所创建的项目名称，即app名称，例如“mediaplayerapp”。输入框402用于用户输入用户所创建app的包名(package name)，例如“com.ex.example.mediaplayerapp”。包名是app的唯一标识，主要用于系统识别app。输入框403用于用户选择或输入所创建app的存储位置。用户可以在输入框403中直接输入所创建app的存储位置，例如“d:\test\mediaplayerapp”。用户还可以通过输入框403中的控件404来选择所创建app的存储位置。输入框405用于用户选择或直接输入所创建app所支持的api最低版本。用户可以在输出框405中直接输入所创建app支持的api最低版本，例如“xxsdk:1.0.0”。用户还可以通过控件406选择所创建app支持的api最低版本。控件407用于指导用户如何在用户界面400中进行操作。控件408用于取消用户创建的项目。控件409用于回到上一步操作。控件410用于保存用户创建的项目并刷新用户界面400。当用户填完输入框401、输入框402、输入框403、输入框405中的内容后，点击控件410。
[0092]
示例性的，响应于用户点击控件410的操作，显示如图5a所示用户界面50a。其中，用户界面50a中可以包含显示区域501和显示区域502。显示区域501用于显示组件工具箱101。当用户在组件工具箱101中选中一个组件(例如分解视频组件)拖到显示区域502中，显示区域502可以显示出组件的图形。这里，显示区域502可以是组件设计编排器102的界面。组件设计编排器102的界面可以用于显示组件的图形。
[0093]
在一种可能的实现方式中，当电子设备检测到用户在组件工具箱101中拖动分解视频组件的操作时，响应于该用户操作，组件编排设计器102可以创建分解视频组件，以及在显示区域502中绘制出分解视频组件的主体(例如用户界面50a中的分解视频503)，以及连接点(例如用户界面50a中的输入连接点504和输出连接点505、输出连接点506)。
[0094]
用户可以查看组件连接点支持的数据实体类型。电子设备可以检测到用户查看连接点的操作，为用户显示该组件连接支持的数据实体类型。该操作可以有很多种，例如双击连接点，鼠标光标悬停在连接点上2s，或者鼠标右击连接点等等，此处不做限定。如图5b所示，用户可以右击输出连接点506，电子设备检测到用户操作，显示如图5c中的用户界面50c，用户界面50c中可以显示查看控件507和智能编排控件508。查看控件507用于显示输出连接点506支持的数据实体类型。智能编排控件508可用于智能编排，显示能够和输出连接点506连接的组件。示例性的，用户可以点击查看控件507。
[0095]
示例性地，响应于用户点击查看控件507的操作，显示如图5d中所示的用户界面50d，用户界面50d中可以显示输出连接点506支持的数据实体属性表509。数据实体属性表509中可以用来显示输出连接点506支持的数据实体的数据类型为视频、视频的子类型可以是mpeg和mpeg4、以及视频的格式可以为640*480和1920*1080等等。
[0096]
在一种可能的实现方式中，用户还可以通过点击用户界面50d中分解视频组件的组件主体分解视频503，来查看分解视频组件所有连接点各自支持的数据实体类型。查看分解视频组件所有连接点各自支持的数据实体类型的方式可以是双击连接点，鼠标光标悬停在连接点上2s，或者鼠标右击连接点等，此处不做限制。示例性的，响应于该用户点击分解视频组件的组件主体分解视频503的操作，电子设备可以显示如图5e示出的用户界面50e。用户界面50e中可以展示分解视频组件的属性表510。属性表510用于展示分解视频组件所有连接点的属性。属性表510中的连接点1可以为输入连接点504，连接点2可以是输出连接点505，连接点3可以是输出连接点506。连接点1可以包含两种数据实体，即数据实体0和数据实体1。控件511用于隐藏连接点的数据实体。即，用户点击控件511，属性表510中显示出的数据实体0、数据实体1和数据实体被隐藏。控件512用于隐藏数据实体0的属性，例如，类型(category)，子类型(sub category)，宽度(width)、高度(height)、比特率(bitrate)等等。控件513用于展开显示数据实体1的属性。控件514用于展开显示连接点2支持的数据实体。控件515用于展开显示连接点3支持的数据实体。
[0097]
当连接点支持多种类型的数据实体时，用户可以选择一种数据实体设定为连接点可支持的数据实体。例如，图5f中示出的用户界面50f中，输出连接点506支持多种类型的数据实体。具体地，输出连接点506支持的数据实体可以为子类型为mpeg，格式为640*480的视频数据、和子类型为mpeg，格式为1920*1080的视频数据、和子类型为mpeg4，格式为640*480的视频数据、以及文件类型为mpeg4，格式为1920*1080的视频数据。用户可以在数据实体属性表509中将mpeg4设定为输出连接点506可以支持的子类型。电子设备可以检测到用户设置连接点所述支持数据实体属性的操作。用户设置连接点所述支持数据实体属性的操作可以有多种，例如用户可以双击数据实体属性表格509中的子类型mpeg4。此处对用户设置连接点所述支持数据实体属性的操作不作限定。响应于该用户操作，电子设备可以显示提示框516。提示框516用于提示用户已经对数据实体进行了设置。提示框516的提示内容可以是图5e中显示的文字内容“你已将连接点的子类型设置为mpeg4”，此处对提示框516的具体提示内容不作限定。
[0098]
在另一种可能的实现方式中，用户可以在图5e示出的属性表510中设置连接点支持的数据实体。例如，用户可以双击属性表510中的数据实体0，响应于用户操作，组件编排设计器102将数据实体0设定为连接点1唯一支持的数据实体。
[0099]
用户可以依次设定好输出连接点506支持的数据实体(例如视频)的子类型以及格式。例如，用户可以将视频的子类型设置为mpeg4，格式设置为1920*1080。用户可以再次点击查看控件507查看输出连接点506支持的数据实体的属性。如图5g示出的用户界面50g所示，用户界面50g显示了更新后的数据实体属性表511。数据实体属性表511中的子类型和格式均为用户设定，即子类型为mpeg4，格式设置为1920*1080。
[0100]
同理，用户可按照如上方法再添加组件工具箱101中的其他组件到组件编排设计器102中。示例性的，用户可以将组件工具箱101中的播放视频组件拖动到组件编排设计器
102中。电子设备可以检测到用户拖动播放视频组件的操作，响应于该操作，组件编排设计器102可以创建视频播放组件并绘制视频播放组件的组件主体(如用户界面60a中示出的播放视频601)以及连接点(如用户界面60a中示出的输入连接点602)，并显示在组件编排设计器102的界面中(例如用户界面60a)。
[0101]
如图6a所示，用户可以将组件工具箱隐藏。并且用户可以在组件编排设计器102的界面中将两个组件进行连接。例如，如图6a示出的用户界面60a。电子设备可以检测到用户将分解视频组件与播放视频组件进行连接的操作。用户将两个组件进行连接的操作可以有多种，例如，用户可以将输出连接点506拖向输入连接点602，或者，用户也可以将输入连接点602拖向输出连接点506，此处不作限定。响应于该用户操作，组件编排设计器102获取输出连接点506和输入连接点602所支持的数据实体类型。组件编排设计器102判断输出连接点506支持的数据实体类型和输入连接点602支持的数据实体类型是否匹配。输出连接点506支持的数据实体类型和输入连接点602支持的数据实体类型匹配是指，连接点506支持的数据实体类型和输入连接点602支持的数据实体类型相同，或者，输出连接点506支持的多个数据实体类型中至少一个数据实体类型与输入连接点602支持的数据实体类型相同。若匹配，组件编排设计器102的界面中可以显示连接成功的标识。若不匹配，组件编排设计器102的界面中可以提示用户不匹配(图中未示出)。这里，提示两个组件的连接点(例如输出连接点506和输入连接点602)不匹配的方式有多种，例如，用户界面中显示提示文字“无法连接”、“匹配失败”、“连接失败”、“数据实体类型不一致”等等，此处不作限定。在该种实现方式中，即使组件的输入连接点或输出连接点支持多种数据类型，编排器可根据两个连接点支持相同的数据实体类型将输入连接点和输出连接点连接。
[0102]
示例性地，在另一种可能的实现方式中，当连接点支持多种实体类型时，用户可以先将输出连接点506支持的数据实体类型和输入连接点602支持的数据实体类型设置为相同类型，然后再将输出连接点506和输入连接点602进行连接。此时，由于输出连接点506和输入连接点602所支持的数据实体类型相同，组件编排设计器102可以连接输出连接点506和输入连接点602。
[0103]
两个组件的连接完成的用户界面可以如图6a所示。图6a示出了本技术实施例提供的用户界面60a。用户界面60a中分解视频组件的输出连接点506和播放视频的输入连接点602成功连接。组件编排设计器102的界面中显示的连接成功的标识可以有多种，例如用户界面60a中示出的输出连接点506与输入连接点602之间的连接线603，此处对连接成功的标识不作限定。
[0104]
示例性地，在一种可能的方式中，两个组件的连接完成后的用户界面也可以如图6b所示。图6b示出的用户界面60b中分解视频组件的输出连接点506和播放视频的输入连接点602成功连接。输出连接点506和输入连接点602折叠或重叠在一起，即表明输出连接点506和输入连接点602成功连接。
[0105]
当用户选定所创建app需要的所有组件后，响应于用户的连接操作，组件编排设计器102可以将组件进行连接，具体连接过程可以参考上述分解视频组件与视频播放组件连接的描述，此处不再赘述。连接完成后的用户界面可以如图7a所示。图7a示出了本技术提供的用户界面700。用户界面700中展示了组成用户所创建app(即视频播放app)的所有组件。视频播放app的所有组件可以包括读取视频文件组件702、分解视频组件705、语音翻译组件
710、高清增强组件711、音频播放组件716、视频播放组件717。其中，读取视频文件组件可以包括输入连接点701和输出连接点703。分解视频组件705可以包括输入连接点704、输出连接点706、输出连接点707。语音翻译组件710可以包括输入连接点709和输出连接点712。高清增强组件711可以包括输入连接点708和输出连接点713。音频播放组件716可以包括输入连接点714。视频播放组件717可以包括输入连接点715。输出连接点703和可以输入连接点704连接。输出连接点707和可以输入连接点709、或输入连接点714连接。输出连接点706可以和输入连接点708、或输入连接点715连接。输出连接点712可以和输入连接点714连接。输出连接点713可以和输入连接点715连接。
[0106]
在一实施例中，用户可以给连接点之间的连接线设置属性。连接线的属性可以包括逻辑控制属性(条件判断/分支/循环)或数据传递属性(entity的输入输出)。图7a中，对分解视频组件705的输出连接点707，可以判断其语言属性，如果与本地语言一致，可以跳过语音翻译组件710，直接与声音播放组件的输入连接点714连接。即，用户可以对连接点707设置判断条件，该条件判断是连接点707支持的语言是否和电子设备的本地语言一致。若是，则视频分解组件的输出通过输出连接点707输入音频播放组件的输入连接点714。若否，则视频分解组件的输出通过输出连接点707输入语言翻译组件710的输入连接点709。
[0107]
示例性地，用户可以点击连接线左端点上的连接点来设置连接线属性。例如图7a中示出的连接点707到连接点714之间的连接线，以及连接点707到连接点709之间的连接线。用户可以点击连接点707来设置连接点707到连接点714，以及连接点707到连接点709之间的连接线的控制属性。设置连接线的控制属性的界面可以如图7b中用户界面70b所示。用户界面70b中可以包括条件设置框720、条件设置框722、条件设置框724、条件判断结果选择框725、控件721、控件723、控件726、控件727、控件728、控件729。用户界面70b中还可以包括条件设置框730、条件设置框732、条件设置框734、条件判断结果选择框735、控件731、控件733、控件736、控件737。
[0108]
其中，条件设置框720用于设置判断主体，例如语言(language)。控件721用于选择判断的条件。条件设置框722用于设置判断主体和比较主体的关系，例如判断主体可以包含比较主体。控件723用于选择判断主体和比较主体的关系。例如，该关系可以为包含或者不包含，此处不作限定。条件设置框724用于设置比较主体，例如本地语言。条件设置框720、条件设置框722和条件设置框724共同完成判断条件设置。例如用户界面70b中示出的判断条件1为“连接点707的语言包含本地语言”。条件判断结果选择框725用于设置条件判断结果。例如若满足条件“连接点707的语言包含本地语言”，则连接点707的数据实体通过连接点707和连接点714之间的连接线传输到连接点714。控件726用于选择条件判断结果。控件727用于增加条件。控件728用于完成条件设置。控件729用于取消条件设置。控件737用于返回上一级界面。同样地，条件设置框730用于设置判断主体，例如语言(language)。控件731用于选择判断的条件。条件设置框732用于设置判断主体和比较主体的关系。控件733用于选择判断主体和比较主体的关系。条件设置框734用于设置比较主体，例如本地语言。条件设置框730、条件设置框732和条件设置框734共同完成判断条件设置。例如用户界面70b中示出的判断条件2为“连接点707的语言不包含本地语言”。条件判断结果选择框735用于设置条件判断结果。例如若满足条件“连接点707的语言不包含本地语言”，则连接点707的数据实体通过连接点707和连接点709之间的连接线传输到连接点709。控件736用于选择条件判
断结果。
[0109]
图7a中的所有组件连接完成后，电子设备可以检测到用户将连接完成的组件编译成可执行代码的操作。该用户操作有很多种，例如图7a中用户点击用户界面700的编译控件718，此处不作限定。响应于该用户操作，代码生成引擎103将其编译成用户所创建app的可执行程序代码。
[0110]
具体地，代码生成引擎103可以获取组件编排设计器102中完成编排的多个组件的id和名称，以及连接点，连接点之间的连接属性。例如图6a中示出的分解组件的输出连接点506和播放视频组件的输入连接点602，两个连接点之间传输的数据实体类型可以为文件类型为mpeg4，格式为1920*1080的视频数据。这两个连接点之间直接传递数据，没有判断或者循环逻辑。然后，代码生成引擎103根据获取的组件信息以及连接点之间的连接属性和对应组件调用模板生成可执行代码。组件调用模板是按照不同类型的组件，以及连接点的属性预设好的代码模板，封装了通用的接口调用代码逻辑。可以理解的是，视频类的组件和音频类的组件调用模板可以不同。两个连接点之间是直接传输数据，还是需要判断条件，满足判断条件才可以传输数据等不同的数据传输方式对应的组件调用模板也可以不同。具体可参考上文中对组件调用模板的介绍，此处对组件调用模板中的具体代码不作限定。
[0111]
在一些例子中，电子设备接收用于显示第一组件的组件调用树的用户操作，响应于该用户操作，组件编排设计器102启动智能编排功能；基于该智能编排功能，组件编排设计器102的界面中可以显示出第一组件的组件调用树；组件调用树用于展示第一组件所有匹配的第二组件和/或第三组件、以及与第二组件匹配的第四组件和/或第五组件、一直到与第m组件匹配的第n组件，且第n组件为无输出连接点的组件，其中，m和n为正整数。具体地，组件编排设计器102根据第一组件的输出连接点支持的数据实体类型，查找到相匹配的第二组件和/或第三组件。即第二组件以及第三组件的输入连接点支持的数据实体类型与第一组件输出连接点支持的数据实体类型匹配。然后，组件编排设计器102再依次根据第二组件输出连接点支持的数据实体类型，查找与第二组件相匹配的第四组件和/或第五组件。第四组件以及第五组件的输入连接点支持的数据实体类型与第二组件输出连接点支持的数据实体类型相匹配。组件编排设计器102会查找出组件调用树中每一个组件相匹配的组件，直到组件调用树的最后一层组件为无输出连接点。
[0112]
用于显示第一组件的组件调用树的操作可以有多种，例如，用户可以点击用户界面中用于显示组件调用树的控件，或者，用户可以在页面中设置显示组件调用树的条件，例如组件调用树中的组件可以实现一种或多种功能(例如视频解码功能、播放视频功能等等)，此处不作限定。
[0113]
响应于该用户操作，电子设备显示如图8a中示出的用户界面80a，用户界面80a中组件1的组件调用树。组件1可以和组件2和组件3连接。即组件1和组件2相匹配，组件1和组件3相匹配。组件2可以和组件4和组件5相连接。即组件2和组件4相匹配，组件2和组件5相匹配。组件3可以和组件m相连接，即组件3和组件m相匹配。组件4、组件5、组件m可以和组件n连接。即组件4和组件n相匹配，组件5和组件n相匹配，组件m和组件n相匹配。用户可以选择组件调用树中的部分组件，例如选择组件2和组件4、组件n。然后将其他不需要的组件移除或删除。例如，用户右键双击组件来删除组件，移除或删除的方式不作限定。
[0114]
表2
[0115][0116]
表2示例性地示出了组件1、组件2、组件3、组件m的连接点支持的数据实体类型。表2中“mpeg4、1920*1080、chinese”表示该连接点支持的数据实体为格式是mpeg4的视频数据，该视频数据分辨率为1920*1080、视频数据中支持的语言为中文。“mp3、112800、chinese”表示连接点支持的数据实体为格式是mp3的音频数据，该音频数据的采用率为112800hz，支持的语言为中文。从表2可以看出，组件2的输入连接点支持的数据实体类型中包含组件1的输出连接点支持的数据实体类型。因此，组件1的输出连接点可以和组件2的输入连接点连接，组件1和组件2是相匹配的。组件3的输入连接点支持的数据实体类型中包含组件1的输出连接点支持的数据实体类型。因此，组件1的输出连接点可以和组件3的输入连接点相连接，组件1和组件3是相匹配的。组件4的输入连接点支持的数据实体类型包括组件2的输出连接点2支持的数据实体类型。因此，组件4的输入连接点可以和组件2的输出连接点2相连接，组件2和组件4是相匹配的。组件5的输入连接点支持的数据实体类型包含组件2的输出连接点2支持的数据实体类型。因此，组件5的输入连接点可以和组件3的输出连接点2相连接，组件5和组件2是相匹配的。组件m的输入连接点支持的数据实体类型包含组件2的输出连接点支持的数据实体类型。因此组件m的输出连接点可以和组件3的输入连接点连接，组件3和组件m是相匹配的。组件n的输入连接点支持的数据实体类型包含了组件4的输出连接点、组件5的输出连接点以及组件m的输出连接点支持的数据实体类型。因此，组件n的输入连接点可以和组件4的输出连接点、组件5的输出连接点以及组件m的输出连接点连接。组件n和组件4、组件5、以及组件m均相匹配。
[0117]
可以理解的是，表2示出的各个组件的连接点支持的数据实体类型仅为示例。图8a中示出的各个组件的连接点可以支持表1中示出的数据实体类型中的任何一种。本技术实施例对图8a中各个组件的连接点可以支持的数据实体类型不作限定。
[0118]
示例性地，如图8b所示，用户界面80b可以显示有分解视频组件，分解视频组件可以包括一个主体(分解视频503)和输入连接点504，输出连接点505，输出连接点506。用户不知道组件工具箱101中有哪些组件可以分解视频组件的输出连接点506连接。用户可以点击用户界面80b中智能编排控件508。
[0119]
响应于该用户操作，电子设备显示如图8c示出的用户界面80c。用户界面80c中显示出分解视频组件的组件调用树。如图8c所示，分解视频组件的组件调用树中可以包括一个视频播放组件，该播放视频组件包括一个主体(播放视频717)和输入连接点715。当用户点击智能编排控件508时，组件编排设计器102可以根据输出连接点506的数据实体类型去组件工具箱101中寻找与输出连接点匹配的组件(例如视频播放组件)，并显示在组件编排设计器102的界面(例如用户界面80c)中。
[0120]
在一种可能的实现方式中，响应于该用户操作，电子设备也可以显示如图8d示出的用户界面80d。用户界面80d中显示出分解视频组件的组件调用树。如图8d所示，分解视频组件的组件调用树中可以包括一个高清增强组件和一个视频播放组件。该高清增强组件包括一个组件主体(高清增强711)、输入连接点708和输出连接点713。该播放视频组件包括一个组件主体(播放视频717)和输入连接点715。输出连接点506可以和输入连接点708连接。输出连接点713可以和输入连接点715连接。
[0121]
在一种可能的实现方式中，用户可以选择分解视频组件的输入连接点504进行智能编排。例如右键点击输入连接点504后选择智能编排控件，响应于用户操作，组件编排设计器102中可以显示可以和输入连接点504连接的组件。例如，图7a中示出的读取视频组件702。
[0122]
这样，当用户不知道组件具体可以和哪一个组件相连接时，可以快速找到可以和该组件连接的其他组件，节约了用户的时间。
[0123]
下面结合附图对本技术实施例提供的一种app开发方法进行介绍。图9为本技术实施例提供的一种app开发方法的流程示意图。请参见图9，本技术实施例提供的一种app开发方法具体包括：
[0124]
s101、电子设备响应于用户创建第一app的操作，创建第一app。
[0125]
电子设备可以检测到用户创建第一app的操作。用户创建第一app的操作可以有很多种。例如，用户打开电子设备中提供创建app的用户界面，然后在该用户界面中创建app。此处关于创建app的用户界面可参见图4中示出的用户界面400。用户如何在用户界面中创建app可参见上文对图4的描述。此处不再赘述。
[0126]
s102、响应于用户从电子设备的组件工具箱中选择组件的操作，电子设备在组件编排设计器中显示组件，组件为实现特定功能的独立模块；组件由一个组件主体和一个或多个连接点构成，连接点支持一种或多种数据实体类型。
[0127]
用户从组件工具箱中选择组件的操作可以有多种，例如，用户拖动组件工具箱中的组件，或者用户鼠标双击组件工具箱中的组件。此处对该用户操作不作限定。
[0128]
组件的连接点支持一种或多种数据实体类型。数据实体类型可以参考上文对表1的介绍，此处不再赘述。这里，开发人员在开发组件时，可以用程序代码对组件的连接点进行定义。例如，定义组件中连接点支持的数据实体类型，以及连接点中包含的函数。这里，开发人员可以定义所有组件的连接点支持相同的多种的函数。例如用于创建数据实体的create函数、用于连接其他连接点的connect函数、用于接收的accept函数、以及用于将接收的数据存储本地的pull函数、用于发送数据的push函数等等。
[0129]
在一种可能的实现方式中，响应于用户从电子设备的组件工具箱中选择组件的操作，电子设备显示多个组件的图形具体包括：响应于用户从电子设备的组件工具箱中选择
组件的操作，电子设备获取组成第一app的多个组件的第一文件，解析第一文件后绘制出组件的图形；显示多个组件的图形，第一文件为描述组件功能以及属性的程序代码。用户从电子设备的组件工具箱中选择组件的操作用于选定多个组件，组件的图形用于展示组件的主体和连接点，组件包含一个主体、一个或多个连接点，例如图5a中示出的分解视频组件的图形。用户从电子设备的组件工具箱中选择组件的操作可以是将组件工具箱101中的组件拖到组件编排设计器102中。用户从电子设备的组件工具箱中选择组件的操作还可以是单击或双击选定的组件等等，本技术实施例对第二用户操作不作限定。
[0130]
在本技术实施例的一个可行的例子中，电子设备可接收用户从工具箱拖拽组件的用户操作。响应于该用户操作，电子设备获取该组件的文件，并解析组件的文件。然后电子设备绘制出组件的图形。具体地，电子设备可通过电子设备中的组件编排设计器102获取组件的文件，解析组件的文件以及绘制出组件的图形。这里可参考上文对图5a的描述，此处不再赘述。
[0131]
这里，用户会根据自己所开发app的需求来选择组件。例如，一个可以支持多国语言的视频播放app，这个app可以由读取视频文件的组件、分解视频组件、语音翻译组件、高清增强组件、音频播放组件、视频播放组件等组件组成，例如图7a示出的组成视频app的组件。用户从组件工具箱101中选定组件后，电子设备就获取组件的第一文件。电子设备可以从第一文件中解析出组件包含连接点的数量，以及连接点属性、连接点能传递数据实体的属性等等。电子设备根据第一文件解析出的组件包含的连接点数量将组件绘制成可视化的组件图形。用户可以在用户界面中看到组件图形。如图5a示出的分解视频组件的组件图形。
[0132]
在一种可能的实现方式中，电子设备接收用于显示第一组件的组件调用树的用户操作，响应于该用户操作，电子设备显示出第一组件的组件调用树；组件调用树用于展示第一组件所有匹配的第二组件和/或第三组件、以及与第二组件匹配的第四组件和/或第五组件、一直到与第m组件匹配的第n组件，且第n组件为无输出连接点的组件。具体地，电子设备根据第一组件的输出连接点支持的数据实体类型，查找到相匹配的第二组件和/或第三组件。即第二组件、第三组件的输入连接点支持的数据实体类型与第一组件输出连接点支持的数据实体类型匹配。然后，电子设备再依次根据第二组件输出连接点支持的数据实体类型，查找与第二组件相匹配的第四组件和/或第五组件。第四组件和第五组件的输入连接点支持的数据实体类型与第二组件输出连接点支持的数据实体类型相匹配。电子设备会查找出组件调用树中每一个组件相匹配的组件，直到组件调用树的最后一层组件为无输出连接点。具体可以参考图8a中对组件1的调用树的描述，此处不再赘述。
[0133]
显示组件调用树的用户操作可以有很多种，示例性地，如图8c中所示，用户可以点击智能编排控件508。本技术实施例对显示组件调用树的用户操作不作限定。当用户不知道组件工具箱101中的哪一个组件与组件1相匹配时，用户可以选中组件1的输出连接点，然后点击右键，选择智能编排。电子设备响应于用户点击智能编排的操作，显示出组件1的组件调用树。这样，用户可以在组件调用树中快速选择开发app所需要的组件。因而，可以节约用户的时间，提升用户体验。
[0134]
在一种可能的实现方式中，电子设备在组件编排设计器中显示出第一组件的组件调用树，具体包括：电子设备根据第一组件的功能和/或第一组件连接点支持的数据实体类型，在组件编排设计器中显示出第一组件的组件调用树。
[0135]
在一种可能的实现方式中，响应于用户删除组件的操作，电子设备删除所述组件调用树种的组件。
[0136]
在一种可能的实现方式中，响应于用户上传组件或从组件市场下载组件的操作，电子设备在组件工具箱中显示用户上传或从组件市场下载的组件的名称。
[0137]
在一种可能的实现方式中，响应于用户查看第一组件的第一连接点属性的操作，电子设备在组件编排设计器中显示第一连接点支持的数据实体类型。
[0138]
s103、响应于用户连接多个组件的操作，电子设备在组件编排设计器中连接两个或多个组件。
[0139]
电子设备可以接收用户连接多个组件的操作，用户连接多个组件的操作，可以有很多种。示例性地，用户连接多个组件的操作可以是用户将第二组件的输出连接点拖向第一组件的输入连接点。用户连接多个组件的操作还可以是用户将第二组件向第一组件的方向滑动。或者，用户连接多个组件的操作还可以是用户输入第一组件的输出连接点和第二组件的输入连接点。本技术实施例对第三用户操作不做限定。这里可以参考上文对图6a的描述，此处不再赘述。
[0140]
在一种可能的实现方式中，电子设备在组件编排设计器中连接两个或多个组件，具体包括：响应于用户连接第一组件和第二组件的操作，电子设备通过组件编排设计器验证第一组件和第二组件是否匹配；若第一组件和第二组件匹配，则电子设备连接第一连接点和第二连接点，第一连接点为第一组件的连接点，第二连接点为第二组件的连接点。
[0141]
在一种可能的实现方式中，响应于用户连接多个组件的操作，电子设备会执行将第一组件和第二组建建立连接的过程。首先，电子设备会获取第一组件的输出连接点支持的数据实体类型，以及第二组件的输入连接点支持的数据实体类型。电子设备确定第一组件的输出连接点输出的数据实体的类型和第二组件的输入连接点的数据实体的类型相匹配时，电子设备会将第一组件和第二组件建立连接。即第一组件的输出连接点支持的数据实体和第二组件的输入连接点支持的数据实体的类型相同，或第一组件的输出连接点支持的数据实体包括第二组件的输入连接点支持的数据实体的类型，或第二组件的输入连接点的支持数据实体的类型包括第一组件的输出连接点支持的数据实体类型时，第一组件才可以和第二组件建立连接。这里可以参考上文对图6a的描述，此处不再赘述。
[0142]
举例来说，如表3所示，第一组件输出连接点支持数据实体类型为mpeg格式、尺寸为640*480的视频数据。第二组件输入连接点支持数据实体类型为mpeg格式、尺寸为640*480、1080p、2k的视频数据。
[0143]
表3
[0144][0145][0146]
这样，第一组件的输出连接点支持的数据类型和第二组件的输入连接点支持的数据类型相匹配。电子设备将第一组件和第二组件建立连接。这里数据实体的类型可以参考表1。
[0147]
在一种可能的实现方式中，电子设备确定两个组件可以建立连接后会展示连接成功标识。连接成功标识可以是两个组件之间的连接线(connection)。例如，如图6a示出的用户界面60a。用户界面60a中示出的分解视频组件和播放视频组件建立连接后，电子设备绘制出连接线，该连接线用于连接分解视频组件输出连接点(video output connectpoint)和播放视频输入连接点(input connectpoint2)。开发人员按照app的逻辑流程，一个一个的从组件工具箱101中选定组件并拖动到组件设计编排器102中。电子设备响应于用户操作依次将组成app的所有组件建立连接。
[0148]
在一种可能的实现方式中，连接成功标识可以是两个组件相连的两个连接点折叠或重叠。这里可参考上文对图6b的描述，此处不再赘述。
[0149]
在一种可能的实现方式中，若第一组件的输出连接点输出的数据实体的类型和第二组件的输入连接点的数据实体的类型不匹配，电子设备显示提示框，提示框用于提示用户第一组件个第二组件连接失败。提示框的提示内容可以有很多种。示例性，提示框的内容可以是“连接失败”。提示框的内容还可以是“数据实体的类型不匹配”。提示框的内容还可以是“第一组件和第二组件不能连接”等等，此处对提示框的具体内容不作限定。
[0150]
s104、响应于用户选择编译的两个或多个组件的操作，电子设备将完成连接的多个组件编译成第一app的程序代码。
[0151]
当组成第一app的组件都已经完成连接后，用户可以点击用于将连接完成的组件生产程序代码的控件。电子设备可以检测到用户点击该控件的操作。响应于该操作，电子设备将完成连接的多个组件编译成第一app的程序代码。可以理解的是，第一app的程序代码用于描述第一app的逻辑功能以及用户界面。当用户的电子设备中安装有第一app的程序代码时，电子设备可以运行第一app。
[0152]
具体地，电子设备可以通过代码生成引擎103将组建编排设计器102中连接的组件生成第一app的程序代码。
[0153]
在一种可能的实现方式中，电子设备在组件编排设计器中保存完成连接的两个或多个组件的编排模型图，以及编排模型图中的第一信息；第一信息包括中两个或多个组件的id、名称、两个或多个组件的连接点支持的数据实体类型中的一项或多项。
[0154]
在一种可能的实现方式中，电子设备在代码生成引擎中，根据编排模型图、第一信息和组件调用模板生成第一app可执行的源代码，组件调用模板中包括预设格式的程序代码。具体可参考上文中对组件调用模板的描述，此处不再赘述。
[0155]
本技术实施例提供的一种app开发方法，通过该方法，用户可以将工具箱中的多个组件连接组成app。在多个组件连接的过程中，电子设备需要确定相连的两个组件的连接点支持的数据实体类型是否匹配。若匹配，电子设备可以显示连接成功标识。最后，电子设备将完成的多个组件生成app的程序代码。这样，用户可以通过已有组件快速开发app，缩短用户开发app的时间。
[0156]
下面介绍根据本技术实施例提供的一种app开发方法开发的app的应用场景。图10示出了本技术开发出的app的应用场景。如图10所示，以一款由通信组件、存储组件、播放组件、摄像组件、手势输入组件、音频播放组件、媒体下载加速组件组成的app为例进行阐述。用户a具有手机、tv、pc、路由、音箱、手表、车机等电子设备。用户的所有电子设备均连接了同一个无线网络(例如，家庭中的wi-fi网络)。用户的手机中安装了包含通信组件、存储组
件、播放组件、摄像组件、手势输入组件、音频播放组件、媒体下载加速组件的app。pc中安装了存储组件。路由器中安装了媒体下载加速组件。音箱中安装有音频播放组件。手表中安装了手势输入组件。车机安装了摄像组件。tv安装了播放组件。那么，当用户在手机中运行该app时，可以由手机来执行通信组件的功能，选择tv执行播放组件的功能来播放该app中的视频，选择pc来运行存储组件的功能来存储该app中的数据，选择路由器来执行媒体下载加速组件来加速下载该app中的媒体文件，选择音箱执行音频播放的功能来播放该app中的音频，选择手表执行手势输入组件来输入手势控制该app，选择车机执行摄像组件的功能来拍摄该app需要的图像或视频。这样，组成app的组件可以分别运行在不同的电子设备上，用户可以使用不同电子设备来执行该app的多个功能。这样，各个电子设备可以发挥自身的长处(例如，tv的显示屏比手机的显示屏大，手机通信更便捷等等)，使得用户使用该app时体验更佳。
[0157]
本技术实施例中工具箱以及开发者根据本技术实施例提供的方法开发的复合组件、app可以形成分布式的组件开发生态。图11示出了本技术实施例提供组件开发生态示意图。如图11所示，组件开发者可以从组件市场中查询和调用组件。组件开发者还可以从已有的应用程序中归纳和提炼出组件。组件开发者可以将开发的组件或者从应用程序中归纳提炼出的组件上传到组件市场。这样就形成了一个组件开发生态。组件开发者可以极其便利地利用组件市场中的组件来开发app。上文中的组件工具箱101可以从组件市场中下载组件。这样可以更新扩充组件工具箱101中的组件。
[0158]
在一种可能的实现方式中，电子设备根据用户输入的领域描述语言(domain specific language，dsl)调用各个组件以及将组件进行连接。图12示出了组件dsl语言与组件的对应关系示意图。如图12所示，图中的dsl语言(comp1；connpoint1)的含义是有一个组件1，组件1包括连接点1。这就对应着组件图形中的组件1和连接点1。dsl语言(comp2；connpoint2)的意思是有一个组件2，这个组件2包括连接点2。这就对应着组件图形中的组件2和连接点2。dsl语言(link entity1，entity2)表明连接点1支持数据实体1，连接点支持数据实体2。若连接点1和连接点2相连，那么连接点1需要查看数据实体1和数据实体2是否相同。同样地，连接点2也需要查看数据实体1和数据实体2是否相同。这样，当用户对组件的dsl语言非常熟悉时，用户可以不按照图9示出的app开发方法流程来开发app。用户可以在电子设备中编写dsl来开发app。这样，用户可以更高效地开发app。
[0159]
举例来说，用户可以直接利用dsl语言将图6a示出的分解视频组件和播放视频组件进行连接。即不用执行图4-图5g中的操作。分解视频组件和播放视频组件进行连接的dsl语言可以如下：
[0160]
compomentdef
[0161]
videosplit://分解视频组件
[0162]
connpoint1.entity1(vedio,mpeg4,1920*1080)//分解视频组件的连接点1和该连接点支持的数据实体1
[0163]
videoplayer://视频播放组件
[0164]
connpoint2.entity2(vedio,mpeg4,1920*1080)://视频播放组件的连接点2和该连接点支持的数据实体2
[0165]
link entity1,entity2//建立连接点1和连接点2之间的连接
processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
[0182]
其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
[0183]
处理器101中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器101中的存储器为高速缓冲存储器。该存储器可以保存处理器101刚用过或循环使用的指令或数据。如果处理器101需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器101的等待时间，因而提高了系统的效率。
[0184]
在一些实施例中，处理器101可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，i2c)接口，集成电路内置音频(inter-integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口，用户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus，usb)接口等。
[0185]
i2c接口是一种双向同步串行总线，包括一根串行数据线(serial data line，sda)和一根串行时钟线(derail clock line，scl)。在一些实施例中，处理器101可以包含多组i2c总线。处理器101可以通过不同的i2c总线接口分别耦合触摸传感器，充电器，闪光灯，摄像头193等。例如：处理器101可以通过i2c接口耦合触摸传感器，使处理器101与触摸传感器通过i2c总线接口通信，实现电子设备100的触摸功能。
[0186]
i2s接口可以用于音频通信。在一些实施例中，处理器101可以包含多组i2s总线。处理器101可以通过i2s总线与音频模块170耦合，实现处理器101与音频模块170之间的通信。在一些实施例中，音频模块170可以通过i2s接口向无线通信模块传递音频信号，实现通过蓝牙耳机接听电话的功能。
[0187]
pcm接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块可以通过pcm总线接口耦合。在一些实施例中，音频模块170也可以通过pcm接口向无线通信模块传递音频信号，实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。
[0188]
uart接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，uart接口通常被用于连接处理器101与无线通信模块。例如：处理器101通过uart接口与无线通信模块中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过uart接口向无线通信模块传递音频信号，实现通过蓝牙耳机播放音乐的功能。
[0189]
mipi接口可以被用于连接处理器101与显示屏104，摄像头193等外围器件。mipi接口包括摄像头串行接口(camera serial interface，csi)，显示屏串行接口(display serial interface，dsi)等。在一些实施例中，处理器101和摄像头193通过csi接口通信，实现电子设备100的拍摄功能。处理器101和显示屏104通过dsi接口通信，实现电子设备100的
显示功能。
[0190]
gpio接口可以通过软件配置。gpio接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，gpio接口可以用于连接处理器101与摄像头193，显示屏104，无线通信模块，音频模块170，传感器模块180等。gpio接口还可以被配置为i2c接口，i2s接口，uart接口，mipi接口等。
[0191]
usb接口130是符合usb标准规范的接口，具体可以是mini usb接口，micro usb接口，usb type c接口等。usb接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如ar设备等。
[0192]
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本技术另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
[0193]
存储器102可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器101通过运行存储在存储器102的指令，从而执行电子设备100的各种功能应用以及数据处理。存储器102可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，存储器102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。
[0194]
收发器103可以用于与网络设备、其他电子设备进行通信。电子设备100可以通过收发器103上传或者下载组件。在一些实施例中，收发器103可以包括移动通信模块(图中未示出)和无线通信模块(图中未示出)，其中：
[0195]
移动通信模块可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，lna)等。移动通信模块可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块的至少部分功能模块可以被设置于处理器101中。在一些实施例中，移动通信模块的至少部分功能模块可以与处理器101的至少部分模块被设置在同一个器件中。
[0196]
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器，受话器等)输出声音信号，或通过显示屏104显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器101，与移动通信模块或其他功能模块设置在同一个器件中。
[0197]
无线通信模块可以提供应用在电子设备100上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频
(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器101。无线通信模块还可以从处理器101接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
[0198]
电子设备100通过gpu，显示屏104，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏104和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器101可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
[0199]
显示屏104可以用于显示组件的图形、以及工具箱中、组件编排设计器等。显示屏104包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，电子设备100可以包括1个或n个显示屏104，n为大于1的正整数。
[0200]
传感器105可以用于检测用户操作，例如，用户拖动组件的操作，用户滑动组件的操作等等。传感器105可以包括压力传感器和触摸传感器，其中：
[0201]
压力传感器用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器可以设置于显示屏104。压力传感器的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏104，电子设备100根据压力传感器检测所述触摸操作强度。电子设备100也可以根据压力传感器的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
[0202]
触摸传感器，也称“触控面板”。触摸传感器可以设置于显示屏104，由触摸传感器与显示屏104组成触摸屏，也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏104提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器也可以设置于电子设备100的表面，与显示屏104所处的位置不同。
[0203]
图14为本技术实施例提供的一种电子设备200的示意性框图。如图14所示，该电子设备200可以包括检测单元201、处理单元202，显示单元203。其中，
[0204]
检测单元201，用于检测电子设备200接收到的用户操作，例如用户从组件工具箱中拖动组件，用户将第二组件的输入连接点拖向第一组件的输出连接点等等。
[0205]
处理单元202，用于响应于检测单元201检测到的用户操作，获取组件的连接点支持的数据实体类型、确定第一组件的输出连接点与第二组件的输入连接点匹配。
[0206]
显示单元203，用于显示组件的图形，以及组件的连接点支持的数据实体类型、两
个组件连接成功的标识。
[0207]
本技术实施例的用户设备200中各单元和上述其它操作或功能分别为了app开发方法中由电子设备执行的相应流程，此处不再赘述。
[0208]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0209]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0210]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0211]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0212]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0213]
以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。