动态影集生成方法、服务器、显示终端及可读存储介质与流程

[0001]
本发明涉及智能电视领域，尤其涉及一种动态影集生成方法、服务器、显示终端及计算机可读存储介质。


背景技术：

[0002]
随着数码相机和智能手机的快速普及,个人相册的数量呈现爆发式增长,然而现有的相册功能仅限于在用户查看时显示对应的图片，以及对图片进行基础操作，能够提供的功能较少，用户粘性较低。


技术实现要素：

[0003]
本发明的主要目的在于提出一种动态影集生成方法、服务器、显示终端及计算机可读存储介质，旨在解决现有技术中的电子相册提供功能较少，用户粘性较低问题。
[0004]
为实现上述目的，本发明提供一种动态影集生成方法，应用于服务器，方法包括：
[0005]
接收移动终端发送的目标识别信息和图片数据；
[0006]
对图片数据中的各个图片进行识别，并根据识别结果和各个图片生成影集数据；
[0007]
根据预存的识别信息和显示终端的映射关系确定目标识别信息对应的目标显示终端，将影集数据发送至目标显示终端，以使目标显示终端根据影集数据生成动态影集。
[0008]
为实现上述目的，本发明还提供一种动态影集生成方法，应用于显示终端，方法包括：
[0009]
接收服务器发送的影集数据，并根据影集数据生成动态影集，影集数据是服务器接收移动终端发送的图片数据，并对图片数据中的各个图片进行识别，并根据识别结果和各个图片生成的；
[0010]
接收显示指令，并根据显示指令显示动态影集。
[0011]
为实现上述目的，本发明还提供一种服务器，服务器包括存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述的动态影集生成方法的步骤。
[0012]
为实现上述目的，本发明还提供一种显示终端，显示终端包括存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上的动态影集生成方法的步骤。
[0013]
为实现上述目的，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上的动态影集生成方法的步骤。
[0014]
本发明提出的一种动态影集生成方法、服务器、显示终端及计算机可读存储介质，接收移动终端发送的目标识别信息和图片数据；对图片数据中的各个图片进行识别，并根据识别结果和各个图片生成影集数据；根据预存的识别信息和显示终端的映射关系，确定目标识别信息对应的目标显示终端，将影集数据发送至目标显示终端，以使目标显示终端根据影集数据生成动态影集。通过根据服务器接收移动终端发送的图片数据生成影集数
据，并通过显示终端根据影集数据生成动态影集，满足用户多样化的视觉观感，丰富相册的功能，增强用户的粘性。
附图说明
[0015]
图1为本发明动态影集生成方法第一实施例的流程示意图；
[0016]
图2为本发明动态影集生成方法第一实施例的交互示意图；
[0017]
图3为本发明动态影集生成方法第二实施例步骤s20的细化流程图；
[0018]
图4为本发明动态影集生成方法第三实施例步骤s21的细化流程图；
[0019]
图5为本发明服务器与显示终端的模块结构示意图。
具体实施方式
[0020]
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0021]
本发明提供一种动态影集生成方法，本方法应用于服务器，参照图1和图2，图1为本发明动态影集生成方法第一实施例的流程示意图，图2为本发明动态影集生成方法第一实施例的交互示意图，方法包括步骤：
[0022]
步骤s10，接收移动终端发送的目标识别信息和图片数据；
[0023]
在本实施例中，移动终端通过智能相册应用向服务器发送图片数据，服务器上对应每个显示终端设置有终端账户，对于已与终端账户进行绑定的移动终端，每隔预设时间会上传移动终端相册中的新增的图片至服务器，服务器在接收到移动终端上传的图片时会将接收到的图片保存至对应的终端账户中，预设时间可以由用户根据自身喜好进行设置。还可以对上传图片的网络环境进行限制，如当距离上次上传图片时间达到预设时间时，判断此时移动终端是否连接至wifi，若移动终端连接至wifi，则执行向服务器发送图片数据的操作；若移动终端未连接至wifi，则不执行向服务器发送图片数据的操作，直到移动终端连接至wifi，才开始向服务器发送图片数据。上述对上传图片的网络环境进行限制的功能用户同样可以根据自身需要进行启动或关闭。
[0024]
进一步地，在接收移动终端发送的目标识别信息和图片数据之前，还需要进行显示终端与移动终端的绑定操作，具体步骤可以是：显示终端接收绑定指令，并在接收到绑定指令时显示根据设备标识号生成的编码图形；移动终端扫描编码图形以获取包括设备标识的绑定信息，并根据绑定信息与显示终端建立绑定关系。
[0025]
绑定指令是用户通过与显示终端绑定的控制器发送的，如遥控器、与显示终端连接的手机或其它智能终端，还可以是通过显示终端的机身按钮或通过触控可触屏显示终端屏幕上显示的虚拟按键发送的。当显示终端接收到绑定指令，根据显示终端的设备标识号生成编码图形，设备标识号为能够表明显示终端身份的唯一编码，如设备id。本实施例中，编码图形为二维码。二维码包含设备id、绑定链接等信息。
[0026]
移动终端通过扫描显示终端显示的二维码，根据二维码携带的绑定链接与服务器进行通信，并根据设备id向服务器发起绑定请求，以与对应的智能终端建立绑定关系。
[0027]
服务器在接收到移动终端发送的绑定请求时，判断设备id对应的显示终端是否已与其它移动终端建立绑定关系，若设备id对应的显示终端已与其它移动终端建立绑定关系，则发送绑定失败信息至移动终端。用户可以通过显示终端或与显示终端建立绑定关系
的移动终端执行解绑操作。进一步地，可以设置绑定人员数量，允许多个移动终端绑定同一个显示终端，在该显示终端对应的终端账户上设置子账户，每个子账户对应一个移动终端，各移动终端上传的图片分别划分至对应的子账户影集模板的素材库中，并以子账户为单位独立发送影集数据至显示终端。进一步地，还可以设置公共账户，在各移动终端上建立公共相册，服务器在接收到公共相册中上传的图片时，将图片划分至公共账户对应的影集模板的素材库中，同时以公共账户发送影集数据至显示终端。
[0028]
步骤s20，对图片数据中的各个图片进行识别，并根据识别结果和各个图片生成影集数据；
[0029]
动态影集可以表达多种主题，因此，需要将不同类型的图片对应设置于不同主题的动态影集，以使动态影集展现的主题与动态影集要求的主题保持观感上的一致性。服务器通过对图片数据中的各个图片进行识别，并根据识别结果将图片数据中的各个图片划分至对应的影集模板的素材库中，再对应不同影集模板的素材库分别生成影集数据。再将影集数据发送至显示终端。
[0030]
步骤s30，根据预存的识别信息和显示终端的映射关系确定目标识别信息对应的目标显示终端，将影集数据发送至目标显示终端，以使目标显示终端根据影集数据生成动态影集。
[0031]
由于移动终端会定时或不定时地上传新增的图片，因此，服务器需要对影集模板的素材库进行更新，并生成新的影集数据，在新增图片的数量较少的情况下，更新影集数据以更新动态影集的意义不大，因此可以设置预设更新阈值，对于单个影集模板的素材库而言，只有新增图片数量达到预设更新阈值时，才更新影集数据，并将更新的影集数据发送至目标显示终端，需要说明的是，更新时的影集数据可以只包含新增图片对应的影集数据，以节省网络资源。进一步地，当持续更新动态影集达到较长时间时，由于时间跨度较大，同一动态影集下的图片的风格差异可能较大，因此可以设置预设新建时间，记录第一次发送一影集模板对应的影集数据至目标显示终端的首次发送时间，当该影集模板的首次发送时间达到预设新建时间时，新建一个与该影集模板主题相同的影集模板，并将之后新增的图片划分之新建的影集模板的素材库中，之后，停止发送原影集模板对应的影集数据至目标显示终端，更改为新建的影集模板对应的影集数据至目标显示终端。
[0032]
目标显示终端存储有与服务器对应的影集模板，将接收到的影集数据根据影集模板生成对应的动态影集。可以通过多种方式生成动态影集，例如ffmpeg(fast forward mpeg)或opengl(open graphics library，开放图形库)。ffmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。opengl是用于渲染2d、3d矢量图形的跨语言、跨平台的应用程序编程接口。
[0033]
本实施例通过根据服务器接收移动终端发送的图片数据生成影集数据，并通过目标显示终端根据影集数据生成动态影集，满足用户多样化的视觉观感，丰富相册的功能，增强用户的粘性。
[0034]
进一步地，参见图3，在基于本发明的第一实施例所提出的本发明动态影集生成方法第二实施例中，步骤s20包括步骤：
[0035]
步骤s21，对图片数据中的各个图片进行识别，生成与各个图片对应的图片标签数据；
[0036]
步骤s22，根据各个图片和各个图片标签数据生成影集数据。
[0037]
图片标签数据用以表征图片所显示的内容，图片标签数据存在多种不同类型的标签，如时间、地点、人物、美食、动物、年龄、旅游、购物、动物与植物等，在一个标签下还可以对应设置子标签，例如在人物标签下，还可以设置男、女、老、少等子标签。图片数据中的一张图片可以对应多个不同的图片标签数据，如在一张图片中同时存在人物、美食、足球等元素，该图片经过识别之后，可以得到人物、美食、足球对应的图片标签数据。影集模板中对应设置图片标签数据，将与影集模板的图片标签数据对应的图片划分至该影集模板的素材库中，并根据影集模板的素材库中的图片生成影集数据。
[0038]
对图片进行识别的方式采用自上而下top-down和自下而上bottom-up结合的注意力模型，其中基于自下而上的注意力模型用于提取图像中的兴趣区域，获取对象特征；本实施例中采用目标检测算法faster r-cnn，而基于自上而下的注意力模型用于学习特征所对应的权重，本实施例中采用lstm(long short-term memory，长短期记忆网络)，以此实现对视觉图像的深入理解。
[0039]
本实施例通过对图片识别生成对应的图片标签数据，并根据图片标签数据生成影集数据，以得到与动态影集主题对应的影集数据。
[0040]
进一步地，参见图4，在基于本发明的第二实施例所提出的本发明动态影集生成方法第三实施例中，步骤s21包括步骤：
[0041]
步骤s211，将图片数据中的各个图片分别导入至区域生成网络，并运行区域生成网络，以使区域生成网络输出与各个图片对应的候选框；
[0042]
步骤s212，采用预存的目标检测算法对与各个候选框对应的图片进行内容特征检测；
[0043]
步骤s213，将检测到的内容特征输入至已训练的长短期记忆网络中进行处理，输出与各个图片对应的图片标签数据。
[0044]
进一步地，步骤s22包括步骤：
[0045]
步骤s221，根据各个图片和各个图片标签数据在预设影集模板标识列表中匹配对应的目标影集模板；
[0046]
步骤s222，生成包含目标影集模板的模板标识以及图片数据的影集数据。
[0047]
rpn(region proposal network，区域生成网络)是用来提取候选框的网络，即对图片的各目标进行划分，以根据各目标形成对应的候选框。如在一张图片中存在人物、美食、足球等目标，通过将该图片输入至rpn，rpn会在在图片上生成与人物、美食、足球对应的候选框。
[0048]
目标检测算法fast r-cnn是一种候选区域region proposal与cnn(convolutional neural networks，卷积神经网络)结合的一种算法，可以在保证准确率的同时提升处理速度。目标检测算法根据rpn输出的与图片对应的候选框，分别对候选框中的图片内容进行识别，以得到各候选框中的图片内容对应的内容特征。
[0049]
长短期记忆网络lstm是一种时间循环神经网络，是为了解决一般的循环神经网络存在的长期依赖问题而专门设计出来的，所有的循环神经网络都具有一种重复神经网络模块的链式形式。通过将目标检测算法识别出的内容特征导入至训练完成的lstm中，即可得到与内容特征对应的图片标签数据。lstm的训练方式在现有技术中已经非常成熟，本实施
例可以根据实际需要采用现有技术中何时的训练方式对lstm进行训练，在此不再赘述。
[0050]
本实施例通过结合rpn、目标检测算法以及lstm，使得能够提高图片识别的准确性。
[0051]
本发明提供一种动态影集生成方法，本方法应用于显示终端，方法包括：
[0052]
步骤s40，接收服务器发送的影集数据，并根据影集数据生成动态影集，影集数据是服务器接收移动终端发送的图片数据，并对图片数据中的各个图片进行识别，并根据识别结果和各个图片生成的；
[0053]
步骤s50，接收显示指令，并根据显示指令显示动态影集。
[0054]
进一步地，影集数据中包括模板标识，步骤s40包括步骤：
[0055]
步骤s41，根据模板标识获取对应的影集模板；
[0056]
步骤s42，根据影集模板与图片数据生成动态影集。
[0057]
影集模板对应设置有标签数据，在识别得到图片对应的图片标签数据之后，将图片划分至与图片标签数据对应的标签数据的影集模板素材库中，由于一张图片可能存在多个图片标签数据，因此，可以将一张图片划分至多个影集模板的素材库中，即只要影集模板的标签数据与图片的图片标签数据对应，就将该图片划分至对应的影集模板的素材库中。
[0058]
显示终端上设置有与服务器对应的影集模板，因此无需将影集模板的数据全部发送至显示终端，只需对各个影集模板设置模板标识，将模板标识与图片数据作为影集数据发送至显示终端。显示终端直接通过模板标识，即可在本地直接调用对应的影集模板根据图片数据生成动态影集。
[0059]
显示指令是用户通过与显示终端绑定的控制器发送的，如遥控器、与显示终端连接的手机或其它智能终端，还可以是通过显示终端的机身按钮或通过触控可触屏显示终端屏幕上显示的虚拟按键发送的。具体地，在显示终端处于智能相册界面时，界面上显示对应的已生成的动态影集名称或缩略图，用户通过选择对应的动态影集发送与该动态影集对应的显示指令。显示指令中可以包含动态影集的主体名称，根据主题名称对应获取动态影集并进行显示。
[0060]
本实施例通过匹配与图片对应的影集模板，并将影集模板的模板标识id作为影集数据，避免将整个影集模板发送至显示终端，造成网络资源的浪费。
[0061]
进一步地，在基于本发明的第一实施例所提出的本发明动态影集生成方法第二实施例中，影集数据中还包括音频数据，步骤s42包括：
[0062]
步骤s421，根据影集模板将图片数据中的各个图片进行特效处理，得到各个图片对应的单位片段；
[0063]
步骤s422，将各个单位片段进行拼接，得到画面影集；
[0064]
步骤s423，将画面影集与音频数据进行组合，得到动态影集。
[0065]
本实施例以ffmpeg进行说明。
[0066]
特效处理包括对图片的形状参数进行处理，如推进、旋转、位移、缩放等，以及对图像的显示参数进行处理，如亮度、对比度、饱和度或套用预设滤镜等。每个影集模板对应的特效处理不同，经过特效处理后，每一张图片均对应生成一个单位片段，单位片段为根据图片得到的一段画面视频。通过ffmpeg的连接技术concat对各单位片段进行拼接操作，在对各单位片段进行拼接时，可以在两个单位片段直接设置转场特效，如推进、拉伸、飞入等，将
所有的单位片段进行拼接之后，即得到了一段包含所有图片的长视频，即画面影集。再通过ffmpeg的组合技术combine将画面影集与音频数据进行组合，以得到有声音的动态影集。音频数据根据影集模板的不同而不同。
[0067]
本实施例通过对图片进行特效处理、拼接以及组合音频数据得到动态数据，使得生成的动态影集生动形象。
[0068]
本发明还包括一种服务器和显示终端，参见图5，服务器和显示终端包括通信模块10、存储器20以及处理器30等部件。在服务器、显示终端中，移动终端、服务器和显示终端对应的处理器30分别与对应存储器20以及对应通信模块10连接，存储器20上存储有计算机程序，计算机程序同时被处理器30执行，计算机程序执行时实现上述方法实施例的步骤。
[0069]
通信模块10，可通过网络与外部通讯设备连接。通信模块10可以接收外部通讯设备发出的请求，还可以发送请求、指令及信息至外部通讯设备，外部通讯设备可以是其它服务器、显示终端、服务器或者物联网设备，例如电视等等。
[0070]
存储器20，可用于存储软件程序以及各种数据。存储器20可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作服务器、显示终端、至少一个功能所需的应用程序(根据图片数据中各个图片和与各个图片对应的图片标签数据生成影集数据)等；存储数据区可包括数据库，存储数据区可存储根据服务器、显示终端的使用所创建的数据或信息等。此外，存储器20可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0071]
处理器30，是服务器、显示终端的控制中心，利用各种接口和线路连接整个服务器、显示终端的各个部分，通过运行或执行存储在存储器20内的软件程序和/或模块，以及调用存储在存储器20内的数据，执行服务器、显示终端的各种功能和处理数据，从而对服务器、显示终端进行整体监控。处理器30可包括一个或多个处理单元；可选地，处理器30可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作服务器、显示终端、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器30中。
[0072]
尽管图5未示出，但上述服务器、显示终端的移动终端、服务器和显示终端还可以包括电路控制模块，电路控制模块用于与电源连接，保证其他部件的正常工作。本领域技术人员可以理解，图5中示出的服务器、显示终端结构并不构成对服务器、显示终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0073]
本发明还提出一种计算机可读存储介质，其上存储有计算机程序。计算机可读存储介质可以是图5的服务器、显示终端中的存储器20，也可以是如rom(read-only memory，只读存储器)/ram(random access memory，随机存取存储器)、磁碟、光盘中的至少一种，计算机可读存储介质包括若干指令用以使得一台具有处理器的终端设备(可以是电视，汽车，手机，计算机，服务器，终端，或者网络设备等)执行本发明各个实施例的方法。
[0074]
在本发明中，术语“第一”“第二”“第三”“第四”“第五”仅用于描述的目的，而不能理解为指示或暗示相对重要性，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0075]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特
点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0076]
尽管上面已经示出和描述了本发明的实施例，本发明保护的范围并不局限于此，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改和替换，这些变化、修改和替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。