一种基于社交照片的人物关系可视分析方法与流程

本发明涉及计算机图形学领域，具体涉及一种利用计算机技术的社交照片人物关系分析方法，能够识别社交照片中的人脸，构建照片中人物间的社交关系网络，并通过可视化方法展示出来。

背景技术：

随着数码相机和智能手机等数码摄影设备的普及，在朋友聚会、活动庆典、学术报告、婚礼等社交活动中，拍摄照片成为其中必不可少的环节，称之为“社交照片”。社交照片中隐含了参与社交活动的成员之间的关系。即使两个互相不认识的人，若在同一张照片中出现，那么他们之间一定会存在某种联系，或他们有共同的朋友，或他们有共同的爱好，或他们有共同的研究方向等。挖掘社交照片中潜在的社交关系可以作为人们拓展社交圈的有效途径。

然而，目前社交照片人物关系分析方法主要是通过人脸识别以及照片的面部共现技术，是从社交照片集中分析人物间的社交关系。但由此获得的社交关系比较简单，没有对关系做出有意义的解释，且没有具象地展示出社交关系。因此，亟需一种仅识别一张社交照片并分析、展示人物间的社交关系的方法，进一步提高从照片中提取社交关系的准确性，以更加直观的方式展现出来，使数据更加客观、更具说服力。

技术实现要素：

本发明要克服现有的社交照片人物关系分析方法的准确性及直观性不高的缺点，提供一种利用计算机技术的社交照片人物关系分析方法，能够识别社交照片中的人脸，并通过匹配数据库中的信息，构建照片中人物间的社交关系，然后以节点链的可视化方式展示。

一种基于社交照片的人物关系可视分析方法，具体步骤如下：

步骤1、使用卷积神经网络(cnn)人脸检测模型检测照片中待识别的人脸区域。

步骤2、使用深度残差网络(resnet)的人脸识别模型获取128维的人脸特征数据，并将获取的人脸特征数据与数据库中存储的特征模板进行匹配，通过比较阈值得到匹配后的结果。

步骤3、从数据库中获取识别对象的关系数据，构建社交关系网络。

步骤4、通过力导引布局的可视化方式展现社交关系网络。

本发明的技术构思是：利用人脸识别技术，识别社交照片中的人脸；以图模型的形式构建社交网络；利用力导引的可视化方式展示，提高从照片中提取社交关系的准确性，使得人物关系更加直观、易理解。

本发明的基于社交照片的人物关系可视分析方法，能够识别社交照片中的人脸，构建照片中人物间的社交关系网络，并通过可视化方法展示。

本发明的优点在于：利用人脸识别技术识别社交照片的人脸，并结合社交媒体数据，深入挖掘在社交活动中，存在以及潜在的社交关系，使得关系获取更加准确，以可视化方式展现出来，使数据更加客观、更具说服力。

附图说明

图1为本发明的总流程图

图2为本发明的可视化效果图

具体实施方式

参照附图，进一步说明本发明：

基于社交照片的人物关系可视分析方法，包括以下步骤：

步骤1、使用卷积神经网络(cnn)人脸检测模型检测照片中待识别的人脸区域。

步骤2、使用深度残差网络(resnet)的人脸识别模型获取128维的人脸特征数据，并将获取的人脸特征数据与数据库中存储的特征模板进行匹配，通过比较阈值得到匹配后的结果。

步骤3、从数据库中获取识别对象的关系数据，构建社交关系网络。

步骤4、通过力导引布局的可视化方式展现社交关系网络。

所述步骤1中，卷积神经网络(cnn)人脸检测模型由第三方人脸检测dlib库提供，通过cnn_face_detection_model_v1检测算子检测照片中待识别的人脸区域。

所述步骤2中，通过使用dlib库中提供的resnet模型的接口，此接口会返回一个128维的人脸特征向量。数据库中存储的特征模板是根据人脸检测模型和人脸识别模型得到的已知人脸相片的特征向量组成的。在获取特征向量之后使用欧式距离和已知的人脸特征向量进行匹配，小于阈值即为识别结果。

所述步骤3中，已知人脸的关系数据由百度百科、微博、知乎等社交媒体获得，关系数据涉及亲属关系、师生关系、敌对关系等社交关系，同时记录已知人脸的兴趣爱好。分别将识别对象的关系数据从数据库中提取，检索社交关系中是否存在与其他识别对象的直接关系，若存在则添加到社交关系网络中，同时记录对象的兴趣爱好。在所有识别对象的关系数据中，判断识别对象间是否存在共同认识的对象或共同的兴趣爱好，若存在则添加到社交关系网络中。以图模型的形式表示社交关系网络，为g＝(v,e)，其中v为节点集合，e为节点间关联关系所对应的边集合。

所述步骤4中，通过节点链的力导引方式展现，识别对象为视图的中心节点，以圆形的识别对象的头像表示，对象间的直接关系由节点间的边表示，并在边上标记对象间的具体关系。若对象间存在共同认识的人物，以实心小圆表示该对象，并用边连接该对象与识别对象，标记具体关系。若对象间存在共同的兴趣爱好，则通过方形表示兴趣爱好，并连接识别对象。

目前，从社交照片中分析潜在的社交关系是拓展社交圈的一个有效途径。然而，从现有的社交照片人物关系分析方法主要是通过人脸识别以及照片的面部共现技术，是从社交照片集中分析人物间的社交关系。但由此获得的社交关系比较简单，没有对关系做出有意义的解释，且没有具象得展示出社交关系。本发明提出了一种仅识别一张社交照片并分析、展示人物间的社交关系的方法，将社交照片与社交媒体相结合，进一步提高从照片中提取社交关系的准确性，并以更加直观的方式展现出来，使数据更加客观、更具说服力。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

技术特征：

1.基于社交照片的人物关系可视分析方法，包括以下步骤：

步骤1、使用卷积神经网络(cnn)人脸检测模型检测照片中待识别的人脸区域；

步骤2、使用深度残差网络(resnet)的人脸识别模型获取128维的人脸特征数据，并将获取的人脸特征数据与数据库中存储的特征模板进行匹配，通过比较阈值得到匹配后的结果；

步骤3、从数据库中获取识别对象的关系数据，构建社交关系网络；

步骤4、通过力导引布局的可视化方式展现社交关系网络。

2.如权利要求1所述的基于社交照片的人物关系可视分析方法，其特征在于：所述步骤1中，卷积神经网络(cnn)人脸检测模型由第三方人脸检测dlib库提供，通过cnn_face_detection_model_v1检测算子检测照片中待识别的人脸区域。

3.如权利要求1所述的基于社交照片的人物关系可视分析方法，其特征在于：步骤2中，通过使用dlib库中提供的resnet模型的接口，此接口返回一个128维的人脸特征向量；数据库中存储的特征模板由根据人脸检测模型和人脸识别模型得到的已知人脸相片的特征向量组成的；在获取特征向量之后使用欧式距离和已知的人脸特征向量进行匹配，小于阈值即为识别结果。

4.如权利要求1所述的基于社交照片的人物关系可视分析方法，其特征在于：步骤3中，已知人脸的关系数据由百度百科、微博、知乎等社交媒体获得，关系数据涉及亲属关系、师生关系、敌对关系等社交关系，同时记录已知人脸的兴趣爱好；分别将识别对象的关系数据从数据库中提取，检索社交关系中是否存在与其他识别对象的直接关系，若存在则添加到社交关系网络中，同时记录对象的兴趣爱好；在所有识别对象的关系数据中，判断识别对象间是否存在共同认识的对象或共同的兴趣爱好，若存在则添加到社交关系网络中。

5.如权利要求1所述的基于社交照片的人物关系可视分析方法，其特征在于：所述步骤4中，通过节点链的力导引方式展现，识别对象为视图的中心节点，以圆形的识别对象的头像表示，对象间的直接关系由节点间的边表示，并在边上标记对象间的具体关系；若对象间存在共同认识的人物，以实心小圆表示该对象，并用边连接该对象与识别对象，标记具体关系；若对象间存在共同的兴趣爱好，则通过方形表示兴趣爱好，并连接识别对象。

技术总结
基于社交照片的人物关系可视分析方法，使用卷积神经网络(CNN)人脸检测模型检测照片中待识别的人脸区域；使用深度残差网络(ResNet)的人脸识别模型获取128维的人脸特征数据，并将获取的人脸特征数据与数据库中存储的特征模板进行匹配，通过比较阈值得到匹配后的结果；然后从数据库中获取识别对象的关系数据，构建社交关系网络；最后通过力导引布局的可视化方式展现社交关系网络。本发明能够识别社交照片中的人脸，构建照片中人物间的社交关系网络，并通过可视化方法展示。

技术研发人员：黄可妤;陈樟樟;陈佳舟;秦绪佳;汪雨薇
受保护的技术使用者：浙江工业大学
技术研发日：2020.03.12
技术公布日：2020.08.07