图像处理方法、装置、设备及存储介质与流程
本申请涉及人工智能技术领域，特别涉及一种图像处理方法、装置、设备及存储介质。
背景技术：
随着人工智能技术的发展，越来越多的领域中，实现了通过计算机模拟、延伸和扩展人的智能，获知对数据的处理方法，进而能够自行对数据进行处理，来代替人工，以提高数据处理效率。
其中，基于人工智能对图像进行处理即为人工智能技术的一种应用。在一种场景中，能够对图像进行处理，确定图像中人群密度，进而确定出图像中的人的数量。目前，图像处理方法通常是对图像进行特征提取，基于提取到的图像特征，使用预测网络预测每个图像的密度图，基于密度图确定出人的数量。
图像中不同的图像区域的远近情况不同，则人头的尺寸也就不同，上述图像处理方法并未考虑到这一点，进而预测出的密度图的精度比较小，准确性较差。
技术实现要素：
本申请实施例提供了一种图像处理方法、装置、设备及存储介质，能够提高估计精度和准确性。
一方面，提供了一种图像处理方法，所述方法包括：
获取待处理图像；
对所述待处理图像进行特征提取，得到所述待处理图像的深度特征；
基于至少两个感受野和所述深度特征，获取所述待处理图像中不同图像区域的人群密度，得到所述至少两个感受野对应的至少两个第一密度图，所述至少两个感受野互不相同；
根据所述深度特征，获取所述待处理图像中不同图像区域与所述至少两个感受野之间的匹配度；
以所述至少两个感受野对应的匹配度为权重，综合所述至少两个第一密度图中不同图像区域的人群密度，得到所述待处理图像中包含的人的数量。
在一种可能实现方式中，至少两个第一卷积层中相邻的两个第一卷积层中间包括池化层；
所述对所述待处理图像进行特征提取，得到所述待处理图像的深度特征，还包括：
在所述至少一个第一卷积层进行卷积处理之后，将提取到的中间深度特征输入下一个第一卷积层之前，基于池化层，对所述中间深度特征进行池化处理，得到输入下一个第一卷积层的中间深度特征。
在一种可能实现方式中，所述对所述不同图像区域的中间特征进行分类，得到所述待处理图像中不同图像区域的概率分布，包括：
对所述不同图像区域的中间特征进行归一化处理，得到所述不同图像区域的概率分布。
一方面，提供了一种图像处理装置，所述装置包括：
图像获取模块，用于获取待处理图像；
特征提取模块，用于对所述待处理图像进行特征提取，得到所述待处理图像的深度特征；
密度获取模块，用于基于至少两个感受野和所述深度特征，获取所述待处理图像中不同图像区域的人群密度，得到所述至少两个感受野对应的至少两个第一密度图，所述至少两个感受野互不相同；
匹配度获取模块，用于根据所述深度特征，获取所述待处理图像中不同图像区域与所述至少两个感受野之间的匹配度；
数量获取模块，用于以所述至少两个感受野对应的匹配度为权重，综合所述至少两个第一密度图中不同图像区域的人群密度，得到所述待处理图像中包含的人的数量。
在一种可能实现方式中，所述密度获取模块用于分别基于不同空洞率的卷积层、可变形卷积层、创始(inception)结构或残差结构中的至少两项，对所述深度特征进行卷积处理，得到至少两个感受野对应的至少两个第一密度图。
在一种可能实现方式中，所述特征提取模块用于基于连续的至少一个卷积层，对所述待处理图像进行卷积处理，将最后一个卷积层的输出作为所述深度特征。
在一种可能实现方式中，所述至少一个卷积层的数量为至少两个；所述至少一个卷积层采用跳跃链接；其中，跳跃链接的两个卷积层包括第一卷积层和第二卷积层，第一卷积层用于对前一个第一卷积层输出的深度特征进行下采样；第二卷积层用于对前一个第二卷积层输出的深度特征以及所连接的第一卷积层输出的深度特征进行上采样。
在一种可能实现方式中，所述匹配度获取模块包括特征获取单元和归一化单元；
所述特征获取单元用于根据所述深度特征，获取所述待处理图像中不同图像区域的中间特征；
所述归一化单元用于对所述不同图像区域的中间特征进行归一化处理，得到所述待处理图像中不同图像区域与所述至少两个感受野之间的匹配度。
在一种可能实现方式中，所述归一化单元用于对所述不同图像区域的中间特征进行归一化处理，得到所述待处理图像中不同图像区域的概率分布，一个图像区域的概率分布用于表示所述图像区域与所述至少两个感受野之间的匹配度，所述概率分布中一个概率值用于表示所述图像区域与目标感受野之间的匹配度。
在一种可能实现方式中，所述特征获取单元用于：
对所述深度特征进行平均池化处理，得到所述不同图像区域的深度特征；
分别对所述不同图像区域的深度特征进行卷积处理，得到所述不同图像区域的中间特征。
在一种可能实现方式中，所述数量获取模块包括加权单元和数量获取单元；
所述加权单元用于以所述至少两个感受野对应的匹配度为权重，对所述至少两个第一密度图中不同图像区域的人群密度进行加权，得到所述待处理图像的第二密度图；
所述数量获取单元用于根据所述第二密度图，获取所述待处理图像中包含的人的数量。
在一种可能实现方式中，所述数量获取单元用于对所述第二密度图中密度值进行求和处理，得到待处理图像包含的人的数量。
在一种可能实现方式中，所述特征提取、人群密度获取、匹配度获取以及人的数量获取步骤由图像处理模型执行；
所述图像处理模型包括特征提取网络、至少两个分支网络和综合模块；其中，所述特征提取网络用于对所述待处理图像进行特征提取，得到所述待处理图像的深度特征；所述至少两个分支网络用于执行基于至少两个不同的感受野的人群密度获取步骤；所述综合模块用于执行所述匹配度获取步骤和人的数量获取步骤。
在一种可能实现方式中，所述图像处理模型基于样本图像以及样本图像对应的目标密度图获取；所述目标密度图基于下述过程得到：
获取样本图像以及所述样本图像中至少两个人头所在的位置；
根据所述至少两个人头所在的位置，生成至少两个第一响应图，所述第一响应图中所述至少两个人头所在位置的像素值为1，其他位置的像素值为0；
对所述至少两个第一响应图进行求和，得到第二响应图；
根据对所述第二响应图进行高斯卷积处理，得到所述目标密度图。
在一种可能实现方式中，所述图像处理模型的训练过程包括：
获取样本图像，每个样本图像对应有目标密度图；
将样本图像输入图像处理模型中，由所述图像处理模型对样本图像进行特征提取，得到样本图像的样本深度特征；基于至少两个不同的感受野和所述样本深度特征，获取所述待处理图像中不同图像区域的人群密度，得到至少两个感受野对应的至少两个样本第一密度图；根据所述样本深度特征，获取所述样本图像中不同图像区域与所述至少两个感受野之间的匹配度；以所述至少两个感受野对应的匹配度为权重，对所述至少两个样本第一密度图中不同图像区域的人群密度进行加权，得到样本第二密度图；
基于所述样本图像的所述目标密度图、样本第一密度图和样本第二密度图，分别获取所述至少两个不同的感受野对应的预测损失值和综合损失值；
基于所述预测损失值和所述综合损失值，对所述图像处理模型的模型参数进行更新，直至符合目标条件时停止，得到训练好的图像处理模型。
一方面，提供了一种电子设备，所述电子设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行以实现上述图像处理方法的各种可选实现方式。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现上述图像处理方法的各种可选实现方式。
一方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或所述计算机程序包括一条或多条程序代码，所述一条或多条程序代码存储在计算机可读存储介质中。电子设备的一个或多个处理器能够从计算机可读存储介质中读取所述一条或多条程序代码，所述一个或多个处理器执行所述一条或多条程序代码，使得电子设备能够执行上述任一种可能实施方式的图像处理方法。
本申请实施例，考虑到图像中不同的图像区域的远近情况不同时，人头的尺寸可能不同，对于图像中每个图像区域，在提取到图像特征后，根据不同的感受野获取到了人群密度，再通过对图像中不同图像区域进行分析，确定该图像区域的远近，动态地选择合适的感受野对该图像区域的人群密度进行了调整，这样获取得到的人群密度更符合图像区域的远近程度，提高了人群密度获取精度，进而提高了人的数量的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还能够根据这些附图获得其他的附图。
图1是本申请实施例提供的一种感受野的示意图；
图2是本申请实施例提供的一种图像处理方法的实施环境的示意图；
图3是本申请实施例提供的一种监控场景中图像处理过程的示意图；
图4是本申请实施例提供的一种图像处理方法的流程图；
图5是本申请实施例提供的一种图像处理方法的流程图；
图6是本申请实施例提供的一种特征提取网络的示意图；
图7是本申请实施例提供的一种空洞卷积的示意图；
图8是本申请实施例提供的一种具有空洞率的卷积层的结构示意图；
图9是本申请实施例提供的一种inception结构的示意图；
图10是本申请实施例提供的一种卷积核大小为3x3的正常卷积和可变形卷积的采样方式的示意图；
图11是本申请实施例提供的一种残差结构的示意图；
图12是本申请实施例提供的一种基于深度特征进行密度估计过程的示意图；
图13是本申请实施例提供的一种基于深度特征进行密度估计过程的示意图；
图14是本申请实施例提供的一种图像处理前后的示意图；
图15是本申请实施例提供的一种图像处理装置的结构示意图；
图16是本申请实施例提供的一种终端的结构框图；
图17是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。还应理解，尽管以下描述使用术语第一、第二等来描述各种元素，但这些元素不应受术语的限制。这些术语只是用于将一元素与另一元素区别分开。例如，在不脱离各种所述示例的范围的情况下，第一图像能够被称为第二图像，并且类似地，第二图像能够被称为第一图像。第一图像和第二图像都能够是图像，并且在某些情况下，能够是单独且不同的图像。
本申请中术语“至少一个”的含义是指一个或多个，本申请中术语“多个”的含义是指两个或两个以上，例如，多个数据包是指两个或两个以上的数据包。
应理解，在本文中对各种所述示例的描述中所使用的术语只是为了描述特定示例，而并非旨在进行限制。如在对各种所述示例的描述和所附权利要求书中所使用的那样，单数形式“一个(“a”“an”)”和“该”旨在也包括复数形式，除非上下文另外明确地指示。
还应理解，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。术语“和/或”，是一种描述关联对象的关联关系，表示能够存在三种关系，例如，a和/或b，能够表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本申请中的字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，在本申请的各个实施例中，各个过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
还应理解，根据a确定b并不意味着仅仅根据a确定b，还能够根据a和/或其它信息确定b。
还应理解，术语“包括”(也称“includes”、“including”、“comprises”和/或“comprising”)当在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、元素、和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、部件、和/或其分组。
还应理解，术语“如果”可被解释为意指“当...时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定...”或“如果检测到[所陈述的条件或事件]”可被解释为意指“在确定...时”或“响应于确定...”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
下面对本申请涉及到的名词进行说明。
感受野：在卷积神经网络中，感受野(receptivefield)的定义是卷积神经网络每一层输出的特征图(featuremap)上的像素点在输入图片上映射的区域大小。通俗点解释，感受野是特征图上的一个点对应输入图像上的区域，如图1所示。卷积处理后，后面特征图上的一个点对应前面特征图上的区域。感受野大，则该区域比较大，特征图中特征的语义层次更高，更具有全局性；感受野小，则该区域比较小，特征图中特征的语义层次更低，更具有局部性。
上采样和下采样：在下采样的过程中，我们把一张图片的特征提取出来，实际上是把图片的关键部分提取出来的，图片的分辨率就降低了，可以说图片缩小了；在上采样过程中，要恢复图片的大小，提高图片的分辨率，就要用到一些方法，任何可以让图片变成高分辨率的技术都可以称为上采样。
双线性插值：又称为双线性内插。双线性插值包括最近邻插值、双线性插值、双立方插值等。对于线性插值，线性插值是一种针对一维数据的插值方法，它根据一维数据序列中需要插值的点的左右邻近两个数据点来进行数值的估计，根据到这两个点的距离来分配它们的比重。对于双线性插值，可以理解为两步线性插值：一是在x方向插值，二是用x方向插值结果再在y方向插值。双线性插值是图像缩放的一种方式。
人工智能(artificialintelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(computervision，cv)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(machinelearning，ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的计算机视觉中图像处理、图像语义理解等技术，以及机器学习中神经网络学习等技术，具体通过如下实施例进行说明。
下面对本申请的实施环境进行说明。
图2是本申请实施例提供的一种图像处理方法的实施环境的示意图。该实施环境包括终端101，或者该实施环境包括终端101和图像处理平台102。终端101通过无线网络或有线网络与图像处理平台102相连。
终端101能够是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、mp3(movingpictureexpertsgroupaudiolayeriii，动态影像专家压缩标准音频层面3)播放器或mp4(movingpictureexpertsgroupaudiolayeriv，动态影像专家压缩标准音频层面4)播放器，膝上型便携计算机中的至少一种。终端101安装和运行有支持图像处理的应用程序，例如，该应用程序能够是系统应用、购物应用、在线视频应用、社交应用。
示例性地，该终端101能够具有图像采集功能和图像处理功能，能够对采集到的图像进行处理，并根据处理结果执行相应的功能。该终端101能够独立完成该工作，也能够通过图像处理平台102为其提供数据服务。本申请实施例对此不作限定。
图像处理平台102包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。图像处理平台102用于为支图像处理的应用程序提供后台服务。可选地，图像处理平台102承担主要处理工作，终端101承担次要处理工作；或者，图像处理平台102承担次要处理工作，终端101承担主要处理工作；或者，图像处理平台102或终端101分别能够单独承担处理工作。或者，图像处理平台102和终端101两者之间采用分布式计算架构进行协同计算。
可选地，该图像处理平台102包括至少一台服务器1021以及数据库1022，该数据库1022用于存储数据，在本申请实施例中，该数据库1022中能够存储有样本图像，为至少一台服务器1021提供数据服务。
服务器能够是独立的物理服务器，也能够是多个物理服务器构成的服务器集群或者分布式系统，还能够是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端能够是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。
本领域技术人员能够知晓，上述终端101、服务器1021的数量能够更多或更少。比如上述终端101、服务器1021能够仅为一个，或者上述终端101、服务器1021为几十个或几百个，或者更多数量，本申请实施例对终端或服务器的数量和设备类型不加以限定。
本申请提供的图像处理方法能够应用于任意人数统计场景中，例如，在监控场景中，能够对监控拍摄的图像进行处理，确定出图像包含的人的数量。例如，如图3所示，可以在一些大型场所中设置有摄像头301，该摄像头301对场所进行实时监控，将拍摄得到图像或视频302发送至图像处理平台303。进而该图像处理平台303能够对拍摄的图像或视频302进行处理，确定图像或视频中任一帧或每一帧包含的人的数量，实现对场所中人数的监控。
图4是本申请实施例提供的一种图像处理方法的流程图，该方法应用于电子设备中，该电子设备为终端或服务器，参见图4，该方法包括以下步骤。
401、电子设备获取待处理图像。
402、电子设备对该待处理图像进行特征提取，得到该待处理图像的深度特征。
特征是指一事物异于其他事物的特点。通过对待处理图像进行特征提取，以深度特征来指代该待处理图像的特点，进而能够对图像内容进行分析，确定人群密度。
403、电子设备基于至少两个感受野和该深度特征，获取该待处理图像中不同图像区域的人群密度，得到该至少两个感受野对应的至少两个第一密度图，该至少两个感受野互不相同。
在得到深度特征后，电子设备可以对深度特征进行不同感受野的人群密度估计，对于同一图像区域来说，通过不同感受野得到的人群密度可能存在差异。这样该至少两个第一密度图中则包含了不同精度来对图像区域获取到的人群密度。
404、电子设备根据该深度特征，获取该待处理图像中不同图像区域与该至少两个感受野之间的匹配度。
该匹配度用于指示感受野和图像区域的适配度，有些图像区域用小感受野确定出的人群密度更准确，有些图像区域用大感受野确定出的人群密度更准确。该匹配度则是用于衡量某个图像区域用各种感受野确定时的准确程度。
405、电子设备以该至少两个感受野对应的匹配度为权重，综合该至少两个第一密度图中不同图像区域的人群密度，得到该待处理图像中包含的人的数量。
在得到基于不同感受野得到的第一密度图时，由于不同图像区域的远近情况不同，可能适应的感受野不同，将匹配度作为依据，来对至少两个第一密度图中的人群密度进行综合，能够动态地根据图像内容，为每个图像区域选择合适的感受野得到的人群密度，这样确定出来的人的数量也就更准确，精度更高。
本申请实施例，考虑到图像中不同的图像区域的远近情况不同时，人头的尺寸可能不同，对于图像中每个图像区域，在提取到图像特征后，根据不同的感受野获取到了人群密度，再通过对图像中不同图像区域进行分析，确定该图像区域的远近，动态地选择合适的感受野对该图像区域的人群密度进行了调整，这样获取得到的人群密度更符合图像区域的远近程度，提高了人群密度获取精度，进而提高了人的数量的准确性。
图5是本申请实施例提供的一种图像处理方法的流程图，参见图5，该方法包括以下步骤。
501、电子设备获取待处理图像。
在本申请实施例中，电子设备具有图像处理功能，可以对待处理图像进行处理，以确定图像包含的人的数量。
在一些实施例中，该待处理图像可以包括一个或者多个人，电子设备可以对待处理图像进行处理，确定该待处理图像包含的人的数量。在另一些实施例中，该待处理图像中还可以不包括人，电子设备在对其进行处理后，能够确定出人的数量为零。
电子设备可以通过多种方式获取该待处理图像。该电子设备可以为终端，或服务器。
在一些实施例中，该电子设备为终端。在该实施例的一种可能实现方式中，该终端具有图像采集功能，终端可以采集图像作为该待处理图像。在该实施例的另一种可能实现方式中，该终端能够从目标网站下载图像作为该待处理图像。在该实施例的另一种可能实现方式中，终端可以从图像数据库中提取图像作为该待处理图像。该实施例的另一种可能实现方式中，该终端可以响应于图像导入操作，获取导入的图像作为该待处理图像。
在另一些实施例中，该电子设备可以为服务器。在该实施例的一种可能实现方式中，该服务器能够接收终端采集并发送的图像。在该实施例的另一种可能实现方式中，该服务器也可以从目标网站下载。在该实施例的另一种可能实现方式中，该服务器也可以从图像数据库中提取图像作为该待处理图像。
上述仅提供了待处理图像的几种可能获取方式，当然，终端或服务器还可以通过其他方式获取该待处理图像，本申请实施例对该待处理图像的获取方式不作限定。
502、电子设备将待处理图像输入图像处理模型中。
电子设备获取到待处理图像后，需要对待处理图像进行处理。在本实施例中，该图像处理方法能够通过图像处理模型实现，则电子设备可以调用图像处理模型，将待处理图像输入该图像处理模型中，由该图像处理模型执行后续图像处理步骤。在另一些实施例中，该电子设备还可以直接执行后续图像处理步骤，而不基于该图像处理模型实现，本申请实施例对此不作限定。
对于该图像处理模型，在一些实施例中，该图像处理模型可以在该电子设备中训练得到。在另一些实施例中，该图像处理模型可以在其他电子设备上训练完成后，由该其他电子设备发送至该电子设备，进而该电子设备在图像处理时能够调用该图像处理模型。本申请实施例对该图像处理模型的训练过程在哪个设备上进行不作限定。
下面针对该图像处理模型进行解释说明。
在一种可能实现方式中，该图像处理模型可以包括该图像处理模型包括特征提取网络、至少两个分支网络和综合模块。在图像处理过程中，该特征提取网络用于对该待处理图像进行特征提取，得到该待处理图像的深度特征，也即是下述步骤503；该至少两个分支网络用于执行基于至少两个不同的感受野的人群密度获取步骤，也即是下述步骤504；该综合模块用于执行该匹配度获取步骤和人的数量获取步骤，也即是下述步骤505至步骤507。
该图像处理模型基于样本图像以及样本图像对应的目标密度图训练得到。其中，该目标密度图为样本图像的一种真实的密度图，该目标密度图中每个像素点的像素值为该像素点处的人群密度。以该目标密度图作为“真值”，对图像处理模型进行训练，使得训练后的图像处理模型能够对样本图像进行处理，得到该目标密度图，或者输出的结果非常接近该目标密度图，这样该图像处理模型的图像处理能力得到了提升，能够准确地对图像进行处理。
对于该目标密度图，该目标密度图能够根据样本图像中人头所在位置确定。在一些实施例中，该目标密度图基于下述步骤一至步骤四得到。
步骤一、电子设备获取样本图像以及该样本图像中至少两个人头所在的位置。
在步骤一中，可以确定出该样本图像中所有人头所在位置，以该所有人头所在位置作为确定目标密度图的依据。
在一些实施例中，可以以人头的中心点作为人头所在位置。在该实施例中，如果人头的中心点在该样本图像中，则该人头可以算作该样本图像包含的人中的一个。如果人头的中心点不在该样本图像中，则该人头不算作该样本图像包含的人中的一个。例如，样本图像中仅包含人头的一小部分，人头的中心位置并不在该样本图像中，则在计算样本图像包含的人的数量时，该一小部分的人头并不计数。
对于该至少两个人头所在位置，可以由相关技术人员标注得到，也可以根据目标检测，或者在目标检测的基础上结合人工标注方法得到，本申请实施例对此不作限定。
步骤二、电子设备根据该至少两个人头所在的位置，生成至少两个第一响应图，该第一响应图中该至少两个人头所在位置的像素值为1，其他位置的像素值为0。
在该步骤二中，该第一响应图能够反映每个像素点是否包含人头的中心点，如果包含，则该像素点的像素值为1。如果不包含，则该像素点的像素值为0。在此仅以“1”代表包含，“0”代表不包含为例进行说明，当然，也可以设置“0”代表包含，“1”代表不包含，本申请实施例对此不作限定。通过每个像素点是否包含人头的中心点，能够在一定程度上反映人头密度。
步骤三、电子设备对该至少两个第一响应图进行求和，得到第二响应图。
在该步骤三中，上述第一响应图反映了针对每个人头所在位置生成了对应的第一响应图，电子设备可以再对多个第一响应图进行求和，综合多个第一响应图，得到该样本图像的第二响应图。
步骤四、电子设备根据对该第二响应图进行高斯卷积处理，得到该目标密度图。
上述第二响应图中将人群密度集中在人头的中心点处，电子设备可以对其进行高斯卷积处理，能够将人群密度分散到人头中心点周围的像素点中，进而确定出图像的每个像素点的真实人群密度。其中，对于每个人头，假设其对周围像素点的密度的贡献值按高斯函数衰减，则对第二响应图进行处理时能够采用高斯卷积处理，也即是通过高斯卷积核对第二响应图进行处理。
例如，在一个具体示例中，模型的学习目标为人群密度分布热力图，在此简称为密度图或热力图。该热力图反映了单位像素在实际场景(也即是样本图像)中对应位置的平均人数，为了生成该人群密度图(也即是目标密度图)，考虑图中的n个人头中心点x1，…，xn，针对n个人头中心点来生成整个图的目标密度图。对于每个人头中心点xi，我们生成一张二维的响应图hi(也即是第一响应图)，该响应图hi只有人头中心点位置的像素值为1，其余位置均为0。其中，n，n，i为正整数。然后将所有人头中心点对应的hi相加得到原图中所有人头的响应图h(也即是第二响应图)，显然，该响应图h的积分值即为总人数。然后，对于每个人头我们假设其对周围像素点的密度的贡献值按高斯函数衰减，因此，可以使用一个归一化的高斯核gσ对响应图h进行卷积操作即可得到密度图d(也即是目标密度图)。
上述过程即为目标密度图的获取过程，该图像处理模型在使用时即可通过该图像处理模型预测得到这样的密度图，进而积分得到总人数。该图像处理模型的训练过程也即为训练该图像处理模型的模型参数，使得该图像处理模型的预测得到的预测密度图与目标密度图相差很小，尽可能接近。
在一些实施例中，该图像处理模型的训练过程可以通过步骤一至步骤四实现。
步骤一、电子设备获取样本图像，每个样本图像对应有目标密度图。该目标密度图为真实的、正确的密度图。
步骤二、电子设备将样本图像输入图像处理模型中，由该图像处理模型对样本图像进行特征提取，得到样本图像的样本深度特征；基于至少两个不同的感受野和该样本深度特征，获取该待处理图像中不同图像区域的人群密度，得到至少两个感受野对应的至少两个样本第一密度图；根据该样本深度特征，获取该样本图像中不同图像区域与该至少两个感受野之间的匹配度；以该至少两个感受野对应的匹配度为权重，对该至少两个样本第一密度图中不同图像区域的人群密度进行加权，得到样本第二密度图。
在该步骤二中，电子设备能够将样本图像输入图像处理模型中，由该图像处理模型执行一系列步骤，确定出每个样本图像的样本第二密度图，其中，确定样本第二密度图的过程与下述步骤503至步骤506同理，在此先不过多赘述，具体可以参见后续步骤。
在确定样本第二密度图的过程中，根据样本深度特征对样本图像进行了分析，以不同的感受野进行了人群密度估计，得到了第一密度图，也分析出了样本图像中每个图像区域的远近情况更适合哪种感受野，以此来对第一密度图进行集成，确定出更准确的第二密度图。
步骤三、电子设备基于该样本图像的该目标密度图、样本第一密度图和样本第二密度图，分别获取该至少两个不同的感受野对应的预测损失值和综合损失值。
在该步骤三中，预测损失值基于目标密度图和样本第一密度图确定，针对每个感受野的预测结果，均获取得到了预测损失值，这样在训练过程中，能够训练，提高不同的感受野下的预测能力。综合损失值基于目标密度图和样本第二密度图确定，以该综合损失值，还能够训练以提高综合多种不同感受野的预测结果后综合预测结果的准确性。
在一种可能实现方式中，电子设备可以基于mse(meansquareerror，均方误差)损失函数，获取该预测损失值和综合损失值。
具体的，电子设备可以通过下述公式一，获取预测损失值或综合损失值。
其中，lreg表示损失值，n表示训练图像中的像素总数，
步骤四、电子设备基于该预测损失值和该综合损失值，对该图像处理模型的模型参数进行更新，直至符合目标条件时停止，得到训练好的图像处理模型。
上述步骤一至步骤三为迭代过程，在更新了模型参数后，可以继续执行上述迭代过程，直至达到训练目标。该目标条件可以为预测损失值和综合损失值收敛，或者模型迭代次数达到目标次数，对此不作限定。
503、电子设备基于图像处理模型的特征提取网络，对该待处理图像进行特征提取，得到该待处理图像的深度特征。
电子设备将待处理图像输入图像处理模型后，该图像处理模型可以先提取待处理图像的深度特征，以深度特征来表征待处理图像中各个图像区域的信息，进而能够针对深度特征进行回归处理，确定人群密度。
在一些实施例中，该特征提取网络为该图像处理模型的主干网络，在主干网络提取到深度特征后，能够将其输入各个分支网络中，由分支网络分别对深度特征进行处理。
在一种可能实现方式中，该特征提取网络包括连续的至少一个卷积层。电子设备可以基于连续的至少一个卷积层，对该待处理图像进行卷积处理，将最后一个卷积层的输出作为该深度特征。该连续的至少一个卷积层两两相邻。
在一些实施例中，前一个卷积层的输出作为后一个卷积层的输入。在另一些实施例中，也可以将前一个卷积层的输出进行进一步处理后，作为后一个卷积层的输入。深度特征基于连续的至少一个卷积层进行卷积处理后，能够准确表征待处理图像中包含的信息。
其中，该至少一个卷积层的数量为一个或多个(也即是至少两个)。在一些实施例中，该至少一个卷积层的数量为至少两个，也即是多个。
在一些实施例中，该至少一个卷积层可以采用跳跃链接，其中，跳跃链接的两个卷积层包括第一卷积层和第二卷积层，第一卷积层用于对前一个第一卷积层输出的深度特征进行下采样；第二卷积层用于对前一个第二卷积层输出的深度特征以及所连接的第一卷积层输出的深度特征进行上采样。
通过跳跃链接能够将比较靠前的卷积层输出的深度特征综合比较靠后的卷积层输出的深度特征共同作为某个卷积层的输入，这样该某个卷积层的输入则既包括通过多个卷积层一步一步卷积处理得到的具有高语义信息的上下文特征，又包括局部的细节信息。可以理解地，通过跳跃链接，能够在上采样时引入细节信息，提取到的深度特征更完善、更准确。
在一种可能实现方式中，至少两个第一卷积层中相邻的两个第一卷积层中间包括池化层，通过池化层，实现空间下采样。因而，上述特征提取过程中，在该至少一个第一卷积层进行卷积处理之后，将提取到的中间深度特征输入下一个第一卷积层之前，电子设备还基于池化层，对该中间深度特征进行池化处理，得到输入下一个第一卷积层的中间深度特征。
例如，在一个具体示例中，该特征提取网络可以采用vgg16网络。该特征提取网络可以采用先下采样然后上采样的u形网络结构。如图6所示，图6中左侧部分为vgg16前端网络，用于进行下采样。第一卷积层为“convblock(convolutionblock，卷积块)”，第二卷积层为“卷积层”。对于convblock1到convblock4，每个convblock由多个连续卷积层组成。对于convblock1到convblock4，其内部卷积层数分别为2，2，3，3。同一个convblock中所有卷积的通道数是一致的。对于convblock1到convblock4，其卷积通道数分别为64，128，256，512。图6中右侧部分为上采样部分。上采样的卷积层能够综合上一个卷积层的输出以及跳跃链接的convblock的输出，综合后作为卷积层的输入。该综合过程可以为逐元素相加的过程。可选地，该上采样的过程可以为双线性上采样的过程，在x、y方向上分别进行线性插值，填充下采样得到的深度特征，得到最终的深度特征。每个convblock之间通过最大池化(maxpool)实现空间下采样，增加了网络感受野和局部平移不变形。
504、电子设备将该待处理图像的深度特征输入至少两个分支网络中，由该至少两个分支网络基于至少两个感受野和该深度特征，获取该待处理图像中不同图像区域的人群密度，得到该至少两个感受野对应的至少两个第一密度图，该至少两个感受野互不相同。
每个分支网络用于基于一个感受野或者一个感受野范围，对深度特征进行处理，获取不同图像区域的人群密度，得到该感受野或该感受野范围的第一密度图。通过多个分支网络，即可得到不同感受野对应的第一密度图。相较于相关技术中以固定感受野进行人群密度估计的方式，考虑到了图像中不同的图像区域的远近情况不同时，人头的尺寸可能不同，需要采用不同感受野进行人群密度估计的情况，因而提高了人群密度估计精度。
对于该至少两个分支网络，该至少两个不同的感受野能够通过不同的网络结构实现，例如，该至少两个分支网络可以包括不同空洞率的卷积层。又例如，至少两个分支网络中的一个分支网络可以为可变形卷积层。又例如，至少两个分支网络中的一个分支网络可以为创始(inception)结构。又例如，至少两个分支网络中的一个分支网络可以为残差结构。本申请实施例可以对这几种分支网络结构进行任意组合，只需保证至少两个分支网络之间有足够的差异性，且能够保证每个分支能够自适应学习到适用于不同尺度的表达能力。本申请实施例对分支网络的数量以及每个分支网络的结构不作限定。
上述步骤504中，电子设备可以分别基于不同空洞率的卷积层、可变形卷积层、创始(inception)结构或残差结构中的至少两项，对该深度特征进行卷积处理，得到至少两个感受野对应的至少两个第一密度图。
在一个具体示例中，可以称每个分支网络为每个预测头，每个预测头用于预测一个感受野或感受野范围的第一密度图。每个预测头可以采用上述几种结构中的任一种，通过不同的卷积处理，得到不同感受野对应的第一密度图。
下面对上述具有空洞率的卷积层、可变形卷积层、创始(inception)结构或残差结构进行解释说明。
对于具有空洞率的卷积层，该具有空洞率的卷积层能够对输入的数据进行空洞卷积。其中，空洞卷积是在标准的卷积核里注入空洞，以此来增加感受野。相比原来的正常卷积运算，空洞卷积多了一个超参数，该超参数也即是空洞率(dilationrate)。该空洞率指的是核(kernel)的间隔数量。例如，如图7所示，以3*3卷积核为例，在3*3卷积核中间填充0，间隔地进行采样。该间隔数量不同时，空洞率则不同。
如图8所示，上述至少两个预测头中一个或多个预测头可以采用该具有空洞率的卷积层的结构，也即是某个或某些分支网络为三个空洞率为d的3x3卷积层。其中，d为正数。
对于inception结构，inception结构包括多个分支，每个分支(可以视为多个滤波器)采用不同的卷积层，对上一层(previouslayer)的输出进行不同尺度的卷积处理，最终将多个分支(也即是滤波器)的结果综合，得到一个极小的范围内的感受野对应的第一密度图。
例如，图9示出了一种inception结构。某个分支网络为如图9所示的inception结构，该inception结构具有两个作用：一是使用1x1的卷积来进行升降维；二是在多个尺寸上同时进行卷积再聚合。这样该inception结构能够对深度特征进行处理，得到基于一个感受野位于一个极小的范围内的人群密度估计结果。
对于inception结构，解释如下：
对于图9中多个1x1卷积层，其作用在于在相同尺寸的感受野中叠加更多的卷积，能提取到更丰富的特征。图9里三个1x1卷积都起到了该作用。该1x1卷积层还能够起到降维的作用，降低了计算复杂度。图9中间3x3卷积和5x5卷积前的1x1卷积都起到了降维的作用。当某个卷积层输入的特征数较多，对这个输入进行卷积运算将产生巨大的计算量；如果对输入先进行降维，减少特征数后再做卷积计算量就会显著减少。
图9中对输入的深度特征做了4个分支，分别用不同尺寸的滤波器(filter)进行卷积或池化，最后再在特征维度上拼接到一起。这样在直观感觉上在多个尺度上同时进行卷积，能提取到不同尺度的特征。特征更为丰富也意味着最后回归判断时更加准确。且利用稀疏矩阵分解成密集矩阵计算的原理来加快收敛速度。在inception模块中有一个分支使用了最大池化(maxpooling)，池化(pooling)也能起到提取特征的作用。
图9仅示出了一种inception结构，该inception结构还可以为其他形式，相关技术人员可以根据需求对inception结构中的卷积层进行调整。本申请实施例对此不作限定。
对于可变形卷积层，可变形卷积层通过在正常的卷积层中增加偏移量得到，增加的偏移量是网络结构的一部分。加上该偏移量，可变形卷积核的大小和位置可以根据当前需要识别或分类的图像内容进行动态调整，其直观效果就是不同位置的卷积核采样点位置会根据图像内容发生自适应的变化，从而适应不同物体的形状、大小等几何形变，也就实现了感受野的自适应调整。
下面通过图10对卷积核大小为3x3的正常卷积和可变形卷积的采样方式进行解释说明。如图10所示，图10中的(a)为正常的卷积层，图10中的(b)和(c)为可变性卷积层。正常卷积规律地采样9个点，(b)和(c)则在正常的采样坐标上加上一个位移量(该位移量以箭头示出，也可以称为偏移量)。
对于残差结构，残差在数理统计中是指实际观察值与估计值(拟合值)之间的差。残差结构通过跳跃连接或恒等映射的方式，能够针对某个变量得到实际观察值和估计值，进而得到残差。例如，某个网络的优化目标原本可能是h(x)＝f(x)+x，通过残差结构能够将优化目标从h(x)转化为h(x)-x。这时就不是把上面几层训练到一个等价映射，而是将其逼近于0，能够有效减小训练的难度。例如，如图11所示，某个分支网络为残差结构，通过残差结构，引入残差，能够得到基于非常细的感受野得到的人群密度图。
505、电子设备基于图像处理模型的综合模块，根据该深度特征，获取该待处理图像中不同图像区域与该至少两个感受野之间的匹配度。
电子设备在获取到不同感受野对应的第一密度图后，能够使用综合模块，对图像内容进行分析，基于分析结果，对第一密度图进行动态集成。在集成时，可以通过深度特征对图像内容进行分析，确定不同的图像区域(可以比较小)的远近情况，与不同感受野之间的匹配度。具体的，该步骤505可以通过步骤一和步骤二实现。
步骤一、电子设备根据该深度特征，获取该待处理图像中不同图像区域的中间特征。
电子设备可以对深度特征进行处理，将其转化为对应感受野数量的中间特征。具体的，电子设备可以对该深度特征进行平均池化处理，得到该不同图像区域的深度特征，分别对该不同图像区域的深度特征进行卷积处理，得到该不同图像区域的中间特征。
例如，如图12所示，电子设备可以通过一个自适应平均池化模块将特征图变为k*k个格子，然后对每个格子通过1x1卷积层进行特征变换，每个格子预测n个值，对应n个预测头。
步骤二、电子设备对该不同图像区域的中间特征进行归一化处理，得到该待处理图像中不同图像区域与该至少两个感受野之间的匹配度。
在一些实施例中，该匹配度可以采用概率分布的方式，具体的，电子设备可以对该不同图像区域的中间特征进行归一化处理，得到该待处理图像中不同图像区域的概率分布，一个图像区域的概率分布用于表示该图像区域与该至少两个感受野之间的匹配度，该概率分布中一个概率值用于表示该图像区域与目标感受野之间的匹配度。
例如，如图12所示，电子设备在得到中间特征后，可以使用softmax获取对应n个预测头的概率分布。如图13所示，上述每个分支作为一个预测头，在通过特征提取网络提取到深度特征后，能够通过n个预测头分别进行预测，得到对应的第一密度图。
上述仅为一种示例性说明，电子设备还可以采用更复杂或者更高效的结构，如在平均池化和1x1卷积之间加入多分支的上下文建模模块如inception结构等。本申请实施例对此不作限定。
506、电子设备基于图像处理模型的综合模块，以该至少两个感受野对应的匹配度为权重，对该至少两个第一密度图中不同图像区域的人群密度进行加权，得到该待处理图像的第二密度图。
电子设备在确定出匹配度，也就分析出了待处理图像中每个图像区域更适合多大的感受野。不同的图像区域中人的远近情况可能不同，则人头的尺寸也就不同，其所适应的感受野也就不同。以匹配度为权重，能够为每个图像区域确定出其更适合的感受野，这样加权得到的第二密度图中每个图像区域的像素值更贴近于基于更合适的感受野得到的第一密度图中的像素值。
该第二密度图的获取过程精确到了图像区域，相较于相关技术中直接基于固定感受野对整个图像进行人群密度估计的方式，大大提高了密度估计精度，提高了第二密度图的准确性，进而下述步骤确定出的人的数量也就更准确。
上述仅以综合模块根据匹配度自适应地集成至少两个感受野对应的第一密度图，得到第二密度图为例进行了说明，该第二密度图的获取过程还可以通过其他方式实现，例如，电子设备可以根据匹配度为每个图像区域选择一种感受野的第一密度图区域，进而，将每个图像区域对应的第一密度图区域组合得到第二密度图，本申请实施例对此不作限定。
507、电子设备基于图像处理模型的综合模块，根据该第二密度图，获取该待处理图像中包含的人的数量。
电子设备在得到第二密度图后，该第二密度图能够准确反映待处理图像中每个像素点的人群密度，也即是每个像素点的平均人数，则基于该第二密度图能够获取得到待处理图像包含的人的数量，也即是待处理图像中的总人数。
在一些实施例中，电子设备可以对该第二密度图中密度值进行求和处理，得到待处理图像包含的人的数量。在该步骤507中，电子设备对第二密度图中密度值进行求和，得到所有密度值的和值。由于每个密度值代表每个像素点的人群密度，也即是，每个像素点的平均人数，将所有像素点的平均人数进行求和，也即可得到该待处理图像包含的人的数量。
在另一些实施例中，该电子设备对第二密度图中密度值的求和过程可以通过积分计算实现，该求和过程也即能够对第二密度图中密度值沿着横坐标或纵坐标进行积分实现。
需要说明的是，上述步骤506和步骤507为以所述至少两个感受野对应的匹配度为权重，综合所述至少两个第一密度图中不同图像区域的人群密度，得到所述待处理图像中包含的人的数量的过程，上述过程仅以先通过匹配度对第一密度图进行加权得到第二密度图，再基于第二密度图获取总人数的过程为例进行了说明。在一些实施例中，该过程还可以通过其他方式实现，例如，电子设备可以根据匹配度为每个图像区域选择一种感受野的第一密度图区域，进而，将每个图像区域对应的第一密度图中区域组合得到第二密度图，进而获取总人数。又例如，电子设备可以根据匹配度直接对第一密度图中的密度值进行加权求和，得到总人数，本申请实施例对具体采用哪种方式不作限定。
在一种可能实现方式中，在上述步骤506之后，电子设备基于图像处理模型得到第二密度图后，也可以输出该第二密度图，显示该第二密度图，或者按照第二密度图中每个图像区域的人群密度对应的显示样式，对待处理图像中每个图像区域进行显示。该待处理图像中每个图像区域的显示样式与第二密度图中密度值对应。
例如，如图14所示，应用本申请提供的图像处理方法，能够对图14中的(a)图进行处理，确定出图像中的总人数，例如，总人数为208，还能够根据确定的第二密度图，对图像中人群密度进行显示，如图14中的(b)图所示。在(b)图中示出了总人数208，不同图像区域的人群密度可能不同，在(b)图中可以以不同的颜色进行显示，该(b)图中以不同的图案代替颜色进行了示意。
上述步骤502至步骤507中仅以通过图像处理模型对待处理图像进行处理为例进行了说明，在一些实施例中，该图像处理方法还可以不通过图像处理模型实现。在该实施例中，电子设备可以在获取到待处理图像后，直接执行与上述步骤502至步骤507同理的图像处理步骤，只是无需图像处理模型实现，本申请实施例对具体采用哪种方式不作限定。
本申请实施例，考虑到图像中不同的图像区域的远近情况不同时，人头的尺寸可能不同，对于图像中每个图像区域，在提取到图像特征后，根据不同的感受野获取到了人群密度，再通过对图像中不同图像区域进行分析，确定该图像区域的远近，动态地选择合适的感受野对该图像区域的人群密度进行了调整，这样获取得到的人群密度更符合图像区域的远近程度，提高了人群密度获取精度，进而提高了人的数量的准确性。
上述所有可选技术方案，能够采用任意结合形成本申请的可选实施例，在此不再一一赘述。
图15是本申请实施例提供的一种图像处理装置的结构示意图，参见图15，该装置包括：
图像获取模块1501，用于获取待处理图像；
特征提取模块1502，用于对该待处理图像进行特征提取，得到该待处理图像的深度特征；
密度获取模块1503，用于基于至少两个感受野和所述深度特征，获取所述待处理图像中不同图像区域的人群密度，得到所述至少两个感受野对应的至少两个第一密度图，所述至少两个感受野互不相同；
匹配度获取模块1504，用于根据该深度特征，获取该待处理图像中不同图像区域与该至少两个感受野之间的匹配度；
数量获取模块1505，用于以所述至少两个感受野对应的匹配度为权重，综合所述至少两个第一密度图中不同图像区域的人群密度，得到所述待处理图像中包含的人的数量。
在一种可能实现方式中，该密度获取模块1503用于分别基于不同空洞率的卷积层、可变形卷积层、创始inception结构或残差结构中的至少两项，对该深度特征进行卷积处理，得到至少两个感受野对应的至少两个第一密度图。
在一种可能实现方式中，该特征提取模块1502用于基于连续的至少一个卷积层，对该待处理图像进行卷积处理，将最后一个卷积层的输出作为该深度特征。
在一种可能实现方式中，该至少一个卷积层的数量为至少两个；该至少一个卷积层采用跳跃链接；其中，跳跃链接的两个卷积层包括第一卷积层和第二卷积层，第一卷积层用于对前一个第一卷积层输出的深度特征进行下采样；第二卷积层用于对前一个第二卷积层输出的深度特征以及所连接的第一卷积层输出的深度特征进行上采样。
在一种可能实现方式中，该匹配度获取模块1504包括特征获取单元和归一化单元；
该特征获取单元用于根据该深度特征，获取该待处理图像中不同图像区域的中间特征；
该归一化单元用于对该不同图像区域的中间特征进行归一化处理，得到该待处理图像中不同图像区域与该至少两个感受野之间的匹配度。
在一种可能实现方式中，该归一化单元用于对该不同图像区域的中间特征进行归一化处理，得到该待处理图像中不同图像区域的概率分布，一个图像区域的概率分布用于表示该图像区域与该至少两个感受野之间的匹配度，该概率分布中一个概率值用于表示该图像区域与目标感受野之间的匹配度。
在一种可能实现方式中，该特征获取单元用于：
对该深度特征进行平均池化处理，得到该不同图像区域的深度特征；
分别对该不同图像区域的深度特征进行卷积处理，得到该不同图像区域的中间特征。
在一种可能实现方式中，该数量获取模块1505包括加权单元和数量获取单元；
该加权单元用于以该至少两个感受野对应的匹配度为权重，对该至少两个第一密度图中不同图像区域的人群密度进行加权，得到该待处理图像的第二密度图；
该数量获取单元用于根据该第二密度图，获取该待处理图像中包含的人的数量。
在一种可能实现方式中，该数量获取单元用于对该第二密度图中密度值进行求和处理，得到待处理图像包含的人的数量。
在一种可能实现方式中，该特征提取、人群密度获取、匹配度获取以及人的数量获取步骤由图像处理模型执行；
该图像处理模型包括特征提取网络、至少两个分支网络和综合模块；其中，该特征提取网络用于对该待处理图像进行特征提取，得到该待处理图像的深度特征；该至少两个分支网络用于执行基于至少两个不同的感受野的人群密度获取步骤；该综合模块用于执行该匹配度获取步骤和人的数量获取步骤。
在一种可能实现方式中，该图像处理模型基于样本图像以及样本图像对应的目标密度图获取；该目标密度图基于下述过程得到：
获取样本图像以及该样本图像中至少两个人头所在的位置；
根据该至少两个人头所在的位置，生成至少两个第一响应图，该第一响应图中该至少两个人头所在位置的像素值为1，其他位置的像素值为0；
对该至少两个第一响应图进行求和，得到第二响应图；
根据对该第二响应图进行高斯卷积处理，得到该目标密度图。
在一种可能实现方式中，该图像处理模型的训练过程包括：
获取样本图像，每个样本图像对应有目标密度图；
将样本图像输入图像处理模型中，由该图像处理模型对样本图像进行特征提取，得到样本图像的样本深度特征；基于至少两个不同的感受野和该样本深度特征，获取该待处理图像中不同图像区域的人群密度，得到至少两个感受野对应的至少两个样本第一密度图；根据该样本深度特征，获取该样本图像中不同图像区域与该至少两个感受野之间的匹配度；以该至少两个感受野对应的匹配度为权重，对该至少两个样本第一密度图中不同图像区域的人群密度进行加权，得到样本第二密度图；
基于该样本图像的该目标密度图、样本第一密度图和样本第二密度图，分别获取该至少两个不同的感受野对应的预测损失值和综合损失值；
基于该预测损失值和该综合损失值，对该图像处理模型的模型参数进行更新，直至符合目标条件时停止，得到训练好的图像处理模型。
本申请实施例提供的装置，考虑到图像中不同的图像区域的远近情况不同时，人头的尺寸可能不同，对于图像中每个图像区域，在提取到图像特征后，根据不同的感受野获取到了人群密度，再通过对图像中不同图像区域进行分析，确定该图像区域的远近，动态地选择合适的感受野对该图像区域的人群密度进行了调整，这样获取得到的人群密度更符合图像区域的远近程度，提高了人群密度获取精度，进而提高了人的数量的准确性。
需要说明的是：上述实施例提供的图像处理装置在处理图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，能够根据需要而将上述功能分配由不同的功能模块完成，即将图像处理装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述方法实施例中的电子设备能够实现为终端。例如，图16是本申请实施例提供的一种终端的结构框图。该终端1600可以是便携式移动终端，比如：智能手机、平板电脑、mp3(movingpictureexpertsgroupaudiolayeriii，动态影像专家压缩标准音频层面3)播放器、mp4(movingpictureexpertsgroupaudiolayeriv，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1600包括有：处理器1601和存储器1603。
处理器1601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1601可以采用dsp(digitalsignalprocessing，数字信号处理)、fpga(field－programmablegatearray，现场可编程门阵列)、pla(programmablelogicarray，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(centralprocessingunit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1601可以集成有gpu(graphicsprocessingunit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1601还可以包括ai(artificialintelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
存储器1603可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1603还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1603中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1601所执行以实现本申请中方法实施例提供的图像处理方法。
在一些实施例中，终端1600还可选包括有：外围设备接口1603和至少一个外围设备。处理器1601、存储器1603和外围设备接口1603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1603相连。具体地，外围设备包括：射频电路1604、显示屏1605、摄像头组件1606、音频电路1607、定位组件1608和电源1609中的至少一种。
外围设备接口1603可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器1601和存储器1603。在一些实施例中，处理器1601、存储器1603和外围设备接口1603被集成在同一芯片或电路板上；在一些其他实施例中，处理器1601、存储器1603和外围设备接口1603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1604用于接收和发射rf(radiofrequency，射频)信号，也称电磁信号。射频电路1604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1604包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(3g、3g、4g及5g)、无线局域网和/或wifi(wirelessfidelity，无线保真)网络。在一些实施例中，射频电路1604还可以包括nfc(nearfieldcommunication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1605用于显示ui(userinterface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1605是触摸显示屏时，显示屏1605还具有采集在显示屏1605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1601进行处理。此时，显示屏1605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1605可以为一个，设置在终端1600的前面板；在另一些实施例中，显示屏1605可以为至少两个，分别设置在终端1600的不同表面或呈折叠设计；在另一些实施例中，显示屏1605可以是柔性显示屏，设置在终端1600的弯曲表面上或折叠面上。甚至，显示屏1605还可以设置成非矩形的不规则图形，也即异形屏。显示屏1605可以采用lcd(liquidcrystaldisplay，液晶显示屏)、oled(organiclight-emittingdiode,有机发光二极管)等材质制备。
摄像头组件1606用于采集图像或视频。可选地，摄像头组件1606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtualreality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1601进行处理，或者输入至射频电路1604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1601或射频电路1604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1607还可以包括耳机插孔。
定位组件1608用于定位终端1600的当前地理位置，以实现导航或lbs(locationbasedservice，基于位置的服务)。定位组件1608可以是基于美国的gps(globalpositioningsystem，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源1609用于为终端1600中的各个组件进行供电。电源1609可以是交流电、直流电、一次性电池或可充电电池。当电源1609包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1600还包括有一个或多个传感器1610。该一个或多个传感器1610包括但不限于：加速度传感器1611、陀螺仪传感器1613、压力传感器1613、指纹传感器1614、光学传感器1615以及接近传感器1616。
加速度传感器1611可以检测以终端1600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1611可以用于检测重力加速度在三个坐标轴上的分量。处理器1601可以根据加速度传感器1611采集的重力加速度信号，控制显示屏1605以横向视图或纵向视图进行用户界面的显示。加速度传感器1611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1613可以检测终端1600的机体方向及转动角度，陀螺仪传感器1613可以与加速度传感器1611协同采集用户对终端1600的3d动作。处理器1601根据陀螺仪传感器1613采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1613可以设置在终端1600的侧边框和/或显示屏1605的下层。当压力传感器1613设置在终端1600的侧边框时，可以检测用户对终端1600的握持信号，由处理器1601根据压力传感器1613采集的握持信号进行左右手识别或快捷操作。当压力传感器1613设置在显示屏1605的下层时，由处理器1601根据用户对显示屏1605的压力操作，实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1614用于采集用户的指纹，由处理器1601根据指纹传感器1614采集到的指纹识别用户的身份，或者，由指纹传感器1614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1601授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1614可以被设置在终端1600的正面、背面或侧面。当终端1600上设置有物理按键或厂商logo时，指纹传感器1614可以与物理按键或厂商logo集成在一起。
光学传感器1615用于采集环境光强度。在一个实施例中，处理器1601可以根据光学传感器1615采集的环境光强度，控制显示屏1605的显示亮度。具体地，当环境光强度较高时，调高显示屏1605的显示亮度；当环境光强度较低时，调低显示屏1605的显示亮度。在另一个实施例中，处理器1601还可以根据光学传感器1615采集的环境光强度，动态调整摄像头组件1606的拍摄参数。
接近传感器1616，也称距离传感器，通常设置在终端1600的前面板。接近传感器1616用于采集用户与终端1600的正面之间的距离。在一个实施例中，当接近传感器1616检测到用户与终端1600的正面之间的距离逐渐变小时，由处理器1601控制显示屏1605从亮屏状态切换为息屏状态；当接近传感器1616检测到用户与终端1600的正面之间的距离逐渐变大时，由处理器1601控制显示屏1605从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图16中示出的结构并不构成对终端1600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
上述方法实施例中的电子设备能够实现为服务器。例如，图17是本申请实施例提供的一种服务器的结构示意图，该服务器1700可因配置或性能不同而产生比较大的差异，能够包括一个或一个以上处理器(centralprocessingunits，cpu)1701和一个或一个以上的存储器1703，其中，该存储器1703中存储有至少一条程序代码，该至少一条程序代码由该处理器1701加载并执行以实现上述各个方法实施例提供的图像处理方法。当然，该服务器还能够具有有线或无线网络接口以及输入输出接口等部件，以便进行输入输出，该服务器还能够包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条程序代码的存储器，上述至少一条程序代码由可由处理器执行以完成上述实施例中的图像处理方法。例如，计算机可读存储介质能够是只读存储器(read-onlymemory，简称：rom)、随机存取存储器(randomaccessmemory，简称：ram)、只读光盘(compactdiscread-onlymemory，简称：cd-rom)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或该计算机程序包括一条或多条程序代码，该一条或多条程序代码存储在计算机可读存储介质中。电子设备的一个或多个处理器能够从计算机可读存储介质中读取该一条或多条程序代码，该一个或多个处理器执行该一条或多条程序代码，使得电子设备能够执行上述图像处理方法。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
应理解，根据a确定b并不意味着仅仅根据a确定b，还能够根据a和/或其它信息确定b。
本领域普通技术人员能够理解实现上述实施例的全部或部分步骤能够通过硬件来完成，也能够通过程序来指令相关的硬件完成，该程序能够存储于一种计算机可读存储介质中，上述提到的存储介质能够是只读存储器，磁盘或光盘等。
以上描述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！