一种早孕周胎儿结构检测方法、装置及计算机存储介质与流程

1.本发明涉及图像技术领域，尤其涉及一种早孕周胎儿结构检测方法、装置及计算机存储介质。


背景技术：

2.医学上，胎儿生长发育在14周之前为早孕周期，早孕周期中，多数孕妈会至少一次进行胎儿彩超以观察胎儿的发育情况。
3.目前，对于早孕周期内的胎儿彩超检测，由检测人员使用超声探头获取早孕周胎儿结构的超声图像实现，超声图像获取后，检测人员一般依凭其医学知识在超声图像上寻找确定早孕周胎儿的肢体构造，根据早孕周胎儿的肢体构造情况判断胎儿的发育是否健康。然而，实践发现，由于早孕周内，胎儿处于形体发育变化的高速阶段，对于早孕周胎儿的肢体构造确定较为困难，一般检测人员在医学知识及经验水平不足的情况下，容易出现误判现象，因此，如何帮助检测人员提高早孕周胎儿的肢体构造的识别准确度，待需研究。


技术实现要素：

4.本发明所要解决的技术问题在于，提供一种早孕周胎儿结构检测方法、装置及计算机存储介质，能够准确地对早孕周胎儿进行结构检测，有利于帮助医生快速对早孕周胎儿进行结构检测及定位。
5.为了解决上述技术问题，本发明第一方面公开了一种早孕周胎儿结构检测方法，所述方法包括：
6.获取早孕周胎儿的原始超声图像，所述原始超声图像为单帧静态图片、多帧连续静态图片中的至少一种；
7.将获取到的早孕周胎儿的原始超声图像输入至已经训练的基于多尺度残差神经网络的目标检测模型中进行检测，并获取所述目标检测模型输出的结构检测结果，作为所述早孕周胎儿的特征信息，所述早孕周胎儿的特征信息包含该早孕周胎儿的至少一个结构特征及该结构特征所对应的参数信息，所述结构特征为所述早孕周胎儿的肢体构造中的至少一者，所述结构特征所对应的参数信息至少包含该结构特征的类型以及该结构特征的定位数据。
8.作为一种可选的实施方式，在本发明第一方面中，所述将获取到的早孕周胎儿的原始超声图像输入至已经训练的基于多尺度残差神经网络的目标检测模型之前，所述方法还包括：
9.基于确定出的预处理方式对所述原始超声图像执行预处理操作，得到去除目标类型信息后的原始超声图像，并触发执行所述的输入至已经训练的基于多尺度残差神经网络的目标检测模型，其中输入至目标检测模型的原始超声图像均为去除目标类型信息后的原始超声图像，所述预处理操作包括裁剪和/或隐藏。
10.作为一种可选的实施方式，在本发明第一方面中，所述基于确定出的预处理方式
对所述原始超声图像执行预处理操作，包括：
11.获取预先设定的至少一个固定区域位置参数，根据每个固定区域位置参数对所述原始超声图像的对应区域执行预处理操作，得到的去除目标类型信息的所述原始超声图像；和/或
12.获取用户于人机交互界面滑动圈定的选定区域位置参数，根据每个选定区域位置参数对所述原始超声图像的对应区域执行预处理操作，得到的去除目标类型信息的所述原始超声图像。
13.作为一种可选的实施方式，在本发明第一方面中，所述基于多尺度残差神经网络的目标检测模型包括yolo－tiny检测模型，
14.以及，所述yolo－tiny检测模型的训练方法包括：
15.获取早孕周胎儿的原始超声图像的训练数据集，所述早孕周胎儿的原始超声图像的训练数据集包含早孕周胎儿的超声图像，以及早孕周胎儿的超声图像中结构特征的标记标签；
16.在预先确定出的深度学习框架下，搭建基于多尺度残差神经网络的yolo－tiny检测模型；
17.对yolo－tiny检测模型进行训练，得到所述的已经训练的基于多尺度残差神经网络的目标检测模型。
18.作为一种可选的实施方式，在本发明第一方面中，所述对yolo－tiny检测模型进行训练，得到所述的已经训练的基于多尺度残差神经网络的目标检测模型，包括：
19.根据所述训练数据集中指定孕周的早孕周胎儿超声图像的图片尺寸及样本量数目，调整yolo－tiny检测模型的模型参数以增强指定孕周的影响因子，并对yolo－tiny检测模型进行训练，得到所述的已经训练的基于多尺度残差神经网络的目标检测模型，其中所述模型参数包括单次训练图片数目、数据增强模式中的至少一种。
20.作为一种可选的实施方式，在本发明第一方面中，所述yolo-tiny检测模型中的目标框回归使用iouloss作为损失函数，并且，所述yolo-tiny检测模型中的多类别分类使用交叉熵代价函数作为损失函数；
21.以及，所述对yolo－tiny检测模型进行训练，得到所述的已经训练的基于多尺度残差神经网络的目标检测模型，包括：
22.在对yolo-tiny检测模型进行训练时，基于预测框与实际框之间的差异修正所述iouloss，以及，基于预测值与实际值之间的差异修正所述交叉熵代价函数，直至函数收敛，其中，yolo－tiny检测模型以早孕周胎儿的超声图像以及早孕周胎儿的超声图像中结构特征的标记标签成对输入网络。
23.作为一种可选的实施方式，在本发明第一方面中，所述对yolo－tiny检测模型进行训练，得到所述的已经训练的基于多尺度残差神经网络的目标检测模型，包括：
24.在对yolo－tiny检测模型进行训练时，使用随机梯度下降法对yolo－tiny检测模型的所述模型参数进行全局最优解，并控制训练过程参数被配置为包括总迭代100轮、初始学习率为1
×
10
－3
，且每20轮下降一次学习率。
25.作为一种可选的实施方式，在本发明第一方面中，所述将获取到的早孕周胎儿的原始超声图像输入至已经训练的基于多尺度残差神经网络的目标检测模型中进行检测，并
获取所述目标检测模型输出的结构检测结果，包括：
26.根据所述早孕周胎儿的原始超声图像获取该早孕周胎儿的发育信息，并基于该早孕周胎儿的发育信息，确定该早孕周胎儿的孕周数据，所述基于多尺度残差神经网络的目标检测模型结合获取到的早孕周胎儿的原始超声图像以及该早孕周胎儿的孕周数据进行检测，所述早孕周胎儿的发育信息包括早孕周胎儿头围、腹围、长骨长度中的至少一种。
27.作为一种可选的实施方式，在本发明第一方面中，所述原始超声图像为多帧连续静态图片，
28.以及，所述根据所述早孕周胎儿的原始超声图像获取该早孕周胎儿的发育信息，并基于该早孕周胎儿的发育信息，确定该早孕周胎儿的孕周数据，包括：
29.当所述原始超声图像为多帧连续静态图片时，根据当前帧静态图片与前后帧静态图片中结构特征的位置变动数据，确定所述早孕周胎儿的动作信息，并基于所述早孕周胎儿的动作信息，对所述早孕周胎儿的孕周数据进行校准，其中，所述早孕周胎儿的动作信息包含吸吮、吞咽和局部结构特征的活动数据中的至少一种，所述局部结构特征包含肩关节、肘关节、腕关节、膝关节、踝关节、胳膊、小腿、手腕中的至少一种。
30.本发明第二方面公开了一种早孕周胎儿结构检测装置，所述装置包括：
31.图像获取模块，用于获取早孕周胎儿的原始超声图像，所述原始超声图像为单帧静态图片、多帧连续静态图片中的至少一种；
32.分析模块，用于将获取到的早孕周胎儿的原始超声图像输入至已经训练的基于多尺度残差神经网络的目标检测模型中进行检测；
33.结构信息获取模块，用于获取所述目标检测模型输出的结构检测结果，作为所述早孕周胎儿的特征信息，所述早孕周胎儿的特征信息包含该早孕周胎儿的至少一个结构特征及该结构特征所对应的参数信息，所述结构特征为所述早孕周胎儿的肢体构造中的至少一者，所述结构特征所对应的参数信息至少包含该结构特征的类型以及该结构特征的定位数据。
34.作为一种可选的实施方式，在本发明第二方面中，所述装置还包括：
35.预处理模块，用于将获取到的早孕周胎儿的原始超声图像输入至已经训练的基于多尺度残差神经网络的目标检测模型之前，基于确定出的预处理方式对所述原始超声图像执行预处理操作，得到去除目标类型信息后的原始超声图像，并触发执行所述的输入至已经训练的基于多尺度残差神经网络的目标检测模型，其中输入至目标检测模型的原始超声图像均为去除目标类型信息后的原始超声图像，所述预处理操作包括裁剪和/或隐藏。
36.作为一种可选的实施方式，在本发明第二方面中，所述预处理模块基于确定出的预处理方式对所述原始超声图像执行预处理操作的方式，包括：
37.获取预先设定的至少一个固定区域位置参数，根据每个固定区域位置参数对所述原始超声图像的对应区域执行预处理操作，得到的去除目标类型信息的所述原始超声图像；和/或
38.获取用户于人机交互界面滑动圈定的选定区域位置参数，根据每个选定区域位置参数对所述原始超声图像的对应区域执行预处理操作，得到的去除目标类型信息的所述原始超声图像。
39.作为一种可选的实施方式，在本发明第二方面中，所述基于多尺度残差神经网络
的目标检测模型包括yolo－tiny检测模型，所述装置还包括对所述yolo－tiny检测模型进行训练的学习模块，其中学习模块包括：
40.样本集获取模块，用于获取早孕周胎儿的原始超声图像的训练数据集，所述早孕周胎儿的原始超声图像的训练数据集包含早孕周胎儿的超声图像，以及早孕周胎儿的超声图像中结构特征的标记标签；
41.模型搭建模块，用于在预先确定出的深度学习框架下，搭建基于多尺度残差神经网络的yolo－tiny检测模型；
42.训练模块，用于对yolo－tiny检测模型进行训练，得到所述的已经训练的基于多尺度残差神经网络的目标检测模型。
43.作为一种可选的实施方式，在本发明第二方面中，所述训练模块对yolo－tiny检测模型进行训练，得到所述的已经训练的基于多尺度残差神经网络的目标检测模型的方式，包括：
44.根据所述训练数据集中指定孕周的早孕周胎儿超声图像的图片尺寸及样本量数目，调整yolo－tiny检测模型的模型参数以增强指定孕周的影响因子，并对yolo－tiny检测模型进行训练，得到所述的已经训练的基于多尺度残差神经网络的目标检测模型，其中所述模型参数包括单次训练图片数目、数据增强模式中的至少一种。
45.作为一种可选的实施方式，在本发明第二方面中，所述yolo-tiny检测模型中的目标框回归使用iouloss作为损失函数，并且，所述yolo-tiny检测模型中的多类别分类使用交叉熵代价函数作为损失函数；
46.以及，所述训练模块对yolo－tiny检测模型进行训练，得到所述的已经训练的基于多尺度残差神经网络的目标检测模型的方式，包括：
47.在对yolo-tiny检测模型进行训练时，基于预测框与实际框之间的差异修正所述iouloss，以及，基于预测值与实际值之间的差异修正所述交叉熵代价函数，直至函数收敛，其中，yolo－tiny检测模型以早孕周胎儿的超声图像以及早孕周胎儿的超声图像中结构特征的标记标签成对输入网络。
48.作为一种可选的实施方式，在本发明第二方面中，所述训练模块对yolo－tiny检测模型进行训练，得到所述的已经训练的基于多尺度残差神经网络的目标检测模型的方式，包括：
49.在对yolo－tiny检测模型进行训练时，使用随机梯度下降法对yolo－tiny检测模型的所述模型参数进行全局最优解，并控制训练过程参数被配置为包括总迭代100轮、初始学习率为1
×
10
－3
，且每20轮下降一次学习率。
50.作为一种可选的实施方式，在本发明第二方面中，所述分析模块将获取到的早孕周胎儿的原始超声图像输入至已经训练的基于多尺度残差神经网络的目标检测模型中进行检测的方式，包括：
51.根据所述早孕周胎儿的原始超声图像获取该早孕周胎儿的发育信息，并基于该早孕周胎儿的发育信息，确定该早孕周胎儿的孕周数据，所述基于多尺度残差神经网络的目标检测模型结合获取到的早孕周胎儿的原始超声图像以及该早孕周胎儿的孕周数据进行检测，所述早孕周胎儿的发育信息包括早孕周胎儿头围、腹围、长骨长度中的至少一种。
52.作为一种可选的实施方式，在本发明第二方面中，所述原始超声图像为多帧连续
静态图片，
53.以及，所述分析模块根据所述早孕周胎儿的原始超声图像获取该早孕周胎儿的发育信息，并基于该早孕周胎儿的发育信息，确定该早孕周胎儿的孕周数据的方式，包括：
54.当所述原始超声图像为多帧连续静态图片时，根据当前帧静态图片与前后帧静态图片中结构特征的位置变动数据，确定所述早孕周胎儿的动作信息，并基于所述早孕周胎儿的动作信息，对所述早孕周胎儿的孕周数据进行校准，其中，所述早孕周胎儿的动作信息包含吸吮、吞咽和局部结构特征的活动数据中的至少一种，所述局部结构特征包含肩关节、肘关节、腕关节、膝关节、踝关节、胳膊、小腿、手腕中的至少一种。
55.本发明第三方面公开了另一种早孕周胎儿结构检测装置，所述装置包括：
56.存储有可执行程序代码的存储器；
57.与所述存储器耦合的处理器；
58.所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的早孕周胎儿结构检测方法。
59.本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的早孕周胎儿结构检测方法。
60.与现有技术相比，本发明实施例具有以下有益效果：
61.本发明实施例中，获取早孕周胎儿的原始超声图像，所述原始超声图像为单帧静态图片、多帧连续静态图片中的至少一种；将获取到的早孕周胎儿的原始超声图像输入至已经训练的基于多尺度残差神经网络的目标检测模型中进行检测，并获取所述目标检测模型输出的结构检测结果，作为所述早孕周胎儿的特征信息，所述早孕周胎儿的特征信息包含该早孕周胎儿的至少一个结构特征及该结构特征所对应的参数信息，所述结构特征为所述早孕周胎儿的肢体构造中的至少一者，所述结构特征所对应的参数信息至少包含该结构特征的类型以及该结构特征的定位数据。可见，实施本发明实现了对早孕周胎儿的结构检测，具有较高的准确性，适用于产前超声检查，有利于帮助医生快速对早孕周胎儿进行结构检测及定位，提高医生检查效率，减少误诊漏诊率，同时还能提高医疗资源的有效利用，具有较大的实用价值，有望向基层医院推广使用。
附图说明
62.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
63.图1是本发明实施例公开的一种基于多尺度残差神经网络的早孕周胎儿结构检测方法的流程示意图；
64.图2是本发明实施例公开的另一种基于多尺度残差神经网络的早孕周胎儿结构检测方法的流程示意图；
65.图3是本发明实施例公开的一种基于多尺度残差神经网络的早孕周胎儿结构检测装置的结构示意图；
66.图4是本发明实施例公开的又一种基于多尺度残差神经网络的早孕周胎儿结构检测装置的结构示意图。
具体实施方式
67.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
68.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述目标顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
69.在本文中提及“实施例”意味着，结合实施例描述的目标特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
70.本发明公开了一种基于多尺度残差神经网络的早孕周胎儿结构检测方法及装置，能够通过自动获取胎儿的结构特征的类别和轮廓，并根据对应的测量方式测量结构特征的轮廓，无需通过手动获取胎儿结构特征的几何参数，能够快速获取到高精度的胎儿结构特征的测量结果，从而准确确定胎儿的生长发育情况；以及通过将早孕周胎儿超声图像输入目标检测模型，能够提高胎儿的结构特征的测量结果的获取效率。以下分别进行详细说明。
71.实施例一
72.请参阅图1，图1是本发明实施例公开的一种基于多尺度残差神经网络的早孕周胎儿结构检测方法的流程示意图。其中，图1所描述的早孕周胎儿结构检测方法可以应用于检测服务器中，其中，该检测服务器可以包括本地检测服务器或云检测服务器，本发明实施例不做限定。如图1所示，该早孕周胎儿结构检测方法可以包括以下操作：
73.101、获取早孕周胎儿的原始超声图像。
74.本发明实施例中，早孕周被限制为胎儿发育在14周及以下的时间区间，早孕周胎儿的原始超声图像用于显示14周及以下的胎儿的肢体构造发育情况。
75.本发明实施例中，早孕周胎儿的原始超声图像可以是单帧静态图片、多帧连续静态图片中的一种。
76.当早孕周胎儿的原始超声图像被配置为单帧静态图片时，步骤101中的早孕周胎儿的原始超声图像被限制为指定探测方向的原始超声图像，以使得单帧静态图片蕴含有足够的肢体构造以及指定的结构特征可以被目标检测模型识别分析。
77.当早孕周胎儿的原始超声图像被配置为多帧连续静态图片时，各静态图片之间可以是利用超声波于同一位置通过等时间间隔采集获得的图片集，也可以是沿特定轨迹移动探头的过程中通过等时间间隔采集获得的图片集，输入时，可以按照预先确定出的帧率将早孕周胎儿的超声图像连续输入目标检测模型中进行分析，这样通过将连续多帧的早孕周
胎儿超声图像输入目标检测模型进行分析，对于同一位置等时间间隔的图片集而言，可以建立相邻图片之间的时间关联，有利于利用位置比对的方式基于前后帧超声图像获取早孕周胎儿的动作信息(如吸吮、吞咽等)，或对于沿特定轨迹移动探头的过程中通过等时间间隔采集获得的图片集而言，可以建立相邻图片之间的构造特征关联，有利于印证超声图像中早孕周胎儿的细节构造，提高信息获取的丰富度。
78.进一步的，采集图片集时，时间间隔的配置可以与胎儿的孕周成负相关关系，如胎儿的孕周在第8周时，采集的时间间隔可以配置为50帧/秒，又如胎儿的孕周在第11周时，采集的时间间隔可以配置为30帧/秒，这样根据所需测量的早孕周胎儿选择对应的采集时间间隔，能够保证对各个早孕周期的胎儿均具有足够信息特征进行分析，有利于提高早孕周胎儿的结构特征的识别准确性。
79.102、将获取到的早孕周胎儿的原始超声图像输入至已经训练的基于多尺度残差神经网络的目标检测模型中进行检测。
80.103、获取目标检测模型输出的结构检测结果，作为早孕周胎儿的特征信息，早孕周胎儿的特征信息包含该早孕周胎儿的至少一个结构特征及该结构特征所对应的参数信息，结构特征为早孕周胎儿的肢体构造中的至少一者，结构特征所对应的参数信息至少包含该结构特征的类型以及该结构特征的定位数据。
81.本发明实施例中，早孕周胎儿的所有肢体构造包含头颅、耳朵、嘴、鼻子、胳膊、腿、手指、脚趾、尾巴、关节中的至少一者，本发明实施例不做限定。其中关节包含肩关节、肘关节、腕关节、膝关节及踝关节中的至少一种，本发明实施例不做限定。
82.本发明实施例中，可选的，结构特征所对应的参数信息还可以包括该结构特征的尺寸、形状、肢体弯曲度中的至少一种，本发明实施例不做限定。
83.本发明实施例中，结构特征的定位数据为图形坐标进行展示，其中，图形坐标可以包括多边形坐标或椭圆形坐标，其中，多边形坐标可以包括奇数多边形坐标或偶数多边形坐标，例如：五角形坐标、长方形坐标，多边形坐标的选取取决于结构特征的形状，这样能够提高结构特征的坐标获取准确性。
84.可见，实施图1所描述的早孕周胎儿结构检测方法实现了对早孕周胎儿的结构检测，具有较高的准确性，适用于产前超声检查，有利于帮助医生快速对早孕周胎儿进行结构检测及定位，提高医生检查效率，减少误诊漏诊率，同时还能提高医疗资源的有效利用，具有较大的实用价值，有望向基层医院推广使用。
85.在一个可选的实施例中，基于多尺度残差神经网络的目标检测模型具体配置为yolo－tiny检测模型，其中yolo－tiny检测模型的训练方法包括：
86.获取早孕周胎儿的原始超声图像的训练数据集，早孕周胎儿的原始超声图像的训练数据集包含早孕周胎儿的超声图像，以及早孕周胎儿的超声图像中结构特征的标记标签；
87.在确定出的深度学习框架pytorch下，搭建基于多尺度残差神经网络的yolo－tiny检测模型；
88.对yolo－tiny检测模型进行训练，得到的已经训练的基于多尺度残差神经网络的目标检测模型。
89.在该可选的实施例中，通过将yolo－tiny检测模型在深度学习框架pytorch下进
行开发与测试，确保yolo－tiny检测模型搭建的完整性和系统性，此外，使用yolo－tiny检测模型直接从一整张图像来预测出坐标和类别，能够很好的利用上下文信息，结合多帧输入，可以提高预测物体信息的准确性，并能处理更加抽象的物体的特征，有利于提高早孕周胎儿的结构特征的识别准确性。
90.在该可选的实施例中，训练数据集的来源可以是源于来院检测人员(如孕妈)，也可以是利用电脑工具通过旋转、缩放或像素变更获得变形样本图像，这样可以增大样本库的数据量，提升训练效果。
91.作为一种可选的实施方式，对yolo－tiny检测模型进行训练，得到的已经训练的基于多尺度残差神经网络的目标检测模型，包括：
92.根据训练数据集中指定孕周的早孕周胎儿超声图像的图片尺寸及样本量数目，调整yolo－tiny检测模型的模型参数以增强指定孕周的影响因子，并对yolo－tiny检测模型进行训练，得到的已经训练的基于多尺度残差神经网络的目标检测模型，其中，模型参数包括单次训练图片数目、数据增强模式中的至少一种。
93.该可选的实施方式中，所述指定孕周包括第9周至第14周共六周，该六周中早孕周胎儿的肢体构造大多基本发育，早孕周胎儿的肢体构造可以得到超声图像显现，孕妈在此孕周区间内进行检测的居多，因此，通过根据指定孕周的超声图像的图片尺寸及样本量数目，调整yolo－tiny检测模型的模型参数以增强指定孕周的影响因子，可以对yolo－tiny检测模型的训练进行侧重分配，提高yolo－tiny检测模型输出结果的准确性。
94.作为另一种可选的实施方式，yolo-tiny检测模型中的目标框回归使用iouloss作为损失函数，并且，yolo-tiny检测模型中的多类别分类使用交叉熵代价函数作为损失函数；
95.以及，对yolo－tiny检测模型进行训练，得到的已经训练的基于多尺度残差神经网络的目标检测模型，包括：
96.在对yolo-tiny检测模型进行训练时，基于预测框与实际框之间的差异修正iouloss，以及，基于预测值与实际值之间的差异修正交叉熵代价函数，直至函数收敛，其中，yolo－tiny检测模型以早孕周胎儿的超声图像以及早孕周胎儿的超声图像中结构特征的标记标签成对输入网络。
97.该可选的实施方式，通过使用iouloss作为目标框回归的损失函数，能够让模型对小尺度的物体更敏感，同时利用交叉熵代价函数作为多类别分类的损失函数，基于交叉熵代价函数通过缩小两个概率分布的差异来使预测概率分布尽可能达到真实概率分布的特点，一定程度弥补iouloss没有考虑真值框与预测框中心的之间的距离信息的缺陷，进一步提高模型分析的准确性以及效率。
98.在该可选的实施方式中，进一步的，在目标框回归使用iouloss作为损失函数并且多类别分类使用交叉熵代价函数作为损失函数的情况下，对yolo－tiny检测模型进行训练，得到的已经训练的基于多尺度残差神经网络的目标检测模型，包括：
99.在对yolo－tiny检测模型进行训练时，使用随机梯度下降法对yolo－tiny检测模型的模型参数进行全局最优解，并控制训练过程参数被配置为包括总迭代100轮、初始学习率为1
×
10
－3
，且每20轮下降一次学习率。
100.该可选的实施方式中，通过使用随机梯度下降法对yolo－tiny检测模型的模型参
数进行优化，能够易于获得全局最优解，并且结合到yolo－tiny检测模型的检测对象是早孕周胎儿超声图像这一应用场景，考虑到系统识别的准确性要求，并兼顾系统运行的实时性和高速率要求，控制训练过程参数被配置为总迭代100轮、初始学习率为1
×
10
－3
，且每20轮下降一次学习率，能够在满足早孕周胎儿超声图像识别的前提下，寻求到检测早孕周胎儿超声图像场景下系统识别的准确度与高速率之间的最优平衡，进一步提高模型分析的准确性以及效率。
101.在另一个可选的实施例中，将获取到的早孕周胎儿的原始超声图像输入至已经训练的基于多尺度残差神经网络的目标检测模型中进行检测，并获取目标检测模型输出的检测结果，包括：
102.根据早孕周胎儿的原始超声图像获取该早孕周胎儿的发育信息，并基于该早孕周胎儿的发育信息，确定该早孕周胎儿的孕周数据，基于多尺度残差神经网络的目标检测模型结合获取到的早孕周胎儿的原始超声图像以及该早孕周胎儿的孕周数据进行检测，其中，早孕周胎儿的发育信息包括早孕周胎儿头围、腹围、长骨长度中的至少一种，本发明实施例不做限定。
103.作为一种可选的实施方式，进一步，配置早孕周胎儿的原始超声图像为多帧连续静态图片，
104.以及，根据早孕周胎儿的原始超声图像获取该早孕周胎儿的发育信息，并基于该早孕周胎儿的发育信息，确定该早孕周胎儿的孕周数据，包括：
105.当原始超声图像为多帧连续静态图片时，根据当前帧静态图片与前后帧静态图片中结构特征的位置变动数据，确定早孕周胎儿的动作信息，并基于早孕周胎儿的动作信息，对早孕周胎儿的孕周数据进行校准，其中，早孕周胎儿的动作信息包含吸吮、吞咽和局部结构特征的活动数据中的至少一种，局部结构特征包含肩关节、肘关节、腕关节、膝关节、踝关节、胳膊、小腿、手腕中的至少一种，本发明实施例不做限定。
106.在该可选的实施例中，利用胎儿动作在早孕周期的出现时间不同这一特性，如第9周开始出现关节、胳膊、小腿或手腕的活动现象，第12周开始出现吸吮、吞咽等活动现象，从另一途径确定早孕周胎儿的孕周数据，并基于动作确定的孕周数据对通过发育信息确定的孕周数据进行校准，从而对孕周达到准确的自动识别，有利于提高模型分析的准确性。
107.实施例二
108.请参阅图2，图2是本发明实施例公开的另一种基于多尺度残差神经网络的早孕周胎儿结构检测方法的流程示意图。其中，图2所描述的早孕周胎儿结构检测方法可以应用于检测服务器中，其中，该检测服务器可以包括本地检测服务器或云检测服务器，本发明实施例不做限定。如图2所示，该早孕周胎儿结构检测方法可以包括以下操作：
109.201、获取早孕周胎儿的原始超声图像。
110.202、基于确定出的预处理方式对早孕周胎儿超声图像执行预处理操作，得到去除目标类型信息后的早孕周胎儿超声图像，并触发执行的输入至已经训练的基于多尺度残差神经网络的目标检测模型。
111.本发明的实施例中，预处理操作包括裁剪和/或隐藏。此外，目标类型信息可以是早孕周胎儿超声图像中的常态噪声，也可以是早孕周胎儿超声图像中关于孕妈或胎儿的隐私信息。
112.可见，本发明实施例在获取到早孕周胎儿超声图像之后，进一步对早孕周胎儿超声图像执行预处理操作，例如：裁剪和/或隐藏，能够将早孕周胎儿超声图像中的噪声/隐私信息滤除，有利于提高结构特征的获取效率以及精准性。
113.203、将获取到的早孕周胎儿的原始超声图像输入至已经训练的基于多尺度残差神经网络的目标检测模型中进行检测。
114.204、获取目标检测模型输出的结构检测结果，作为早孕周胎儿的特征信息，早孕周胎儿的特征信息包含该早孕周胎儿的至少一个结构特征及该结构特征所对应的参数信息，结构特征为早孕周胎儿的肢体构造中的至少一者，结构特征所对应的参数信息至少包含该结构特征的类型以及该结构特征的定位数据。
115.本发明实施例中，针对步骤201、步骤203以及步骤204的其他描述请参阅实施例一中的详细描述，本发明实施例不再赘述。
116.在一个可选的实施例中，基于确定出的预处理方式对原始超声图像执行预处理操作，包括：
117.获取预先设定的至少一个固定区域位置参数，根据每个固定区域位置参数对早孕周胎儿超声图像的对应区域执行预处理操作，得到的去除目标类型信息的早孕周胎儿超声图像；和/或
118.获取用户于人机交互界面滑动圈定的选定区域位置参数，根据每个选定区域位置参数对早孕周胎儿超声图像的对应区域执行预处理操作，得到的去除目标类型信息的早孕周胎儿超声图像。
119.可见，在可选的实施例中，通过灵活配置多种可选预处理方式，能够提高系统的适配程度，方便用户端的便捷操作，进而变相提高系统对结构特征的识别效率。
120.实施例三
121.请参阅图3，图3是本发明实施例公开的一种基于多尺度残差神经网络的早孕周胎儿结构检测装置的结构示意图。其中，图3所描述的早孕周胎儿结构分割测量装置可以应用于检测服务器中，其中，该检测服务器可以包括本地检测服务器或云检测服务器，本发明实施例不做限定。如图3所示，该早孕周胎儿结构分割测量装置可以包括图像获取模块301、分析模块302以及结构信息获取模块303，其中：
122.图像获取模块301，用于获取早孕周胎儿的原始超声图像，原始超声图像为单帧静态图片、多帧连续静态图片中的至少一种。
123.本发明实施例中，早孕周被限制为胎儿发育在14周及以下的时间区间，早孕周胎儿的原始超声图像用于显示14周及以下的胎儿的肢体构造发育情况。
124.本发明实施例中，早孕周胎儿的原始超声图像可以是单帧静态图片、多帧连续静态图片中的一种。
125.当早孕周胎儿的原始超声图像被配置为单帧静态图片时，步骤101中的早孕周胎儿的原始超声图像被限制为指定探测方向的原始超声图像，以使得单帧静态图片蕴含有足够的肢体构造以及指定的结构特征可以被目标检测模型识别分析。
126.当早孕周胎儿的原始超声图像被配置为多帧连续静态图片时，各静态图片之间可以是利用超声波于同一位置通过等时间间隔采集获得的图片集，也可以是沿特定轨迹移动探头的过程中通过等时间间隔采集获得的图片集，输入时，可以按照预先确定出的帧率将
早孕周胎儿的超声图像连续输入目标检测模型中进行分析，这样通过将连续多帧的早孕周胎儿超声图像输入目标检测模型进行分析，对于同一位置等时间间隔的图片集而言，可以建立相邻图片之间的时间关联，有利于利用位置比对的方式基于前后帧超声图像获取早孕周胎儿的动作信息(如吸吮、吞咽等)，或对于沿特定轨迹移动探头的过程中通过等时间间隔采集获得的图片集而言，可以建立相邻图片之间的构造特征关联，有利于印证超声图像中早孕周胎儿的细节构造，提高信息获取的丰富度。
127.分析模块302，用于将获取到的早孕周胎儿的原始超声图像输入至已经训练的基于多尺度残差神经网络的目标检测模型中进行检测。
128.结构信息获取模块303，用于获取目标检测模型输出的检测结果，作为早孕周胎儿的特征信息，早孕周胎儿的特征信息包含该早孕周胎儿的至少一个结构特征及该结构特征所对应的参数信息，结构特征为早孕周胎儿的肢体构造中的至少一者，结构特征所对应的参数信息至少包含该结构特征的类型以及该结构特征的定位数据。
129.本发明实施例中，早孕周胎儿的所有肢体构造包含头颅、耳朵、嘴、鼻子、胳膊、腿、手指、脚趾、尾巴、关节中的至少一者，本发明实施例不做限定。其中关节包含肩关节、肘关节、腕关节、膝关节及踝关节中的至少一种，本发明实施例不做限定。
130.本发明实施例中，结构特征的定位数据为图形坐标进行展示，其中，图形坐标可以包括多边形坐标或椭圆形坐标，其中，多边形坐标可以包括奇数多边形坐标或偶数多边形坐标，例如：五角形坐标、长方形坐标，多边形坐标的选取取决于结构特征的形状，这样能够提高结构特征的坐标获取准确性。
131.可见，实施图3所描述的早孕周胎儿结构分割测量装置实现了对早孕周胎儿的结构检测，具有较高的准确性，适用于产前超声检查，有利于帮助医生快速对早孕周胎儿进行结构检测及定位，提高医生检查效率，减少误诊漏诊率，同时还能提高医疗资源的有效利用，具有较大的实用价值，有望向基层医院推广使用。
132.在一个可选的实施例中，基于多尺度残差神经网络的目标检测模型包括yolo－tiny检测模型，所述装置还包括对所述yolo－tiny检测模型进行训练的学习模块，其中学习模块包括：
133.样本集获取模块，用于获取早孕周胎儿的原始超声图像的训练数据集，早孕周胎儿的原始超声图像的训练数据集包含早孕周胎儿的超声图像，以及早孕周胎儿的超声图像中结构特征的标记标签；
134.模型搭建模块，用于在确定出的深度学习框架pytorch下，搭建基于多尺度残差神经网络的yolo－tiny检测模型；
135.训练模块，用于对yolo－tiny检测模型进行训练，得到的已经训练的基于多尺度残差神经网络的目标检测模型。
136.在该可选的实施例中，通过将yolo－tiny检测模型在深度学习框架pytorch下进行开发与测试，确保yolo－tiny检测模型搭建的完整性和系统性，此外，使用yolo－tiny检测模型直接从一整张图像来预测出坐标和类别，能够很好的利用上下文信息，结合多帧输入，可以提高预测物体信息的准确性，并能处理更加抽象的物体的特征，有利于提高早孕周胎儿的结构特征的识别准确性。
137.在该可选的实施例中，训练数据集的来源可以是源于来院检测人员(如孕妈)，也
可以是利用电脑工具通过旋转、缩放或像素变更获得变形样本图像，这样可以增大样本库的数据量，提升训练效果。
138.作为一种可选的实施方式，所述训练模块对yolo－tiny检测模型进行训练，得到的已经训练的基于多尺度残差神经网络的目标检测模型的方式，包括：
139.根据训练数据集中指定孕周的早孕周胎儿超声图像的图片尺寸及样本量数目，调整yolo－tiny检测模型的模型参数以增强指定孕周的影响因子，并对yolo－tiny检测模型进行训练，得到的已经训练的基于多尺度残差神经网络的目标检测模型，其中，模型参数包括单次训练图片数目、数据增强模式中的至少一种。
140.该可选的实施方式中，所述指定孕周包括第9周至第14周共六周，该六周中早孕周胎儿的肢体构造大多基本发育，早孕周胎儿的肢体构造可以得到超声图像显现，孕妈在此孕周区间内进行检测的居多，因此，通过根据指定孕周的超声图像的图片尺寸及样本量数目，调整yolo－tiny检测模型的模型参数以增强指定孕周的影响因子，可以对yolo－tiny检测模型的训练进行侧重分配，提高yolo－tiny检测模型输出结果的准确性。
141.作为另一种可选的实施方式，yolo-tiny检测模型中的目标框回归使用iouloss作为损失函数，并且，yolo-tiny检测模型中的多类别分类使用交叉熵代价函数作为损失函数；
142.以及，所述训练模块对yolo－tiny检测模型进行训练，得到的已经训练的基于多尺度残差神经网络的目标检测模型的方式，包括：
143.在对yolo-tiny检测模型进行训练时，基于预测框与实际框之间的差异修正iouloss，以及，基于预测值与实际值之间的差异修正交叉熵代价函数，直至函数收敛，其中，yolo－tiny检测模型以早孕周胎儿的超声图像以及早孕周胎儿的超声图像中结构特征的标记标签成对输入网络。
144.该可选的实施方式，通过使用iouloss作为目标框回归的损失函数，能够让模型对小尺度的物体更敏感，同时利用交叉熵代价函数作为多类别分类的损失函数，基于交叉熵代价函数通过缩小两个概率分布的差异来使预测概率分布尽可能达到真实概率分布的特点，一定程度弥补iouloss没有考虑真值框与预测框中心的之间的距离信息的缺陷，进一步提高模型分析的准确性以及效率。
145.在该可选的实施方式中，进一步的，在目标框回归使用iouloss作为损失函数并且多类别分类使用交叉熵代价函数作为损失函数的情况下，所述训练模块对yolo－tiny检测模型进行训练，得到的已经训练的基于多尺度残差神经网络的目标检测模型的方式，包括：
146.在对yolo－tiny检测模型进行训练时，使用随机梯度下降法对yolo－tiny检测模型的模型参数进行全局最优解，并控制训练过程参数被配置为包括总迭代100轮、初始学习率为1
×
10
－3
，且每20轮下降一次学习率。
147.该可选的实施方式中，通过使用随机梯度下降法对yolo－tiny检测模型的模型参数进行优化，能够易于获得全局最优解，并且结合到yolo－tiny检测模型的检测对象是早孕周胎儿超声图像这一应用场景，考虑到系统识别的准确性要求，并兼顾系统运行的实时性和高速率要求，控制训练过程参数被配置为总迭代100轮、初始学习率为1
×
10
－3
，且每20轮下降一次学习率，能够在满足早孕周胎儿超声图像识别的前提下，寻求到检测早孕周胎儿超声图像场景下系统识别的准确度与高速率之间的最优平衡，进一步提高模型分析的准
确性以及效率。
148.在另一个可选的实施例中，所述分析模块将获取到的早孕周胎儿的原始超声图像输入至已经训练的基于多尺度残差神经网络的目标检测模型中进行检测的方式，包括：
149.根据早孕周胎儿的原始超声图像获取该早孕周胎儿的发育信息，并基于该早孕周胎儿的发育信息，确定该早孕周胎儿的孕周数据，基于多尺度残差神经网络的目标检测模型结合获取到的早孕周胎儿的原始超声图像以及该早孕周胎儿的孕周数据进行检测，其中，早孕周胎儿的发育信息包括早孕周胎儿头围、腹围、长骨长度中的至少一种，本发明实施例不做限定。
150.作为一种可选的实施方式，进一步，配置早孕周胎儿的原始超声图像为多帧连续静态图片，
151.以及，所述分析模块根据早孕周胎儿的原始超声图像获取该早孕周胎儿的发育信息，并基于该早孕周胎儿的发育信息，确定该早孕周胎儿的孕周数据的方式，包括：
152.当原始超声图像为多帧连续静态图片时，根据当前帧静态图片与前后帧静态图片中结构特征的位置变动数据，确定早孕周胎儿的动作信息，并基于早孕周胎儿的动作信息，对早孕周胎儿的孕周数据进行校准，其中，早孕周胎儿的动作信息包含吸吮、吞咽和局部结构特征的活动数据中的至少一种，局部结构特征包含肩关节、肘关节、腕关节、膝关节、踝关节、胳膊、小腿、手腕中的至少一种，本发明实施例不做限定。
153.在该可选的实施例中，利用胎儿动作在早孕周期的出现时间不同这一特性，如第9周开始出现关节、胳膊、小腿或手腕的活动现象，第12周开始出现吸吮、吞咽等活动现象，从另一途径确定早孕周胎儿的孕周数据，并基于动作确定的孕周数据对通过发育信息确定的孕周数据进行校准，从而对孕周达到准确的自动识别，有利于提高模型分析的准确性。
154.在一个可选的实施例中，装置还包括：
155.预处理模块，用于将获取到的早孕周胎儿的原始超声图像输入至已经训练的基于多尺度残差神经网络的目标检测模型之前，基于确定出的预处理方式对原始超声图像执行预处理操作，得到去除目标类型信息后的原始超声图像，并触发执行的输入至已经训练的基于多尺度残差神经网络的目标检测模型，其中输入至目标检测模型的原始超声图像均为去除目标类型信息后的原始超声图像，预处理操作包括裁剪和/或隐藏。
156.在该可选的实施例中，预处理操作包括裁剪和/或隐藏，目标类型信息可以是早孕周胎儿超声图像中的常态噪声，也可以是早孕周胎儿超声图像关于检测人员的隐私信息。
157.可见，本发明实施例在获取到早孕周胎儿超声图像之后，进一步对早孕周胎儿超声图像执行预处理操作，例如：裁剪和/或隐藏，能够将早孕周胎儿超声图像中的噪声/隐私信息滤除，有利于提高结构特征的获取效率以及精准性。
158.作为一种可选的实施方式，所述预处理模块基于确定出的预处理方式对原始超声图像执行预处理操作的方式，包括：
159.获取预先设定的至少一个固定区域位置参数，根据每个固定区域位置参数对早孕周胎儿超声图像的对应区域执行预处理操作，得到的去除目标类型信息的早孕周胎儿超声图像；和/或
160.获取用户于人机交互界面滑动圈定的选定区域位置参数，根据每个选定区域位置参数对早孕周胎儿超声图像的对应区域执行预处理操作，得到的去除目标类型信息的早孕
周胎儿超声图像。
161.可见，在可选的实施例中，通过灵活配置多种可选预处理方式，能够提高系统的适配程度，方便用户端的便捷操作，进而变相提高系统对结构特征的识别效率。
162.实施例四
163.请参阅图4，图4是本发明实施例公开的又一种基于多尺度残差神经网络的早孕周胎儿结构检测装置。其中，图4所描述的早孕周胎儿结构分割测量装置可以应用于检测服务器中，其中，该检测服务器可以包括本地检测服务器或云检测服务器，本发明实施例不做限定。如图4所示，该早孕周胎儿结构分割测量装置可以包括：
164.存储有可执行程序代码的存储器401；
165.与存储器401耦合的处理器402；
166.进一步的，还可以包括与处理器402耦合的输入接口403以及输出接口404；
167.其中，处理器402调用存储器401中存储的可执行程序代码，用于执行实施例一或实施例二所描述的早孕周胎儿结构检测方法中部分或者全部的步骤。
168.实施例五
169.本发明实施例公开了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机执行实施例一或实施例二所描述的早孕周胎儿结构检测方法中部分或者全部的步骤。
170.实施例六
171.本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行实施例一或实施例二所描述的早孕周胎儿结构检测方法中部分或者全部的步骤。
172.以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
173.通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(read-only memory，rom)、随机存储器(random access memory，ram)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、一次可编程只读存储器(one-time programmable read-only memory，otprom)、电子抹除式可复写只读存储器(electrically-erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
174.最后应说明的是：本发明实施例公开的一种基于多尺度残差神经网络的早孕周胎儿结构检测方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方
案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。