手术样本图像分析方法、装置、计算设备及存储介质

本技术涉及部署安装环境集成领域，更具体地涉及一种手术样本图像分析方法、装置、计算设备及存储介质。

背景技术：

1、各种手术包括经内镜下黏膜切除术、胃大部切除术、皮肤损害切除术、子宫切除术等切除的各种皮肤、黏膜标本，均需将切除的标本送至病理科进行病理诊断。据报道，内镜下镊子活检和切除标本(包括内镜粘膜下剥离术(endoscopic submucosal dissection，esd)和内镜粘膜切除术(emr))获得的组织学结果之间的差异率为2.7％-49％。在临床实践中，有时会出现早期胃癌(early gastric cancer，egc)内镜评估与病理结果不一致的情况，尤其是可疑病灶面积较小的情况下，很容易被低估。此外，对于缺乏凹陷(包括溃疡)或隆起区等明显形态特征的扁平病变，在内窥镜图像上重建精确的组织病理学重建更具挑战性，只能推测出粗略的病理图谱。标本在夹板上固定过程中的伸展和变形以及内窥镜摄影的水平翻转也会影响在内窥镜图像上重建病理的准确性。此外，由于需要内镜医师和病理医师共同审查和重新研究手术前的内镜和组织病理学图像，因此确定内镜评估和组织病理学结果之间的差异也非常耗时。为此，对手术样本图像分析后建模获取三维模型便于对切除标本进行诊断。

技术实现思路

1、本技术实施例提供一种手术样本图像分析方法、装置、计算设备及存储介质，根据不同的组件包和安装信息，实现智能手术样本图像分析，匹配个性化的组件包并实现集成安装，简化了安装过程，提高了可靠性。

2、一方面，本技术实施例提供一种手术样本图像分析方法，包括：获取目标用户在组织取样前的内窥镜图像；在对目标用户在组织取样，并对取样组织进行颜色标记之后，获取颜色标记后取样组织的宏观图像；对所述内窥镜图像和宏观图像进行预处理得到标准化的内窥镜图像和宏观图像；从标准化的内窥镜图像和宏观图像中提取共同的特征点；根据所述提取的共同的特征点，对所述标准化的内窥镜图像进行空间变换以使所述标准化的内窥镜图像和所述标准化的宏观图像对齐；识别并定位所述标准化的内窥镜图像和宏观图像中的病变区域；将所述病变区域分割出来，生成内窥镜病变图像和宏观病变图像；在获取所述病变区域对应的切片标本之后，对所述病变区域对应的切片标本图像进行病理分析，得到病理分析结果；根据所述内窥镜病变图像和宏观病变图像，利用神经网络模型构建三维样本重建模型。

3、在一个实施方式中，所述手术样本图像分析方法应用于windows系统，所述颜色标记后的取样组织的宏观图像是利用放大内窥镜窄带成像技术处理不同病变结构被不同颜色标记的取样组织之后得到的。

4、在一个实施方式中，所述预处理包括对比增强、噪声去除和统一尺寸，所述对所述内窥镜图像和宏观图像进行预处理得到标准化的内窥镜图像和宏观图像，包括：

5、调用图像增强算法对所述内窥镜图像和宏观图像进行图像增强处理，得到增强后的内窥镜图像和宏观图像；

6、调用高斯滤波器对所述增强后的内窥镜图像和宏观图像进行噪声去除处理，得到去噪后的内窥镜图像和宏观图像；

7、对所述去噪后的内窥镜图像和宏观图像进行裁切以使得所述去噪后的内窥镜图像和宏观图像的尺寸统一，得到标准化的内窥镜图像和宏观图像。

8、在一个实施方式中，所述从标准化的内窥镜图像和宏观图像中提取共同的特征点，包括：

9、调用特征检测器，利用特征点检测算法分别检测所述标准化的内窥镜图像中的第一特征点和宏观图像中的第二特征点，所述第一特征点和第二特征点分别有多个；

10、利用描述子计算算法计算所述第一特征点和第二特征点的描述子，所述第一特征点和第二特征点的描述子分别为包含所述第一特征点和第二特征点图像信息的数据集；

11、根据所述第一特征点和第二特征点的描述子，确定所述标准化的内窥镜图像和宏观图像中共同的特征点。

12、在一个实施方式中，所述根据所述提取的共同的特征点，对所述标准化的内窥镜图像进行空间变换以使所述标准化的内窥镜图像和所述标准化的宏观图像对齐，包括：

13、利用匹配算法对所述标准化的内窥镜图像和宏观图像进行特征点匹配，得到所述标准化的内窥镜图像和宏观图像的匹配点；

14、获取所述匹配点的坐标；

15、根据所述匹配点的坐标计算所述匹配点之间的单应性矩阵；

16、对所述标准化的内窥镜图像进行透视变换，根据所述匹配点的坐标使其与所述标准化的宏观图像对齐。

17、在一个实施方式中，所述将所述病变区域分割出来，生成内窥镜病变图像和宏观病变图像，包括：

18、调用边缘检测算法分别对所述标准化的内窥镜图像和宏观图像的病变区域进行边缘提取，确定样本病变区域的边缘位置；

19、获取所述样本病变区域的边缘位置中一个像素点的坐标，以该像素点为起点，调用区域生长算法将所述边缘位置的像素点连接起来，分别生成内窥镜病变图像和宏观病变图像。

20、在一个实施方式中，所述神经网络模型为包含多个卷积层的卷积神经网络模型，所述根据所述内窥镜病变图像和宏观病变图像，利用神经网络模型构建三维样本重建模型，包括：

21、将所述内窥镜病变图像、宏观病变图像和所述病理分析结果输入到所述神经网络模型中，根据内窥镜病变图像、宏观病变图像得到病变组织的多层二维图像；

22、对所述多层二维图像解析转换计算，得到所述病变组织的冠状位图和矢状位图；

23、根据所述病变组织的管桩位图和矢状位图，形成三维的样本重建模型。

24、第二方面，本技术实施例提供一种手术样本图像分析装置，具有实现对应于上述第一方面提供的手术样本图像分析方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。在一个实施方式中，所述手术样本图像分析装置包括：

25、第一获取模块：用于获取目标用户在组织取样前的内窥镜图像；

26、第二获取模块：用于在对目标用户在组织取样，并对取样组织进行颜色标记之后，获取颜色标记后取样组织的宏观图像；

27、预处理模块：用于对所述内窥镜图像和宏观图像进行预处理得到标准化的内窥镜图像和宏观图像；

28、提取模块：用于从标准化的内窥镜图像和宏观图像中提取共同的特征点；

29、配准模块：用于根据所述提取的共同的特征点，对所述标准化的内窥镜图像进行空间变换以使所述标准化的内窥镜图像和所述标准化的宏观图像对齐；

30、识别模块：用于识别并定位所述标准化的内窥镜图像和宏观图像中的病变区域；

31、分割模块：用于将所述病变区域分割出来，生成内窥镜病变图像和宏观病变图像

32、分析模块：用于在获取所述病变区域对应的切片标本之后，对所述病变区域对应的切片标本图像进行病理分析，得到病理分析结果；

33、重建模块：用于根据所述内窥镜病变图像和宏观病变图像，利用神经网络模型构建三维样本重建模型。

34、在一个实施方式中，所述第二获取模块中，所述颜色标记后的取样组织的宏观图像是利用放大内窥镜窄带成像技术处理不同病变结构被不同颜色标记的取样组织之后得到的。

35、在一个实施方式中，所述预处理包括对比增强、噪声去除和统一尺寸，所述预处理模块，具体用于：

36、调用图像增强算法对所述内窥镜图像和宏观图像进行图像增强处理，得到增强后的内窥镜图像和宏观图像；

37、调用高斯滤波器对所述增强后的内窥镜图像和宏观图像进行噪声去除处理，得到去噪后的内窥镜图像和宏观图像；

38、对所述去噪后的内窥镜图像和宏观图像进行裁切以使得所述去噪后的内窥镜图像和宏观图像的尺寸统一，得到标准化的内窥镜图像和宏观图像。

39、在一个实施方式中，所述提取模块，具体用于：

40、调用特征检测器，利用特征点检测算法分别检测所述标准化的内窥镜图像中的第一特征点和宏观图像中的第二特征点，所述第一特征点和第二特征点分别有多个；

41、利用描述子计算算法计算所述第一特征点和第二特征点的描述子，所述第一特征点和第二特征点的描述子分别为包含所述第一特征点和第二特征点图像信息的数据集；

42、根据所述第一特征点和第二特征点的描述子，确定所述标准化的内窥镜图像和宏观图像中共同的特征点。

43、在一个实施方式中，所述配准模块，具体用于：

44、利用匹配算法对所述标准化的内窥镜图像和宏观图像进行特征点匹配，得到所述标准化的内窥镜图像和宏观图像的匹配点；

45、获取所述匹配点的坐标；

46、根据所述匹配点的坐标计算所述匹配点之间的单应性矩阵；

47、对所述标准化的内窥镜图像进行透视变换，根据所述匹配点的坐标使其与所述标准化的宏观图像对齐。

48、在一个实施方式中，所述分割模块，具体用于：

49、调用边缘检测算法分别对所述标准化的内窥镜图像和宏观图像的病变区域进行边缘提取，确定样本病变区域的边缘位置；

50、获取所述样本病变区域的边缘位置中一个像素点的坐标，以该像素点为起点，调用区域生长算法将所述边缘位置的像素点连接起来，分别生成内窥镜病变图像和宏观病变图像。

51、在一个实施方式中，所述建模模块，具体用于：

52、将所述内窥镜病变图像、宏观病变图像和所述病理分析结果输入到所述神经网络模型中，根据内窥镜病变图像、宏观病变图像得到病变组织的多层二维图像；

53、对所述多层二维图像解析转换计算，得到所述病变组织的冠状位图和矢状位图；

54、根据所述病变组织的管桩位图和矢状位图，形成三维的样本重建模型。

55、第三方面，本技术实施例提供一种计算设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现第一方面所述的手术样本图像分析方法。

56、第四方面，本技术实施例提供一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得所述计算机执行如第一方面所述的手术样本图像分析方法。

57、本技术根据内窥镜病变图像和宏观病变图像重建手术样本三维模型，得到更图像质量的三维模型，便于后续与病理分析报告结合对比。