基于人工智能的结石图像识别方法、装置及设备与流程

1.本技术属于人工智能领域，尤其涉及基于人工智能的结石图像识别方法、装置及设备。


背景技术：

2.当人们在医院进行身体检查时，经常会包括b超检查项目。比如，通过b超检查人们的结石，包括如肾结石、胆结石等。通过对这些项目的检查，使得人们能够根据检查结果，更为清楚的了解自己的身体状况，或者制定相应的防治措施，避免病情进一步恶化。
3.在进行b超检查时，通常由检查人员，比如医生使用b超传感器在检查部位按压，然后在显示的图像上对结合进行标记，包括如标记最大直径等参数，然后保存所标记的图像。由于结石是立体形状，检查人员往往需要在不同角度采集图像，对采集的图像多次标记后再保存所需要的图像，整个操作过程较为麻烦，使得b超检查效率较低。


技术实现要素：

4.有鉴于此，本技术实施例提供了一种基于人工智能的结石图像识别方法、装置及设备，以解决现有技术中在进行结石检测时，操作过程较为麻烦，检查效率较低的问题。
5.本技术实施例的第一方面提供了一种基于人工智能的结石图像识别方法，所述方法包括：
6.通过传感设备采集包括结石的待识别图像；
7.对所述包括结石的待识别图像进行目标检测，确定所述待识别图像中所包括的结石的位置；
8.根据所确定的结石的位置，识别所述结石的轮廓；
9.根据所述结石的轮廓，确定所述结石图像中的结石尺寸；
10.根据不同采集角度的多个所述结石尺寸，生成所述结石图像对应的识别报告。
11.结合第一方面，在第一方面的第一种可能实现方式中，对所述包括结石的待识别图像进行目标检测，确定所述待识别图像中所包括的结石的位置，包括：
12.将所述待识别图像划分为第一预定数量的栅格；
13.将所划分的栅格输入到预先训练完成的边界框生成网络，获取第二预定数量的边界框，以及所述边界框属于结石的概率；
14.根据所述边界框属于结石的概率，通过非极大值抑制确定所述待识别图像中的结石的边界框，根据所识别的边界框确定所述结石的位置。
15.结合第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，根据所确定的结石的位置，识别所述结石的轮廓，包括：
16.对所确定的结石的边界框内的图像进行二值化处理，得到边界框内图像的二值化图像；
17.根据所述二值化图像，寻找边界框中的轮廓点，根据所述轮廓点绘制生成结石轮
廓。
18.结合第一方面的第一种可能实现方式，在第一方面的第三种可能实现方式中，在根据所述结石的轮廓，确定所述结石图像中的结石尺寸之后，所述方法还包括：
19.去除所确定的结石的边界框，显示所述结石图像在当前的采集角度下的结石的轮廓，以及所述轮廓的尺寸。
20.结合第一方面，在第一方面的第四种可能实现方式中，根据所述结石的轮廓，确定所述结石图像中的结石尺寸，包括：
21.根据所述结石的轮廓，确定所述结石的中心位置；
22.根据所述结石的中心位置确定在当前采集角度下的结石图像的多个直径，确定所述结石的最大直径和最小直径。
23.结合第一方面，在第一方面的第五种可能实现方式中，所述方法还包括：
24.获取传感设备在不同的采集角度所获取的结石的轮廓；
25.根据不同采集角度所获取的结石的轮廓，生成所述结石的三维图像。
26.结合第一方面，在第一方面的第六种可能实现方式中，获取传感设备在不同的采集角度所获取的结石的轮廓，包括：
27.当传感设备采集到结石的第一轮廓时，通过角度传感器获取采集所述第一轮廓的第一角度；
28.根据预设的需要进行轮廓采集的角度，确定当前未进行轮廓采集的角度；
29.根据预先设定的角度与采集部位的对应关系，生成未进行轮廓采集的部位的提示信息，在检测到处于需要进行轮廓采集的部位时获取结石的轮廓。
30.本技术实施例的第二方面提供了一种基于人工智能的结石图像识别装置，所述装置包括：
31.结石图像采集单元，用于通过传感设备采集包括结石的待识别图像；
32.结石位置确定单元，用于对所述包括结石的待识别图像进行目标检测，确定所述待识别图像中所包括的结石的位置；
33.结石轮廓识别单元，用于根据所确定的结石的位置，识别所述结石的轮廓；
34.结石尺寸识别单元，用于根据所述结石的轮廓，确定所述结石图像中的结石尺寸；
35.识别报告生成单元，用于根据不同采集角度的多个所述结石尺寸，生成所述结石图像对应的识别报告。
36.本技术实施例的第三方面提供了基于人工智能的结石图像识别设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述方法的步骤。
37.本技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述方法的步骤。
38.本技术实施例与现有技术相比存在的有益效果是：本技术通过对采集的结石图像进行目标检测，确定图像中的结石的位置，根据所检测的结石的位置识别结石的轮廓，获得结石尺寸，基于不同采集角度所采集的结石尺寸生成识别报告。由于该方法可以自动对图像中的结石位置、轮廓进行识别检测，并自动记录不同采集角度的结石尺寸，从而可以大大
的降低检测人员的操作难度，提高结石检测的效率。
附图说明
39.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
40.图1是本技术实施例提供的一种基于人工智能的结石图像识别方法的实现流程示意图；
41.图2是本技术实施例提供的一种确定结石位置方法的实现流程示意图；
42.图3是本技术实施例提供的待识别图像所识别的边界框示意图；
43.图4是本技术实施例提供的一种基于人工智能的结石图像识别装置的示意图；
44.图5是本技术实施例提供的基于人工智能的结石图像识别设备的示意图。
具体实施方式
45.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
46.为了说明本技术所述的技术方案，下面通过具体实施例来进行说明。
47.目前，在检查机构，包括如医院或体检中心进行结石检测时，通常需要由检测人员根据自己的经验，将检测设备对准结石位置，通过显示设备显示当前所采集的图像。检测人员根据图像中所显示的结石的大小，估计结石的尺寸。并且，由于检测设备与结石的距离及检测角度的不同，均会影响到结石图像中所显示的结石的尺寸，不利于检测人员准确的评估结石尺寸的同时，也不利于提高结石检查操作的效率。
48.基于此，本技术实施例提出了一种基于人工智能的结石图像识别方法，如图1所示，该方法包括：
49.在s101中，通过传感设备采集包括结石的待识别图像。
50.本技术实施例中，所述传感设备可以包括如b超设备、ct设备等结石检测设备。通过传感设备进行结石图像采集时，可以按照不同的采集角度，采集多个结石图像，从而能够更好的还原结石的尺寸信息。比如，结石的长度方向与采集角度的方向一致时，所采集的结石图像可能无法反应结石的长度信息，通过切换采集角度，使得所获得的结石图像能够有效的反应结石的长度信息，从而得到更为准确的结石尺寸。
51.当所述传感设备为b超设备时，检测人员可以通过b超探头接触检测部位，通过对该检测部位进行不同角度的检测，从而得到更为全面的结石尺寸信息。
52.在可能的实现方式中，可在b超探头设置角度传感器，比如可以设置罗盘或陀螺仪等。当检测人员通过b超探头进行检测时，在采集到结石图像时，读取角度传感器的角度数据，记录结石图像与采集角度的对应关系，从而便于后续对结石的尺寸计算和三维重建处理。
53.在可能的实现方式中，可以设定一次结石检查操作所需要的检测角度，当完成一个采集角度的图像采集后，根据预先设定的需要进行轮廓采集的角度，确定未完成轮廓采集的角度。可以根据未完成轮廓采集的角度，生成需要进行轮廓采集的操作角度的提示信息，以便工作人员可以根据该提示信息进行角度采集操作，避免采集到重复角度的图像，影响图像的准确性。比如，可以通过屏幕显示操作角度的图像、文字和/或语音提示的方式，提示检测人员按照下一个采集角度进行图像采集。
54.或者，也可以设定采集角度与采集部位的对应关系，根据下一个采集角度所对应的采集部位，提示检测人员按照下一个采集角度对应的采集部位进行采集。比如，在胆结石检测过程，当检测人员在腹部正面检测完成后，可以提示在腹部侧面，按照预定的倾斜角度进行图像采集。
55.在s102中，对所述待识别图像进行目标检测，确定所述待识别图像中所包括的结石的位置。
56.在本技术实施例中，对所述待识别图像进行目标检测，即检测待识别图像中包括的结石。从而便于根据检测结果对结石的大小进行分析。
57.其中，对待识别的图像进行目标检测时，可以如图2所示，包括：
58.在s201中，将所述待识别图像划分为第一预定数量的栅格。
59.可以按照预设的网格划分方式，将包括结石的待识别图像均匀划分为多个栅格。比如，可以将包括结石的待识别图像划分为s*s个网格，其中，s为预定的数值。
60.在s202中，将所划分的栅格输入到预先训练完成的边界框生成网络，获取第二预定数量的边界框，以及所述边界框属于结石的概率。
61.在进行结石检测时，可以将所划分的栅格输入到预先训练完成的边界框生成网络，通过边界框生成网络计算处理，在每个栅格中生成第二预定数量的边界框，以及得到每个边界框所框选的对象属于结石的概率。
62.其中，边界框属于结石的概率，也即边界框的置信度，可以包含两个方面，分别为边界框包含目标的可能性和边界框的准确度。边界框包含目标的可能性，即为边界框包含结石的可能性大小。当边界框中包含结石时，那该边界框的可能性为1，如果不包含结石，则边界框的可能性为0。边界框的准确度可以通过预测框与实际框的交并比来表示。交并比即预测框与实际框的交集与并集的比值。
63.在s203中，根据所述边界框属于结石的概率，通过非极大值抑制确定所述待识别图像中的结石的边界框，根据所识别的边界框确定所述结石的位置。
64.采用非极大值抑制算法确定结石的位置，可以用于解决同一个结石被多次检测的问题。比如，同一个结石属于多个栅格中，可能被多个边界框检测，通过非极大值抑制算法可以确定最准确的边界框。
65.采用非极大值抑制算法进行边界框选择时，可以先根据边界框的准确度，对边界框进行排序，选择出准确度最大的第一边界框，然后计算该第一边界框与其它边界框的交并比，如果计算到第一边界框与其它某个边界框，比如第二边界框的交并比大于一定值，则将该第二边界框剔除，重复上述过程，直到处理完成所有的边界框与第一边界框的计算检测。在未删除的边界框中，选择准确度第二大的边界框，依次与其它未删除的边界框进行计算，删除交并比大于一定值的边界框，直到完成所有的边界框的计算处理，从而将多余的边
界框删除。根据所确定的边界框，即可作为结石的位置。比如，结石的位置处于边界框内，或者结石的中心点位于边界框的中心位置。如图3所示，通过非极大值抑制处理后，可以得到包括结石的待识别图像中所包括的结石的边界框，在所述边界框中包括结石。
66.在s103中，根据所确定的结石的位置，识别所述结石的轮廓。
67.在确定了结石图像中的结石的位置后，为了便于检测人员确定结石的大小，本技术进一步确定所识别的结石的轮廓。
68.在识别结石的轮廓时，可以先对所确定的包括结石的边界框内的图像进行二值化处理，得到边界框内图像的二值化图像。
69.对边界框内的图像进行二值化处理，可以将边界框内的图像进行灰度处理，结合预先设定的灰度阈值，将边界框内的像素的灰度值与灰度阈值进行比较，确定边界框内的每个像素的值为0或1。
70.在对边界框内图像的像素进行二值化处理后，可以确定二值相交处为轮廓点，根据所确定的多个轮廓点，即可得到边界框内的结石的轮廓。
71.当然，在可能的实现方式中，还可以对所识别的轮廓进行过滤等优化处理，得到精度更高的结石的轮廓。
72.在s104中，根据所述结石的轮廓，确定所述结石图像中的结石尺寸。
73.在得到边界框内的结石的轮廓后，可以根据轮廓确定结石的中心位置。根据所确定的结石的中心位置，即可得到通过所述中心位置的任意两个轮廓点的连线。为了表述方便，我们称通过中心位置的两个轮廓点的连线为直径。可以根据传感设备所探测的信号，确定结石与传感设备之间的距离，结合传感设备所采集的结石图像的大小，即可确定结石图像与实际图像的比例大小。根据结石图像中的结石的直径的大小，结合结石图像与实际图像的比例，即可计算得到结石的真实直径。
74.由于结石的形状通常为不规则形状，因此，通过结石的中心点的直径中，会存在长度不同的多个直径。可以将所得到的结石轮廓中存在的多个直径进行比较，确定结石图像中的结石的最大直径和最小直径。
75.在s105中，根据不同采集角度的多个所述结石尺寸，生成所述结石图像对应的识别报告。
76.由于被检测部位的结石的形状可能不规则，或者被检测部位可能存在多个结石，因此，为了更为准确的得到结石的尺寸信息，需要在不同采集角度进行结石图像的采集。
77.在一般情况下，可以设定同一检测对象所必需的检测角度。当检测人员对检测对象进行检测时，可以按照检测顺序逐个采集角度进行检测。为了减少检测人员失误的几率，简化检测过程，在检测人员进行图像采集时，可以检测图像采集时的检测角度。比如，可以通过传感设备中设置的角度传感器，获取检测人员在采集当前图像时的采集角度。当已使用的采集角度与必须的采集角度进行比较，即可确定还需要进行采集的角度，可以通过声音、图像或文字提示的方式，提示检测人员进行下一个采集角度的图像采集。
78.比如，检测人员根据第一角度、第二角度和第三角度进行结石图像的采集后，由于操作失误，可能第三角度的结石图像的清晰度未能达到预定的要求，可以由系统提示检测人员重新按照第三角度进行结石图像的采集。
79.在可能的实现方式中，还可以设定不同采集角度与部位的对应关系。当需要提示
检测人员进行所需要的采集角度进行检测时，可以提示采集角度所对应的部位。比如腰部左方、腰部前方、腰部左前方等。或者还可以根据预设定的检测部位的标识，通过提示第一检测点、第二检测点、第三检测点的方式，以使得检测人员能够快速的定位需要检测的部位。
80.在可能的实现方式中，还可以根据检测到的结石的距离的大小，确定是否出现重叠的结石。比如，可以在检测同一个边界框中的结石与传感设备之间的距离的差值大于预定的距离阈值时，则认为该边界框中的结石为存在遮挡或重叠的结石，可以根据重叠的样式，确定下一个采集角度，使得下一个采集角度能够更为准确的对重叠的结石进行图像的采集，以便生成更为准确的结石报告。
81.比如，当检测到边界框中存在重叠的结石，且在当前的图像中，被遮挡的结石的相邻位置是否存在其它结石，根据不存在其它结石的方位，确定下一个采集角度，从而能够对被遮挡的结石进行图像采集时，得到更为准确的反应结石尺寸的图像。
82.在本技术实施例中，通过结石的轮廓确定结石的尺寸后，可以将结石的边界框去除，直接在图像中显示结石的轮廓，从而便于检测人员更为清晰的查看结石信息。在可能的实现方式中，还可以直接显示图像中的结石的轮廓和尺寸。所显示的尺寸可以包括轮廓的最大直径和最小直径。检测人员可以根据显示的尺寸信息，灵活的对采集角度进行调整，从而得到更为准确的采集图像。
83.在可能的实现方式中，通过不同角度采集得到结石的轮廓后，可以将所得到的多个轮廓进行融合，得到结石的三维图像，根据所得到的三维图像生成电子检测报告，便于被检测对象更为直观的查看检测结果。
84.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
85.图4为本技术实施例提供的一种基于人工智能的结石图像识别装置的示意图，如图4所示，该装置包括：
86.结石图像采集单元401，用于通过传感设备采集包括结石的待识别图像；
87.结石位置确定单元402，用于对所述包括结石的待识别图像进行目标检测，确定所述待识别图像中所包括的结石的位置；
88.结石轮廓识别单元403，用于根据所确定的结石的位置，识别所述结石的轮廓；
89.结石尺寸识别单元404，用于根据所述结石的轮廓，确定所述结石图像中的结石尺寸；
90.识别报告生成单元405，用于根据不同采集角度的多个所述结石尺寸，生成所述结石图像对应的识别报告。
91.图4所示的基于人工智能的结石图像识别装置，与图1所示的基于人工智能的结石图像识别方法对应。
92.图5是本技术一实施例提供的基于人工智能的结石图像识别设备的示意图。如图5所示，该实施例的基于人工智能的结石图像识别设备5包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52，例如基于人工智能的结石图像识别程序。所述处理器50执行所述计算机程序52时实现上述各个基于人工智能的结石
图像识别方法实施例中的步骤。或者，所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块/单元的功能。
93.示例性的，所述计算机程序52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本技术。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序52在所述基于人工智能的结石图像识别设备5中的执行过程。
94.所述基于人工智能的结石图像识别设备可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是基于人工智能的结石图像识别设备5的示例，并不构成对基于人工智能的结石图像识别设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于人工智能的结石图像识别设备还可以包括输入输出设备、网络接入设备、总线等。
95.所称处理器50可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
96.所述存储器51可以是所述基于人工智能的结石图像识别设备5的内部存储单元，例如基于人工智能的结石图像识别设备5的硬盘或内存。所述存储器51也可以是所述基于人工智能的结石图像识别设备5的外部存储设备，例如所述基于人工智能的结石图像识别设备5上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器51还可以既包括所述基于人工智能的结石图像识别设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述基于人工智能的结石图像识别设备所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
97.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
98.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
99.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出
本技术的范围。
100.在本技术所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
101.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
102.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
103.所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
104.以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。