器械检测方法、装置和计算机设备与流程

1.本技术涉及信息技术领域，特别涉及一种器械检测方法、装置和计算机设备。


背景技术：

2.随着医学的进步，可以利用微创技术来执行手术。微创技术需要较小的切口，以将内窥镜穿过患者皮肤后插入体腔。内窥镜中可以内置相机，以捕捉体腔图像。体腔图像可被实时显示给医生，以帮助医生在直观的内部视角下进行检查和治疗。在手术过程中，经常需要使用手术器械进行辅助处理。例如，使用夹子进行止血和管道封闭操作，或者使用纱布进行止血和清理。


技术实现要素：

3.本技术提供了一种器械检测方法、装置、计算机设备和存储介质，可以有效避免因非必要的手术器械遗留体内而导致医疗事故的发生。
4.一方面，提供了一种器械检测方法，所述方法包括：
5.通过内窥镜采集体腔图像；
6.根据采集到的体腔图像，检测器械动作，所述器械动作是指对器械取出或放入的动作；
7.根据检测到的器械动作，调整器械数量，所述器械数量是指位于体内的器械的数量。
8.可选地，所述根据采集到的体腔图像，检测器械动作，包括：
9.每采集到多张体腔图像，检测所述多张体腔图像对应的器械动作，所述多张体腔图像是所述内窥镜采集的连续多张体腔图像，或者，所述多张体腔图像是从所述内窥镜在预设时长内采集的体腔图像中抽取出的多张体腔图像。
10.可选地，所述检测所述多张体腔图像对应的器械动作，包括：
11.将所述多张体腔图像输入动作识别模型，获得所述多张体腔图像对应的器械动作，所述动作识别模型用于识别多张体腔图像中出现的器械动作。
12.可选地，所述多张体腔图像是所述内窥镜采集的连续多张体腔图像，所述根据检测到的器械动作，调整器械数量之后，还包括：
13.将所述多张体腔图像中除最后一张体腔图像之外的其它体腔图像与调整前的器械数量进行对应存储，以及将所述多张体腔图像中的最后一张体腔图像与调整后的器械数量进行对应存储。
14.可选地，所述多张体腔图像是从所述内窥镜在预设时长内采集的体腔图像中抽取出的多张体腔图像，所述根据检测到的器械动作，调整器械数量之后，还包括：
15.将所述内窥镜在预设时长内采集的体腔图像中除最后一张体腔图像之外的其它体腔图像与调整前的器械数量进行对应存储，以及将所述内窥镜在预设时长内采集的体腔图像中的最后一张体腔图像与调整后的器械数量进行对应存储。
16.可选地，所述通过内窥镜采集体腔图像之前，还包括：
17.将每个器械类型的初始器械数量设为0；
18.所述根据采集到的体腔图像，检测器械动作，包括：
19.根据检测到的体腔图像，检测器械动作以及确定检测到的每个器械动作对应的器械类型；
20.所述根据检测到的器械动作，调整器械数量，包括：
21.每检测到一个器械放入动作，将所述器械放入动作对应的器械类型的器械数量加1；
22.每检测到一个器械取出动作，将所述器械取出动作对应的器械类型的器械数量减1。
23.可选地，所述调整器械数量之后，还包括：
24.显示所述器械数量。
25.可选地，所述方法还包括：
26.每采集到一张体腔图像，显示所述一张体腔图像；
27.所述显示所述器械数量，包括：
28.将所述器械数量与正在显示的体腔图像进行叠加显示。
29.可选地，所述通过内窥镜采集体腔图像之后，还包括：
30.每采集到一张体腔图像，确定所述一张体腔图像中的目标框位置信息，目标框用于指示存在器械的区域；
31.将所述一张体腔图像与所述一张体腔图像中的目标框位置信息进行对应存储。
32.可选地，所述确定所述一张体腔图像中的目标框位置信息，包括：
33.将所述一张体腔图像输入器械识别模型中，获得所述一张体腔图像中的目标框位置信息，所述器械识别模型用于识别体腔图像中存在的器械。
34.可选地，所述方法还包括：
35.若检测到录像播放指令，则播放已存储的体腔图像，并在播放所述一张体腔图像时，根据与所述一张体腔图像对应存储的目标框位置信息，在所述一张体腔图像中显示目标框。
36.一方面，提供了一种器械检测装置，所述装置包括：
37.采集模块，用于通过内窥镜采集体腔图像；
38.检测模块，用于根据采集到的体腔图像，检测器械动作，所述器械动作是指对器械取出或放入的动作；
39.调整模块，用于根据检测到的器械动作，调整器械数量，所述器械数量是指位于体内的器械的数量。
40.可选地，所述检测模块包括：
41.检测单元，用于每采集到多张体腔图像，检测所述多张体腔图像对应的器械动作，所述多张体腔图像是所述内窥镜采集的连续多张体腔图像，或者，所述多张体腔图像是从所述内窥镜在预设时长内采集的体腔图像中抽取出的多张体腔图像；
42.可选地，所述检测单元用于：
43.将所述多张体腔图像输入动作识别模型，获得所述多张体腔图像对应的器械动
作，所述动作识别模型用于识别多张体腔图像中出现的器械动作；
44.可选地，所述多张体腔图像是所述内窥镜采集的连续多张体腔图像，所述装置还包括：
45.第一存储模块，用于将所述多张体腔图像中除最后一张体腔图像之外的其它体腔图像与调整前的器械数量进行对应存储，以及将所述多张体腔图像中的最后一张体腔图像与调整后的器械数量进行对应存储；
46.可选地，所述多张体腔图像是从所述内窥镜在预设时长内采集的体腔图像中抽取出的多张体腔图像，所述装置还包括：
47.第二存储模块，用于将所述内窥镜在预设时长内采集的体腔图像中除最后一张体腔图像之外的其它体腔图像与调整前的器械数量进行对应存储，以及将所述内窥镜在预设时长内采集的体腔图像中的最后一张体腔图像与调整后的器械数量进行对应存储。
48.可选地，所述装置还包括：
49.设置模块，用于将每个器械类型的初始器械数量设为0；
50.所述检测模块，用于根据检测到的体腔图像，检测器械动作以及确定检测到的每个器械动作对应的器械类型；
51.所述调整模块，用于每检测到一个器械放入动作，将所述器械放入动作对应的器械类型的器械数量加1；每检测到一个器械取出动作，将所述器械取出动作对应的器械类型的器械数量减1。
52.可选地，所述装置还包括：
53.第一显示模块，用于显示所述器械数量。
54.第二显示模块，用于每采集到一张体腔图像，显示所述一张体腔图像；
55.可选地，所述第一显示模块包括：
56.显示单元，用于将所述器械数量与正在显示的体腔图像进行叠加显示。
57.可选地，所述装置还包括：
58.确定模块，用于每采集到一张体腔图像，确定所述一张体腔图像中的目标框位置信息，目标框用于指示存在器械的区域；
59.第三存储模块，用于将所述一张体腔图像与所述一张体腔图像中的目标框位置信息进行对应存储；
60.可选地，所述确定模块包括：
61.获取单元，用于将所述一张体腔图像输入器械识别模型中，获得所述一张体腔图像中的目标框位置信息，所述器械识别模型用于识别体腔图像中存在的器械。
62.可选地，所述装置还包括：
63.播放模块，用于若检测到录像播放指令，则播放已存储的体腔图像，并在播放所述一张体腔图像时，根据与所述一张体腔图像对应存储的目标框位置信息，在所述一张体腔图像中显示目标框。
64.一方面，提供了一种计算机设备，所述计算机设备包括处理器、通信接口、存储器和通信总线，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的程序，以实现上述的器械检测方法的步骤。
65.一方面，提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述的器械检测方法的步骤。
66.一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述的器械检测方法的步骤。
67.本技术提供的技术方案至少可以带来以下有益效果：
68.通过内窥镜采集体腔图像时，根据采集到的体腔图像检测器械动作，如此，可以在手术过程中实时检测出现的器械放入动作和器械取出动作。之后，根据检测到的器械动作，调整器械数量。如此，是在手术过程中实时统计器械数量，从而可以便于医生据此实现在手术过程中的器械检查或在手术结束后的器械复查，进而可以有效避免因非必要的手术器械遗留体内而导致医疗事故的发生。
附图说明
69.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
70.图1是本技术实施例提供的一种器械检测方法的流程图；
71.图2是本技术实施例提供的一种内窥镜系统的示意图；
72.图3是本技术实施例提供的一种器械检测装置的结构示意图；
73.图4是本技术实施例提供的另一种器械检测装置的结构示意图。
具体实施方式
74.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
75.应当理解的是，本技术提及的“多个”是指两个或两个以上。在本技术的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，为了便于清楚描述本技术的技术方案，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
76.在对本技术实施例进行详细地解释说明之前，先对本技术实施例的应用场景予以说明。
77.目前，在手术过程中，经常需要使用手术器械进行辅助处理，如使用夹子进行止血和管道封闭操作，或者使用纱布进行止血和清理。医生往往难以准确获知病人体内的手术器械数量，因而出现了许多不必要的手术器械遗留体内的医疗事故，导致病人需要进行二次手术，给病人造成额外痛苦。
78.为此，本技术实施例提供了一种器械检测方法，可以自动检测手术过程中手术器械放入体内的动作和从体内取出的动作，并据此智能统计位于体内的手术器械的数量。由
于在手术过程中实时统计了器械数量，所以医生可以据此实现在手术过程中的器械检查或在手术结束后的器械复查，从而可以有效避免因非必要的手术器械遗留体内而导致医疗事故的发生。
79.接下来对本技术实施例提供的器械检测方法进行详细说明。
80.图1是本技术实施例提供的一种器械检测方法的流程图。参见图1，该方法包括：
81.步骤101：通过内窥镜采集体腔图像。
82.需要说明的是，内窥镜是一个包括有内置相机的管子，可以经人体的天然孔道，或者经手术开的小切口进入人体内，然后采集体腔图像，从而可以帮助医生在直观的内部视角下进行检查和治疗。
83.另外，在手术过程中，内窥镜可以持续采集体腔图像，该体腔图像可以提供手术视野。进一步地，还可以对内窥镜采集到的体腔图像进行图像预处理，以便后续可以对该体腔图像进行图像检测、图像显示等操作。其中，图像预处理可以包括滤波、图像增强、图像二值化、形态学运算、边缘检测等，本技术实施例对此不作限定。
84.值得注意的是，本技术实施例中还可以每采集到一张体腔图像，就显示这一张体腔图像。如此，是实时采集体腔图像并显示，以便医生可以及时看到患者体内情况。
85.步骤102：根据采集到的体腔图像，检测器械动作，该器械动作是指对器械取出或放入的动作。
86.需要说明的是，在手术过程中经常需要使用手术器械进行辅助处理，如使用夹子进行止血和管道封闭操作，或者使用纱布进行止血和清理。因而在手术过程中经常会出现将手术器械放入体内或从体内取出的动作。本技术实施例中的器械动作可以为器械取出动作或器械放入动作，器械取出动作是指取出器械的动作，器械放入动作是指放入器械的动作。
87.另外，根据采集到的体腔图像检测到的器械动作就是该体腔图像能够反映出的器械动作，即是在采集该体腔图像时正在进行的器械动作。也就是说，本技术实施例可以在手术过程中实时检测当前正在进行的器械动作。
88.具体地，步骤102的操作可以为：每采集到多张体腔图像，检测该多张体腔图像对应的器械动作。
89.需要说明的是，该多张体腔图像可以是内窥镜采集的连续多张体腔图像。并且，每次用来进行器械动作检测的多张体腔图像可以是部分重复的连续图像，也可以是完全不重复的连续图像。例如，该多张体腔图像可以是内窥镜采集的连续10张体腔图像，也就是说，每采集到连续10张体腔图像，检测这10张体腔图像对应的器械动作。这种情况下，每次用来进行器械检测的10张体腔图像可以是如体腔图像1-体腔图像10、体腔图像2-体腔图像11、体腔图像3-体腔图像12等这种部分重复的连续图像，或者可以是如体腔图像1-体腔图像10、体腔图像11-体腔图像20、体腔图像21-体腔图像30等这种完全不重复的连续图像。
90.或者，该多张体腔图像可以是从内窥镜在预设时长内采集的体腔图像中抽取出的多张体腔图像。并且，抽取出的这多张体腔图像的顺序与这多张体腔图像的采集顺序一致。其中，预设时长可以根据使用需求进行设置，如预设时长可以是1秒、2秒等。例如，该多张体腔图像可以是从内窥镜在1秒内采集的体腔图像中抽取出的10张体腔图像，也就是说，在每秒采集到的体腔图像中根据采集顺序抽取出10张体腔图像，检测这10张体腔图像对应的器
械动作。
91.其中，检测该多张体腔图像对应的器械动作的操作可以为：将该多张体腔图像输入动作识别模型，获得该多张体腔图像对应的器械动作。
92.需要说明的是，动作识别模型用于识别多张体腔图像中出现的器械动作。该动作识别模型可以是卷积神经网络、循环神经网络、深度神经网络等神经网络模型。
93.另外，该动作识别模型可以是使用包括有不同器械动作的大量图像样本训练得到的。示例地，可以事先确定多个训练样本，对于该多个训练样本中的任意一个训练样本而言，这个训练样本的样本数据是多张体腔图像，这个训练样本的标签是其中出现的器械动作。然后可以使用该多个训练样本进行模型训练，具体可以是将该多个训练样本中的样本数据作为输入，将该多个训练样本的标签作为期望输出，进行模型训练，来得到该动作识别模型。
94.一种可能的情况下，在步骤102中，根据采集到的体腔图像仅检测器械动作，而不检测器械动作对应的器械类型。也就是说，只检测是否有器械取出或放入，而无需确定具体是哪种类型的器械取出或放入。其中，器械类型包括但不限于夹子、纱布等。
95.另一种可能的情况下，在步骤102中，根据采集到的体腔图像检测器械动作的同时，还可以确定检测到的每个器械动作对应的器械类型。这种情况下，可以在每采集到多张体腔图像时，检测该多张体腔图像对应的器械动作和器械类型。具体地，可以将该多张体腔图像输入动作识别模型，获得该多张体腔图像对应的器械动作和器械类型。
96.这种情况下，动作识别模型可以识别多张体腔图像中出现的器械的类型和其所进行的动作(即取出或放入)。该动作识别模型可以是使用包括有不同器械动作的大量图像样本训练得到的。示例地，可以事先确定多个训练样本，对于该多个训练样本中的任意一个训练样本而言，这个训练样本的样本数据是多张体腔图像，这个训练样本的标签是其中出现的器械的类型和其所进行的动作。然后可以使用该多个训练样本进行模型训练，具体可以是将该多个训练样本中的样本数据作为输入，将该多个训练样本的标签作为期望输出，进行模型训练，来得到该动作识别模型。
97.值得注意的是，本技术实施例中，可以是在步骤101中通过内窥镜采集到第一张体腔图像时，就开始持续执行步骤102。如此，是在内窥镜开始采集体腔图像的同时就检测器械动作。
98.或者，也可以是在步骤101中通过内窥镜采集体腔图像的过程中，当检测某张体腔图像中存在器械时，再从这张体腔图像开始持续执行步骤102。如此，在手术前期尚未使用手术器械时，不执行器械检测，在手术中开始使用手术器械时再开始进行器械检测，从而可以节省处理资源。
99.步骤103：根据检测到的器械动作，调整器械数量，该器械数量是指位于体内的器械的数量。
100.在手术过程中，随着手术器械放入体内以及手术器械从体内的取出，体内存在的手术器械的数量是不断变化的。因而本技术实施例中可以根据实时检测到的器械动作，来实时调整器械数量。也就是说，本技术实施例可以在手术过程中智能统计位于体内的手术器械的数量。由于在手术过程中实时统计了器械数量，所以医生可以据此实现在手术过程中的器械检查或在手术结束后的器械复查，从而可以有效避免因非必要的手术器械遗留体
内而导致医疗事故的发生。
101.一种可能的情况下，若在步骤102中不检测器械类型，则在手术之前，即在步骤101之前，由于体内是没有手术器械的，所以可以将初始器械数量设为0。继而在步骤103中，可以在每检测到一个器械放入动作时，将器械数量加1；在每检测到一个器械取出动作时，将器械数量减1。这种情况下，各种类型的器械的数量是综合起来的，所调整的器械数量是位于体内的各种类型的器械的总数量。
102.另一种可能的情况下，若在步骤102中检测了器械类型，则在手术之前，即在步骤101之前，由于体内是没有手术器械的，所以可以将每个器械类型的初始器械数量设为0。继而在步骤103中，可以在每检测到一个器械放入动作时，将此器械放入动作对应的器械类型的器械数量加1；在每检测到一个器械取出动作时，将此器械取出动作对应的器械类型的器械数量减1。这种情况下，各种类型的器械的数量是彼此独立的，所调整的器械数量是位于体内的每种类型的器械各自的数量。
103.值得说明的是，在手术过程中，可以实时识别手术视野中的手术器械放入体内的动作或者从体内取出的动作，并据此进行手术器械的数量统计，器械数量随着手术过程中的器械放入动作和器械取出动作而实时变化。如此，可以简单且准确地获知手术器械的数量。
104.进一步地，在步骤103调整器械数量之后，还可以显示该器械数量。如此，可以在手术过程中实时显示器械数量，从而可以及时提醒医生注意患者体内存在的手术器械的数量，实现医生在手术过程中对手术器械的检查。
105.具体地，可以将该器械数量与正在显示的体腔图像进行叠加显示。
106.由于该器械数量可以随着手术的进行而实时变化，所以可以将器械数量与实时显示的体腔图像进行叠加显示，以便医生在观看体腔图像的同时可以及时获知当前患者体内存在的手术器械的数量。
107.值得注意的是，当该器械数量不为0时，还可以确定手术器械状态为遗留状态。这种情况下，在显示体腔图像的同时，还可以显示用于指示手术器械遗留状态的指示信息，以便医生可以根据该指示信息快速获知当前体内存在手术器械的遗留。
108.进一步地，本技术实施例中可以进行录像，也即，可以在内窥镜采集体腔图像的过程中，对采集到的每张体腔图像进行存储。这种情况下，在步骤103调整器械数量之后，还可以将器械数量也写入录像信息中，也即，可以将体腔图像与器械数量进行对应存储，以使体腔图像与器械数量保持帧同步的关系。
109.具体地，若步骤102中是检测内窥镜采集的连续多张体腔图像对应的器械动作，则将该多张体腔图像中除最后一张体腔图像之外的其它体腔图像与调整前的器械数量进行对应存储，以及将该多张体腔图像中的最后一张体腔图像与调整后的器械数量进行对应存储。
110.若步骤102中是检测从内窥镜在预设时长内采集的体腔图像中抽取出的多张体腔图像对应的器械动作，则将内窥镜在预设时长内采集的体腔图像中除最后一张体腔图像之外的其它体腔图像与调整前的器械数量进行对应存储，以及将内窥镜在预设时长内采集的体腔图像中的最后一张体腔图像与调整后的器械数量进行对应存储。
111.如此，在手术结束后，在进行录像播放时，即在播放已存储的体腔图像时，可以在
播放每张体腔图像的同时，将与这张体腔图像对应存储的器械数量显示在这张体腔图像上，从而便于医生在手术结束后进行录像回放时确认手术器械的遗留情况，实现医生在手术结束后对手术器械的复查。
112.在本技术实施例中，通过内窥镜采集体腔图像时，根据采集到的体腔图像检测器械动作，如此，可以在手术过程中实时检测出现的器械放入动作和器械取出动作。之后，根据检测到的器械动作，调整器械数量。如此，是在手术过程中实时统计器械数量，从而可以便于医生据此实现在手术过程中的器械检查或在手术结束后的器械复查，进而可以有效避免因非必要的手术器械遗留体内而导致医疗事故的发生。
113.可选地，参见图1，在步骤101中通过内窥镜采集体腔图像之后，不仅可以通过步骤102-步骤103来调整器械数量，还可以执行如下步骤104-步骤105：
114.步骤104：每采集到一张体腔图像，确定这一张体腔图像中的目标框位置信息。
115.需要说明的是，目标框用于指示存在器械的区域，该区域通常可以为矩形区域。目标框位置信息可以包括目标框的大小(如目标框的长和宽)和目标框的中心点的坐标。
116.另外，本技术实施例中，在实时采集体腔图像的同时，还可以检测每张体腔图像中是否存在手术器械，并给出手术器械所在的具体位置(即目标框位置信息)。
117.其中，确定这一张体腔图像中的目标框位置信息的操作可以为：将这一张体腔图像输入器械识别模型中，获得这一张体腔图像中的目标框位置信息。
118.需要说明的是，器械识别模型用于识别体腔图像中存在的器械。该器械识别模型可以是卷积神经网络、循环神经网络、深度神经网络等神经网络模型。该器械识别模型可以是使用包括有不同器械的大量图像样本训练得到的。示例地，可以事先确定多个训练样本，对于该多个训练样本中的任意一个训练样本而言，这个训练样本的样本数据是体腔图像，这个训练样本的标签是其中存在的器械的具体位置。然后可以使用该多个训练样本进行模型训练，具体可以是将该多个训练样本中的样本数据作为输入，将该多个训练样本的标签作为期望输出，进行模型训练，来得到该器械识别模型。
119.另外，该器械识别模型与上述的动作识别模型可以是两个独立的模型。或者，该器械识别模型与该动作识别模型可以共用部分网络。
120.例如，该器械识别模型可以包括图像特征提取网络和器械检测网络，该图像特征提取网络用于提取图像特征并传输给器械检测网络，器械检测网络用于根据图像特征来检测器械位置并输出。该动作识别模型可以包括图像特征提取网络和动作检测网络，该图像特征提取网络用于提取图像特征并传输给动作检测网络，动作检测网络用于根据图像特征来检测器械动作并输出。这种情况下，该器械识别模型和该动作识别模型可以共用一个图像特征提取网络。
121.值得注意的是，本技术实施例中可以实时获取采集到的每张体腔图像中的目标框位置信息。这种情况下，在实时显示任意一张体腔图像的同时，还可以根据这张体腔图像的目标框位置信息在这张体腔图像中显示目标框，以便医生在观看体腔图像的同时可以及时获知当前出现的手术器械的位置。
122.步骤105：将这一张体腔图像与这一张体腔图像中的目标框位置信息进行对应存储。
123.本技术实施例中可以进行录像，也即，可以对采集到的每张体腔图像进行存储。并
且，可以将目标框位置信息也写入录像信息中，也即，可以将每张体腔图像与其中的目标框位置信息进行对应存储，以使体腔图像与目标框位置信息保持帧同步的关系。
124.进一步地，若检测到录像播放指令，则播放已存储的体腔图像，并在播放这一张体腔图像时，根据与这一张体腔图像对应存储的目标框位置信息，在这一张体腔图像中显示目标框。
125.如此，手术结束后，在进行录像播放时，若录像视野中出现手术器械，则会出现用于指示手术器械位置的目标框。也就是说，在手术前期没有使用手术器械的情况下，录像中不会出现目标框，在手术过程中使用手术器械时，会出现用于指示手术器械位置的目标框，从而便于医生在手术后进行录像回放时复查手术器械的使用情况。
126.需要说明的是，录像播放指令用于播放在手术过程中拍摄并存储的体腔图像。录像播放指令可以由用户触发，用户可以通过点击操作、手势操作、语音操作、体感操作等操作进行触发，本技术实施例对此不作限定。
127.在一些实施例中，在进行录像播放时，即在播放已存储的体腔图像时，可以选择性地进行目标框的显示，也即可以根据需求选择显示或不显示目标框。具体地，可以设置目标框显示功能；在目标框显示功能开启时，可以在播放已存储的一张体腔图像的同时，根据与这一张体腔图像对应存储的目标框位置信息，在这一张体腔图像中显示目标框；在目标框显示功能关闭时，仅播放存储的体腔图像，不执行目标框显示操作。
128.需要说明的是，目标框显示功能可以由用户手动开启或关闭。例如，可以在录像播放界面上设置一个目标框显示按钮；当检测到对目标框显示按钮的开启操作时，开启目标框显示功能；当检测到对目标框显示按钮的关闭操作时，关闭目标框显示功能。当然，也可以通过其他方式开启或关闭目标框显示功能，本技术实施例对此不作限定。
129.在本技术实施例中，通过内窥镜采集体腔图像时，每采集到一张体腔图像，确定这一张体腔图像中的目标框位置信息，如此，可以在手术过程中实时检测是否存在手术器械的使用。之后，将这一张体腔图像与这一张体腔图像中的目标框位置信息进行对应存储，从而便于医生在手术后进行录像回放时复查手术器械的使用情况。
130.上述图1所示的器械检测方法可以应用于内窥镜系统中，接下来结合图2对该内窥镜系统进行详细说明。
131.图2是本技术实施例提供的一种内窥镜系统的示意图。参见图2，该内窥镜系统可以包括：内窥镜21、智能检测装置22和显示装置23。智能检测装置12包括图像处理模块201、器械动作识别模块202、器械数量统计模块203、显示控制模块204、图像输出模块205、器械位置提取模块206、录像存储模块207。
132.其中，内窥镜11可以采集体腔图像，将采集的体腔图像传输到智能检测装置12中的图像处理模块201。
133.图像处理模块201接收内窥镜11采集的体腔图像并进行预处理，获得可以用于显示输出以及图像检测的体腔图像。
134.器械动作识别模块202获取图像处理模块201输出的预处理后的体腔图像，通过动作识别模型检测体腔图像中是否存在器械放入动作、器械取出动作。
135.器械数量统计模块203可以在器械动作识别模块202每检测到一个器械放入动作时，将器械数量加1；在器械动作识别模块202每检测到一个器械取出动作时，将器械数量减
1。如此，手术前期没有使用手术器械的情况下，统计的器械数量为0，在手术过程中，若手术视野中出现手术器械，则实时调整器械数量。
136.显示控制模块204将图像处理模块201输出的预处理后的体腔图像和器械数量统计模块203统计出的器械数量进行融合。
137.图像输出模块205将显示控制模块204融合后的图像输出到显示装置23，由显示装置23对融合后的图像进行实时显示，也即是将预处理后的体腔图像与统计出的器械数量进行叠加显示。
138.器械位置提取模块206获取图像处理模块201输出的预处理后的体腔图像，通过器械识别模型检测体腔图像中的目标框位置信息。
139.录像存储模块207将图像处理模块201输出的预处理后的体腔图像、器械数量统计模块203统计出的器械数量、器械位置提取模块206检测到的目标框位置信息进行对应存储。具体可以是将预处理后的体腔图像作为录像存储，将统计出的器械数量和检测到的目标框位置信息写入录像信息中。
140.图3是本技术实施例提供的一种器械检测装置的结构示意图。参见图3，该装置包括：采集模块301、检测模块302和调整模块303。
141.采集模块301，用于通过内窥镜采集体腔图像；
142.检测模块302，用于根据采集到的体腔图像，检测器械动作，器械动作是指对器械取出或放入的动作；
143.调整模块303，用于根据检测到的器械动作，调整器械数量，器械数量是指位于体内的器械的数量。
144.可选地，检测模块302包括：
145.检测单元，用于每采集到多张体腔图像，检测多张体腔图像对应的器械动作，多张体腔图像是内窥镜采集的连续多张体腔图像，或者，多张体腔图像是从内窥镜在预设时长内采集的体腔图像中抽取出的多张体腔图像；
146.可选地，检测单元用于：
147.将多张体腔图像输入动作识别模型，获得多张体腔图像对应的器械动作，动作识别模型用于识别多张体腔图像中出现的器械动作；
148.可选地，多张体腔图像是内窥镜采集的连续多张体腔图像，该装置还包括：
149.第一存储模块，用于将多张体腔图像中除最后一张体腔图像之外的其它体腔图像与调整前的器械数量进行对应存储，以及将多张体腔图像中的最后一张体腔图像与调整后的器械数量进行对应存储；
150.可选地，多张体腔图像是从内窥镜在预设时长内采集的体腔图像中抽取出的多张体腔图像，该装置还包括：
151.第二存储模块，用于将内窥镜在预设时长内采集的体腔图像中除最后一张体腔图像之外的其它体腔图像与调整前的器械数量进行对应存储，以及将内窥镜在预设时长内采集的体腔图像中的最后一张体腔图像与调整后的器械数量进行对应存储。
152.可选地，该装置还包括：
153.设置模块，用于将每个器械类型的初始器械数量设为0；
154.检测模块302，用于根据检测到的体腔图像，检测器械动作以及确定检测到的每个
器械动作对应的器械类型；
155.调整模块303，用于每检测到一个器械放入动作，将器械放入动作对应的器械类型的器械数量加1；每检测到一个器械取出动作，将器械取出动作对应的器械类型的器械数量减1。
156.可选地，该装置还包括：
157.第一显示模块，用于显示器械数量。
158.第二显示模块，用于每采集到一张体腔图像，显示一张体腔图像；
159.可选地，第一显示模块包括：
160.显示单元，用于将器械数量与正在显示的体腔图像进行叠加显示。
161.可选地，该装置还包括：
162.确定模块，用于每采集到一张体腔图像，确定一张体腔图像中的目标框位置信息，目标框用于指示存在器械的区域；
163.第三存储模块，用于将一张体腔图像与一张体腔图像中的目标框位置信息进行对应存储；
164.可选地，确定模块包括：
165.获取单元，用于将一张体腔图像输入器械识别模型中，获得一张体腔图像中的目标框位置信息，器械识别模型用于识别体腔图像中存在的器械。
166.可选地，该装置还包括：
167.播放模块，用于若检测到录像播放指令，则播放已存储的体腔图像，并在播放一张体腔图像时，根据与一张体腔图像对应存储的目标框位置信息，在一张体腔图像中显示目标框。
168.在本技术实施例中，通过内窥镜采集体腔图像时，根据采集到的体腔图像检测器械动作，如此，可以在手术过程中实时检测出现的器械放入动作和器械取出动作。之后，根据检测到的器械动作，调整器械数量。由于在手术过程中实时统计了器械数量，所以医生可以据此实现在手术过程中的器械检查或在手术结束后的器械复查，进而可以有效避免因非必要的手术器械遗留体内而导致医疗事故的发生。
169.需要说明的是：上述实施例提供的器械检测装置在器械检测时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的器械检测装置与器械检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
170.图4是本技术实施例提供的一种器械检测装置的结构示意图。参见图4，该装置可以为终端400，终端400可以是：智能手机、平板电脑、mp3播放器(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
171.通常，终端400包括有：处理器401和存储器402。
172.处理器401可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处
理器401可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器401可以集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器401还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
173.存储器402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器402还可包括高速随机存取存储器以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器402中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器401所执行以实现上述实施例提供的器械检测方法。
174.在一些实施例中，终端400还可选包括有：外围设备接口403和至少一个外围设备。处理器401、存储器402和外围设备接口403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口403相连。具体地，外围设备包括：射频电路404、触摸显示屏405、摄像头406、音频电路407、定位组件408和电源409中的至少一种。
175.外围设备接口403可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器401和存储器402。在一些实施例中，处理器401、存储器402和外围设备接口403被集成在同一芯片或电路板上；在一些其他实施例中，处理器401、存储器402和外围设备接口403中的任意一个或两个可以在单独的芯片或电路板上实现，本技术对此不加以限定。
176.射频电路404用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路404将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路404包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等。射频电路404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路404还可以包括nfc(near field communication，近距离无线通信)有关的电路，本技术对此不加以限定。
177.显示屏405用于显示ui(user interface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏405是触摸显示屏时，显示屏405还具有采集在显示屏405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器401进行处理。此时，显示屏405还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏405可以为一个，设置在终端400的前面板；在另一些实施例中，显示屏405可以为至少两个，分别设置在终端400的不同表面或呈折叠设计；在再一些实施例中，显示屏405可以是柔性显示屏，设置在终端400的弯曲表面上或折叠面上。甚至，
显示屏405还可以设置成非矩形的不规则图形，也即异形屏。显示屏405可以采用lcd(liquid crystal display，液晶显示屏)、oled(organic light-emitting diode，有机发光二极管)等材质制备。
178.摄像头组件406用于采集图像或视频。可选地，摄像头组件406包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件406还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
179.音频电路407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器401进行处理，或者输入至射频电路404以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器401或射频电路404的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路407还可以包括耳机插孔。
180.定位组件408用于定位终端400的当前地理位置，以实现导航或lbs(location based service，基于位置的服务)。定位组件408可以是基于美国的gps(global positioning system，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
181.电源409用于为终端400中的各个组件进行供电。电源409可以是交流电、直流电、一次性电池或可充电电池。当电源409包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
182.在一些实施例中，终端400还包括有一个或多个传感器410。该一个或多个传感器410包括但不限于：加速度传感器411、陀螺仪传感器412、压力传感器413、指纹传感器414、光学传感器415以及接近传感器416。
183.加速度传感器411可以检测以终端400建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器411可以用于检测重力加速度在三个坐标轴上的分量。处理器401可以根据加速度传感器411采集的重力加速度信号，控制触摸显示屏405以横向视图或纵向视图进行用户界面的显示。加速度传感器411还可以用于游戏或用户的运动数据的采集。
184.陀螺仪传感器412可以检测终端400的机体方向及转动角度，陀螺仪传感器412可以与加速度传感器411协同采集用户对终端400的3d动作。处理器401根据陀螺仪传感器412采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
185.压力传感器413可以设置在终端400的侧边框和/或触摸显示屏405的下层。当压力传感器413设置在终端400的侧边框时，可以检测用户对终端400的握持信号，由处理器401
根据压力传感器413采集的握持信号进行左右手识别或快捷操作。当压力传感器413设置在触摸显示屏405的下层时，由处理器401根据用户对触摸显示屏405的压力操作，实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
186.指纹传感器414用于采集用户的指纹，由处理器401根据指纹传感器414采集到的指纹识别用户的身份，或者，由指纹传感器414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器401授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器414可以被设置在终端400的正面、背面或侧面。当终端400上设置有物理按键或厂商logo时，指纹传感器414可以与物理按键或厂商logo集成在一起。
187.光学传感器415用于采集环境光强度。在一个实施例中，处理器401可以根据光学传感器415采集的环境光强度，控制触摸显示屏405的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏405的显示亮度；当环境光强度较低时，调低触摸显示屏405的显示亮度。在另一个实施例中，处理器401还可以根据光学传感器415采集的环境光强度，动态调整摄像头组件406的拍摄参数。
188.接近传感器416也称距离传感器，通常设置在终端400的前面板。接近传感器416用于采集用户与终端400的正面之间的距离。在一个实施例中，当接近传感器416检测到用户与终端400的正面之间的距离逐渐变小时，由处理器401控制触摸显示屏405从亮屏状态切换为息屏状态；当接近传感器416检测到用户与终端400的正面之间的距离逐渐变大时，由处理器401控制触摸显示屏405从息屏状态切换为亮屏状态。
189.本领域技术人员可以理解，图4中示出的结构并不构成对终端400的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
190.在一些实施例中，还提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中器械检测方法的步骤。例如，该计算机可读存储介质可以是rom(read-only memory，只读存储器)、ram(random access memory，随机存取存储器)、cd-rom(compact disc read-only memory，只读光盘)、磁带、软盘和光数据存储设备等。
191.值得注意的是，本技术提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。
192.应当理解的是，实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。该计算机指令可以存储在上述计算机可读存储介质中。
193.也即是，在一些实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述的器械检测方法的步骤。
194.以上所述为本技术提供的可选实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。