一种视频流处理显示方法、系统及存储介质与流程

本发明涉及人工智能技术领域，尤其涉及一种视频流处理显示方法、系统、电子设备及存储介质。

背景技术：

dicom(digitalimagingandcommunicationsinmedicine)即医学数字成像和通信，是医学图像和相关信息的国际标准。它定义了质量能满足临床需要的可用于数据交换的医学图像格式。

dicom图像文件内容由两个部分组成：包存参数信息的文件头(header)和图点数据(pixeldata)。每个dicom文件都必须包括该文件头。文件头的最开始是文件前言，它由128个字节00h组成，接下来是dicom前缀，它是一个长度为4字节的字符串“dicm”，可以根据该值来判断一个文件是不是dicom文件。文件头中还包括其它一些非常有用的信息，如文件的传输格式、生成该文件的应用程序等。图像像素则描述图像的每个点的亮度值。dicom包含4个内容层次：1.patient(病人)；2.study(检查)；3.series(系列)；4.image(图像)。

目前通过视频采集卡采集超声设备视频流方式可以满足动态模式和静态模式。但会面临下述问题：

1、当前动态视频ai识别结果和静态图像ai识别结果一致，但重新识别静态jpg图像结果不一致；

医生的工作流是先通过动态视频流查找可疑位置，再进行静态图片进行进一步的病灶判断。在动态视频上ai会实时的识别抽帧图像，在画面上实时绘制识别结果，医生此时从实时视频流中截取一张图像，存在图像识别结果和动态视频识别结果不一致问题。系统从视频流解码成图片，抽帧，ai预测抽帧的图像。抽帧的图像是原始的未压缩的rgb像素数据。动态视频流和静态图片来源一致，ai预测结果相同，产生的检出和分割的坐标点相同，因此当前动态视频抽帧图像和静态图像在图像上标注的位置相同，保存成静态jpg图像，发送到客户端显示图片和结节位置。此时客户端显示的图像和ai结果是正确的，和动态视频中的ai结果是相同的。但jpg有损压缩，无法还原原始像素值，解压缩后的值和内存中原始图像不同，再次导入jpg图像，ai识别结果不同。医生可能会对病人复诊，或者日后进行科研，会再次查看之前保存的图像，此时ai识别结果和之前识别结果不同。以上会导致产品不稳定，给医生带来困扰，甚至是误导医生，导致医疗事故。

2、成本高，两台主机，成本较高；

3、体积大，超声科室比较紧凑，两台设备往往会占用较大空间；

4、网络延时，两台主机间要通过经过各自的网卡收发数据，处理流程多。

技术实现要素：

本发明的目的在于提供一种视频流处理显示方法、系统、电子设备及存储介质，用于辅助医生诊断，提高医生分析图像的准确率，同时保证采集图像的实时性。

第一方面，本发明实施例提供了一种视频流处理显示方法，用于辅助医生诊断，包括以下步骤：

将原始视频流进行处理得到抽帧图像及未抽帧图像；

将所述抽帧图像输入ai模型，得到带有检出、分割的坐标点和分类结果的第一图像；

将所述未抽帧图像及所述第一图像编码成目标视频流；

将所述目标视频流通过rtsp推送到客户端进行显示。

可选地，将所述抽帧图像输入ai模型，得到带有检出、分割的坐标点和分类结果的第一图像包括：

将所述抽帧图像输入ai模型对病灶进行分类和检出、分割；

将检出、分割的坐标点和分类结果绘制到所述抽帧图像上得到第一图像。

可选地，所述图像处理显示方法还包括，对所述抽帧图像进行保存，同时保存所述抽帧图像为静态png图片。

可选地，所述图像处理显示方法还包括：

将所述静态png图片输入ai模型，得到带有检出、分割的坐标点和分类结果的第二图像；

将所述静态png图片和第二图像通过http协议发送到客户端进行显示。

第二方面，本发明实施例提供了视频流处理显示系统，所述图像处理显示系统包括：

超声设备，所述超声设备通过视频线连接到所述视频采集装置；

linux超声ai主机，所述超声ai主机安装有视频采集装置，所述视频采集装置用于获取所述超声设备的动态视频流；

手柄按键，所述linux超声ai主机捕获到触发事件，内存中保存抽帧图像，同时本地保存一张静态png图片。

第三方面，本发明实施例提供了一种视频流处理显示装置，所述装置包括：

第一图像获取模块，用于将原始视频流的抽帧图像输入ai模型，得到带有检出、分割的坐标点和分类结果的第一图像；

目标视频流获取模块，用于将原始视频流的未抽帧图像及所述第一图像编码成目标视频流；

第一推送模块，用于将所述目标视频流通过rtsp推送到客户端进行显示。

可选地，所述装置还包括：

保存模块，用于对所述抽帧图像进行保存，同时保存所述抽帧图像为静态png图片。

可选地，所述视频流处理显示装置还包括：

第二图像获取模块，用于将所述静态png图片输入ai模型，得到带有检出、分割的坐标点和分类结果的第二图像；

第二推送模块，用于将所述静态png图片和第二图像通过http协议发送到客户端进行显示。

第四方面，本发明提供了一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现上述的方法。

第五方面，本发明提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述方法的步骤。

有益效果

本发明提出了一种视频流处理显示方法，将原始视频流进行处理得到抽帧图像及未抽帧图像；将所述抽帧图像输入ai模型，得到带有检出、分割的坐标点和分类结果的第一图像；将所述未抽帧图像及所述第一图像编码成目标视频流；将所述目标视频流通过rtsp推送到客户端进行显示，提高医生分析图像的准确率，同时保证采集图像的实时性。

附图说明

图1为本发明实施例的一种视频流处理显示方法的流程图；

图2为本发明另一种实施例的一种视频流处理显示方法的流程图；

图3为本发明一种实施例的视频流处理显示系统的结构框图；

图4为本发明一种实施例的视频流处理显示装置的结构框图；

图5为本发明另一种实施例的视频流处理显示装置的结构框图；

图6为本发明实施例的一种电子设备的结构框图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

相关技术中，超声医生工作流程是：

检查医生操作探头在扫描部位移动，进行实时动态成像检查，探头扫描到可疑位置时，冻结图像，仔细观察图像，并给出诊断意见，由报告医生写入诊断报告中。即超声医生既要观察动态的视频流图像，也要观察静态的图片图像。目前在图像识别领域的人工智能技术，都是基于图像像素来处理。常见图像如bmp,jpg,png等每个像素都是r、g、b三个字节保存。1920*1080分辨率的图像由1920*1080个像素组成，一共由1920*1080*3个字节组成，每个字节由8bit组成，即rgb取值范围在0-255。两张图象，1920*1080*3*8个bit中只要有一个不同，则两张图象不同，ai会认为是两张图像，像素值不同，其预测结果很可能不同，但人的肉眼观察不出差异。为了节约存储空间，常见的图像保存格式为jpg，jpg为有损压缩，压缩率高，图片很小，如1920*1080分辨率的图片，bmp保存需要1920*1080*3/1024/1024＝5.93mb，而jpg仅需500k左右，接近1/12的大小。磁盘存储和网络传输都有优势。因此常用jpg格式来保存图片。

下面结合附图说明和具体实施例对本发明作进一步描述：

本发明的目的在于提供一种视频流处理显示方法，用于辅助医生诊断，便于医生采集图像，同时保证采集图像的实时性。

图1示出了本发明实施例的一种视频流处理显示方法的流程图；如图1所示，用于辅助医生诊断，所述视频流处理显示方法包括以下步骤：

s20、将原始视频流进行处理得到抽帧图像及未抽帧图像；

s40、将所述抽帧图像输入ai模型，得到带有检出、分割的坐标点和分类结果的第一图像；

s60、将所述未抽帧图像及所述第一图像编码成目标视频流；

s80、将所述目标视频流通过rtsp推送到客户端进行显示。

本实施例提出了一种视频流处理显示方法，将原始视频流进行处理得到抽帧图像及未抽帧图像；将所述抽帧图像输入ai模型，得到带有检出、分割的坐标点和分类结果的第一图像；将所述未抽帧图像及所述第一图像编码成目标视频流；将所述目标视频流通过rtsp推送到客户端进行显示，提高医生分析图像的准确率，同时保证采集图像的实时性。

具体地，将所述抽帧图像输入ai模型，得到带有检出、分割的坐标点和分类结果的第一图像包括：

将所述抽帧图像输入ai模型对病灶进行分类和检出、分割；

将检出、分割的坐标点和分类结果绘制到所述抽帧图像上得到第一图像。

相关技术中，超声医生工作流程是：

检查医生操作探头在扫描部位移动，进行实时动态成像检查，探头扫描到可疑位置时，冻结图像，仔细观察图像，并给出诊断意见，由报告医生写入诊断报告中。即超声医生既要观察动态的视频流图像，也要观察静态的图片图像。目前在图像识别领域的人工智能技术，都是基于图像像素来处理。常见图像如bmp,jpg,png等每个像素都是r、g、b三个字节保存。1920*1080分辨率的图像由1920*1080个像素组成，一共由1920*1080*3个字节组成，每个字节由8bit组成，即rgb取值范围在0-255。两张图象，1920*1080*3*8个bit中只要有一个不同，则两张图象不同，ai会认为是两张图像，像素值不同，其预测结果很可能不同，但人的肉眼观察不出差异。为了节约存储空间，常见的图像保存格式为jpg，jpg为有损压缩，压缩率高，图片很小。

鉴于超声医生既要观察动态的视频流图像，也要观察静态的图片图像，但jpg有损压缩，无法还原原始像素值，解压缩后的值和内存中原始图像不同，再次导入jpg图像，ai识别结果不同。医生可能会对病人复诊，或者日后进行科研，会再次查看之前保存的图像，此时ai识别结果和之前识别结果不同，会导致产品不稳定，给医生带来困扰，甚至是误导医生，导致医疗事故。

在一些实施例中，如图2所示，所述图像处理显示方法还包括，s201、对所述抽帧图像进行保存，同时保存所述抽帧图像为静态png图片。

优选的，所述图像处理显示方法还包括：

s201、将所述静态png图片输入ai模型，得到带有检出、分割的坐标点和分类结果的第二图像；

s203、将所述静态png图片和第二图像通过http协议发送到客户端进行显示。

本实施例由于保存的静态图片是无损压缩格式png，再次解压的像素值和原始图像的像素值相同，对ai来说是同一张图像，识别结果相同，保证ai进行的当前诊断结果和复诊诊断结果相同。

如图3所示，本发明实施例提供了视频流处理显示系统，所述图像处理显示系统包括：

超声设备100，所述超声设备通过视频线连接到所述视频采集装置201；

linux超声ai主机200，所述超声ai主机安装有视频采集装置201，所述视频采集装置201用于获取所述超声设备100的动态视频流；超声ai主机200直接从视频采集卡获取视频流，不存在网络丢帧问题。

手柄按键300，所述linux超声ai主机200捕获到触发事件，内存中保存抽帧图像，同时本地保存一张静态png图片。捕获到触发事件是指linux超声ai主机200接收到手柄按键300的工作指令；

本实施例中，超声ai主机上安装视频采集卡，超声设备通过视频线如hdmi等视频线连接到超声ai主机上的视频采集上，实现超声ai主机采集超声设备的显示成像画面。通过以上物理架构，超声ai主机可以获得超声设备的视频流和图片图像，从而辅助医生进行动态视频检查和静态图像检查。

如图4所示，本发明实施例提供了一种视频流处理显示装置，所述装置包括：

第一图像获取模块20，用于将原始视频流的抽帧图像输入ai模型，得到带有检出、分割的坐标点和分类结果的第一图像；

目标视频流获取模块40，用于将原始视频流的未抽帧图像及所述第一图像编码成目标视频流；

第一推送模块60，用于将所述目标视频流通过rtsp推送到客户端进行显示。

可选地，所述装置还包括：

保存模块201，用于对所述抽帧图像进行保存，同时保存所述抽帧图像为静态png图片。

本实施例提出了一种视频流处理显示装置，第一图像获取模块20将所述抽帧图像输入ai模型，得到带有检出、分割的坐标点和分类结果的第一图像；目标视频流获取模块40将所述未抽帧图像及所述第一图像编码成目标视频流；第一推送模块60将所述目标视频流通过rtsp推送到客户端进行显示，提高医生分析图像的准确率，同时保证采集图像的实时性。由于保存的静态图片是无损压缩格式png，再次解压的像素值和原始图像的像素值相同，对ai来说是同一张图像，识别结果相同，保证ai进行的当前诊断结果和复诊诊断结果相同。

在一些实施例中，如图5所示，所述视频流处理显示装置还包括：

第二图像获取模块202，用于将所述静态png图片输入ai模型，得到带有检出、分割的坐标点和分类结果的第二图像；

第二推送模块203，用于将所述静态png图片和第二图像通过http协议发送到客户端进行显示。

本实施例由于保存的静态图片是无损压缩格式png，再次解压的像素值和原始图像的像素值相同，对ai来说是同一张图像，识别结果相同，保证ai进行的当前诊断结果和复诊诊断结果相同。

本申请实施例还提供了一种电子设备，图6示出了可以应用本申请实施例的电子设备的结构示意图，如图6所示，该计算机电子设备包括，中央处理单元(cpu)701，其可以根据存储在只读存储器(rom)702中的程序或者从存储部分708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。在ram703中，还存储有系统700操作所需的各种程序和数据。cpu701、rom702以及ram703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。

以下部件连接至i/o接口705：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中视频流处理显示系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入电子设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的视频流处理显示方法。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。