专利名称：医用电子内窥镜标准视频图像畸变实时校正系统的制作方法
技术领域：
本实用新型涉及一种医疗仪器，特别是对医用电子内窥镜图像进行校正处理的系统装置。
背景技术：
为了提高医用电子内窥镜的观察范围，内窥镜需要有较大的视场(一般为120°)，而内窥镜头的直径又受到人体体腔的限制，成像系统的外形尺寸不可能很大，其成像光学系统也不可能很复杂，因此内窥镜光学成像系统一般存在较严重的光学畸变，影响医生正确判断病变部位。
通过复杂的透镜组减小图像畸变是一种理想的办法，但是因为医用电子内窥镜的自身结构与使用空间的限制，光学结构的设计与制造工艺存在很大的难度，甚至不可能实现。例如复杂的光学系统都是由多个透镜组成，而每个透镜都会引入两个反射面，使一部分成像光能因反射而损失掉，为了提高其透过率，就需要进行表面镀膜等处理。这无疑提高了光学系统的制造成本。
在医用电子内窥镜中，物体成像在CCD的光敏面上，转化为视频电信号后输出，送给标准显示设备，如监视器等进行显示，也可进入图像采集设备(如图像采集卡)进行数字化处理。因此，利用计算机完成几何畸变校正算法是很容易实现的。尽管如此，由于计算机运算速度的限制，软件只能实现对静态图像的畸变校正，不能对动态图像进行畸变的实时校正。
为了解决内窥镜图像畸变实时校正的问题，现有技术中公开了如下解决方案1、Asari，V.K.等人采用最小面积估计法对畸变进行校正，校正图象大小为256×192。Asari，V.K.等人采用单片VLSI(超大规模集成芯片)来实现整个系统的功能，达到了很高的集成度，但由于单片VLSI的处理能力有限，使得畸变校正系统图像分辨率太低，没有解决高分辨率图像畸变的实时校正问题。参见Non-linear spatial warping of endoscopic imagesan architecturalperspective for real time applications/Asari，V.K.// Microprocessors andMicrosystems，-2002，26(4).-161～1712、Olympus Optical Co.，Ltd.(Chiba；Masahiro)的立体视觉内窥镜系统采用实时图像畸变校正技术，但其图像源为逐行扫描的图像；对逐行扫描的视频图像进行实时处理，单位时间内所要读写和处理的数据量是同等图像质量的隔行扫描视频图像的两倍。所以，在高分辨率标准视频的场合下，该系统对处理器的处理能力、存储器的容量和读写速度都非常高，整个系统成本昂贵、体积庞大。参见Stereoscopic-vision endoscope system provided with function ofelectrically correcting distortion of image or the like with respect toleft-and right-hand image signals having parallax，independently of eachother US5,860,912/0lympus Optical Co.，Ltd.(Chiba；Masahiro).-1999.01.193、Interactive Pictures Corporation(Martin；H.Lee)的关于扫描图像的方法采用非线性扫描获取模拟图像像元，无法对图像进行插值处理，图像质量较低。参见Method for directly scanning a rectilinear imaging element usinga non-linear scan US6,243,131/Interactive Pictures Corporation(Martin；H.Lee).-2001.06.054、Ngo HT，Asari VK等人采用VLSI对广角摄像机输出的8-bit 2056×2056的图像进行实时校正。受到象素数据宽度的限制，其图像细节不明显，像值较低。参见A fully pipelined architecture for barrel-distortion correctionbased on back mapping and linear interpolation，International Conferenceon Embedded Systems and Applications/Ngo HT，Asari VK.-2003-268-274
发明内容本实用新型的目的是解决现有技术中存在的上述问题，提供一种能对高分辨率内窥镜彩色动态图像进行实时畸变校正，且能降低成本和减小系统尺寸的医用电子内窥镜标准视频图像畸变实时校正系统。
本实用新型医用电子内窥镜标准视频图像畸变实时校正系统，包括视频解码器、存储器、视频处理器和视频编码器组成，其中，存储器包括奇场和偶场输入帧存储器、奇场和偶场输出帧存储器以及标准样板畸变图像的校正数据存储器，从CCD摄像头输出的复合视频信号经视频解码器转换为数字图像后，分为奇场和偶场分别存储到相应输入帧存储器中，即当解码器输出奇或偶场图像时，将其写入奇或偶场输入帧存储器中；在存储奇或偶场图像的同时，校正偶或奇场图像，即视频处理器FPGA从标准样板畸变图像的校正数据存储器中读出偶或奇场图像的校正地址，并根据该地址从偶或奇场输入帧存储器中读出偶或奇场图像的灰度信息，写入到偶或奇场输出帧存储器；在校正偶或奇场图像的同时，从奇或偶场输出帧存储器中读出上一场的校正图像，送入编码器，编码输出校正视频信号。
本实用新型的优点和积极效果(1)实现了实时性。采用PAL/NTSC制式，场频50/60Hz，输出视频信号可直接送入监视器显示。图像从输入到输出的时间延时是两场时间，相当于40/33ms，因此，观察校正图像时，人眼根本感觉不到延时的存在，达到了实时性的设计要求。
(2)图像采样精度高。对畸变图像的采样、校正和编码都是按702×576像素点(PAL制)或795×596(NTSC制)个点大小进行的，输出视频信号的精度完全能够满足一般监视器的分辨率要求，校正图像清晰。
(3)实现了对彩色图像的畸变校正。由于校正过程是在YCbCr彩色空间下进行的，对色差信号两点一组校正，不改变输入畸变图像的颜色信息，而且输出图像上没有马赛克，没有孤立的亮点或黑点。
(4)采用隔行扫描标准视频图像，校正参数数据量为逐行扫描的一半，大大降低了系统成本。
图1是本新型的点阵样板图；图2是本新型的点阵样板光学中心确定方法图；图3是本新型的实时校正原理示意图；图4是本新型的畸变实时校正系统在实际使用中的连接原理图；图5是本新型的校正系统电路结构原理框图；图6是本新型的SRAM和线驱动连接及工作示意图；图7是本新型校正电路框图；图8是胃镜畸变图像；图9是图8校正后的图像。
具体实施方式实施例1工作原理本新型采用标准样板标定法畸变校正原理，就是利用特制的标准样板，使其通过待校正光学系统成像，由于光学系统本身存在着畸变，从而使像发生变形，根据样板理想设计参数和光学系统的放大率，计算出样板理想的无失真的像，比较它和实际像的差别，得到它们之间的函数关系。校正的过程就是利用这种函数关系来完成有畸变的实际像到无畸变的理想像的转换。
本新型的点阵样板由一些圆点按六角形排列，每一点与其六个邻点的距离都是相同的，如图1所示。同时圆点在三个方向(0°，60°，120°)上排列成直线，并且在每条直线上的点，其间距是相同的。利用这种排列的点阵，通过样板图像可方便地确定光学系统的光学中心。对于畸变的光学系统，物空间中的直线在像空间中一般不再是直线，而只有通过光学中心的直线是例外的。根据这种性质，在点阵样板的畸变图像上，只有通过光学中心的直线点列仍旧排列为直线，而其余偏离光学中心的直线将有不同程度的弯曲。由于点阵样板在三个特定方向(0°，60°，120°)上的点成直线排列，在样板畸变图像上找到三条最接近于直线排列的点列，用三条直线拟合相应的点列，这三条直线交点，就可近似认为是系统光学中心的位置。如图2所示。
在理想样板图像上选定一些像素点，并且找到它们在实际样板图像上对应的位置。在理想图像上选定的像素点集合，称为样点集合。在实际图像上相对应的像素的集合，称为对应点集合。利用点阵样板，可以确定这两个集合中像素点的坐标。
在畸变图像和样板图像上选择对应点，拟合畸变图像与样板图像间的函数关系。这样，对应点集也可以确定，从而也就得到了所需的畸变图像到理想图像的一组对应关系。
灰度校正。选择双线性内插方法。由于医用电子内窥镜输出图像是RGB格式的彩色图像，将其转换到YCbCr下进行，灰度校正不改变色差信号，只对亮度信号插值。
首先，用软件拟合出畸变函数，求出待校正图像上每个点在畸变图像中对应点的位置排列成表，并将其转换成便于在电路中使用的存储形式，固化到硬件存储器EPROM中作为硬件校正的查找表；然后，硬件电路根据从查找表中读出的校正数据，得到待校正点在畸变图像存储空间的位置，再把该位置的灰度写入校正图像上对应的存储位置就完成了校正。
所谓实时校正就是要完成对每隔输入畸变图像的校正，并把校正后的图像按输入顺序输出，换而言之，就是在畸变图像连续输入的“同时”，必须保证校正图像连续输出，不能有间断的现象。实现的方法是让校正图像相对输入延迟2场时间输出，即第3场畸变图像输入时，对第2场图像进行校正，与此同时输出第1场的校正图像，三场图像并行处理，这样就实现了连续性输出。实时校正的示意图见图3所示。
具体电路结构如图5所示电路结构原理框图，从CCD摄像头输出的复合视频信号经视频解码器转换为数字图像后，分为奇场和偶场分别存储到相应输入帧存储器中，即当解码器输出奇或偶场图像时，将其写入奇或偶场输入帧存储器中；在存储奇或偶场图像的同时，校正偶或奇场图像，即视频处理器FPGA从标准样板畸变图像的校正数据存储器(即查找表)中读出偶或奇场图像的校正地址，并根据该地址从偶或奇场输入帧存储器中读出偶或奇场图像的灰度信息，写入到偶或奇场输出帧存储器；在校正偶或奇场图像的同时，从奇或偶场输出帧存储器中读出上一场的校正图像，送入编码器，编码输出校正视频信号。
本新型采用24.6MHz的晶振作为输入到解码器当中，解码器内部采样频率13.5MHz，输出13.5MHz、27MHz两个频率的时钟；编码器输入时钟为解码器输出的13.5MHz时钟，实现编、解码同步。
具体校正电路见图7，从CCD摄像头输出的复合视频信号输入视频解码器后，分四路分别依次输入控制数据写入的线驱动X1、X3、X5、X7，然后再分别依次经输入帧存储器SRAM1、SRAM2、SRAM3、SRAM4后，再经读出的线驱动X2、X4、X6、X8后共同输入视频处理器FPGA1、FPGA2，该视频处理器通过数据线双向连接存放标准样板畸变图像的校正数据存储器L1～L8，并将校正后的图像信息分四路分别依次输入控制数据写入的线驱动X10、X12、X14、X16，然后再分别依次经输入帧存储器SRAM5、SRAM6、SRAM7、SRAM8后，再经读出的线驱动X9、X11、X13、X15共同输入视频编码器，经数/模转换为复合视频信号后输出图像显示。
如图中实线箭头所示，图像数据信号按输入、处理、输出的方向在电路中通过；图中长虚线代表寻址信号；点虚线代表配置信号；FPGA对SRAM和线驱动的控制信号见图6。EPG1和EPC2分别是两个FPGA的专用配置存储器，该存储器可由FPGA制造商提供。L1～L8是存放校正数据的查找表存储器。
具体工作过程——标准视频图像的编码与解码本系统所处理的动态图像为标准的电视制式NTSC(National TelevisionSystem Committee)制和PAL(Phase Alternation Line)制。校正图像的大小为702×576像素点(PAL制)或795×596(NTSC制)。两种视频制式均为隔行扫描方式。
视频解码器采用SAA7111，其功能是将输入的复合视频信号经模/数转换输出数字图像，即将模拟图像转换为数字图像，便于电路的内部处理。在硬件电路中，令编码器工作在PAL/NTSC制式下，隔行扫描，场频50/60Hz，输出图像的数据格式为16-bit 4:2:2 YUV(CCIR-601)，其中Y和UV均为8bit。为了便于图像处理，解码器输出图像大小与编码器输入图像大小相同，规定每场图像采样702×576像素点(PAL制)或795×596(NTSC制)个点。
视频编码器采用BT864，其功能是把输入的数字图像经数/模转换为复合视频信号输出，在硬件电路中，编码器也工作在PAL/NTSC制式下，输入数据格式为16-bit 4:2:2 YCbCr，行有效亮度分辨率702与场有效分辨率576(PAL制)，行有效亮度分辨率795与场有效分辨率596(NTSC制)。
——帧存储器和线驱动选用存储容量为256K×8bit的SRAM做帧存储器。由于每场图像的数据又分为8bit亮度信号和8bit色差信号，所以存储输入和输出图像共需要用8个SRAM芯片，其存储数据分配如下SRAM1(S1)存储输入奇场图像的色差信号UV7～UV0；SRAM2(S2)存储输入偶场图像的色差信号UV7～UV0；SRAM3(S3)存储输入奇场图像的亮度信号Y7～Y0；SRAM4(S4)存储输入偶场图像的亮度信号Y7～Y0；SRAM5(S5)存储输出偶场图像的亮度信号Yc7～Yc0；SRAM6(S6)存储输出奇场图像的亮度信号Yc7～Yc0；SRAM7(S7)存储输出偶场图像的色差信号CbCr7～CbCr0；SRAM8(S8)存储输出奇场图像的色差信号CbCr7～CbCr0。
数据隔离器件采用8位缓冲和线驱动，输入/输出数据为8bit，输入。线驱动控制数据输出的原理见图6所示当写偶场SRAM时，令X3OE＝0，使得YUV通过线驱动3进入线路a，同时令X4OE＝1，使YUV不能通过线驱动d，线路d中没有数据通过；读奇场SRAM时，令X1OE＝1，使YUV不能通过线驱动1，线路b中没有偶场数据，同时令X2OE＝0，使从奇场SRAM中读出的数据通过线驱动2，经线路c进入FGPA。因为线驱动的使能信号为高电平时，输出端为高阻态，此时与输出端连接的其它数据线上不可能输入数据，所以还要在线驱动的输出端接上拉电阻。由于每片SRAM需要2个线驱动来控制数据的流向，所以整个电路中共需要16个线驱动。
线驱动的使能信号X1OE、X2OE、X3OE和X4OE是由FPGA的逻辑进行控制，YUV为解码器输出的YUN格式的标准视频信号。本发明使用8个SRAM和16个线驱动。与SRAM连接的线驱动序号及相关使能信号的名称如下表。
对于奇场或偶场图像来说，其亮度信号Y和色差信号UV是同时输入/输出的，SRAM1和SRAM3分别存储奇场图像的色差信号和亮度信号，于是控制写SRAM1和SRAM3的线驱动X1和X5的使能信号是相同的，令其都为X1OE；同理控制读SRAM1和SRAM3的线驱动X2和X6的使能信号也是相同的，令其为X2OE。由表4-1可知，为了控制帧存储器的输入和输出数据流向，需X1OE、X2OE、X3OE、X4OE、X9OE、X10OE、X11OE和X12OE共8个使能信号。
——视频处理器FPGAFPGA(现场可编程门阵列)作为系统的视频处理器，主要完成六方面的工作1、解码器和编码器的I2C寄存器初始化设置，如图7所示；2、编码器的同步控制；3、帧存储器SRAM的寻址及控制信号的产生；
4、线驱动的控制逻辑；5、YUV与YCbCr的转换；6、查找表EPROM的寻址及控制信号的产生。
——查找表所谓查找表就是把校正图像上每个点在畸变图像上对应点的位置排列所成的表，其内容由软件通过点阵样板算法计算而来。在硬件电路中，查找表存储的是待校正点对应于存储畸变图像的帧存储器地址。查找表在硬件上用EPROM实现，由于存储亮度信号Y的校正地址和色差信号UV的校正地址都是18bit，在电路中共需要8片EPROM。
奇场图像和偶场图像可以分开进行校正，都用校正奇场图像的数据。
整个软件程序通常存储在电路板上的两个专用EPROM当中，上电以后即可迅速载入FPGA当中开始工作；在系统工作的同时，可以对软件程序进行在线调整和变更而不影响系统的正常工作。
如图4所示，该校正系统实际应用在内窥镜样机系统的位置示意。物体1经内窥镜光学系统2成像，由CCD3进行采集，输出的畸变图像以视频信号4的形式送入本发明校正电路5当中进行校正，校正图像同样以视频信号6的形式输出，并送入监视器7进行实时显示，或送入图像采集卡通过A/D转换存储在计算机中。
图8、9分别给出了胃镜畸变图像，和校正后的图像示意图。
权利要求1.一种医用电子内窥镜标准视频图像畸变实时校正系统，包括视频解码器、存储器、视频处理器和视频编码器组成，其特征是所述的存储器包括奇场和偶场输入帧存储器、奇场和偶场输出帧存储器以及标准样板畸变图像的校正数据存储器，从CCD摄像头输出的复合视频信号经视频解码器转换为数字图像后，分为奇场和偶场分别存储到相应输入帧存储器中，即当解码器输出奇或偶场图像时，将其写入奇或偶场输入帧存储器中；在存储奇或偶场图像的同时，校正偶或奇场图像，即视频处理器FPGA从标准样板畸变图像的校正数据存储器中读出偶或奇场图像的校正地址，并根据该地址从偶或奇场输入帧存储器中读出偶或奇场图像的灰度信息，写入到偶或奇场输出帧存储器；在校正偶或奇场图像的同时，从奇或偶场输出帧存储器中读出上一场的校正图像，送入编码器，编码输出校正视频信号。
2.根据权利要求1所述的医用电子内窥镜标准视频图像畸变实时校正系统，其特征是从CCD摄像头输出的复合视频信号输入视频解码器后，分四路分别依次输入控制数据写入的线驱动X1、X3、X5、X7，然后再分别依次经输入帧存储器SRAM1、SRAM2、SRAM3、SRAM4后，再经读出的线驱动X2、X4、X6、X8后共同输入视频处理器FPGA1、FPGA2，该视频处理器通过数据线双向连接存放标准样板畸变图像的校正数据存储器L1～L8，并将校正后的图像信息分四路分别依次输入控制数据写入的线驱动X10、X12、X14、X16，然后再分别依次经输入帧存储器SRAM5、SRAM6、SRAM7、SRAM8后，再经读出的线驱动X9、X11、X13、X15共同输入视频编码器，经数/模转换为复合视频信号后输出图像显示。
专利摘要一种医用电子内窥镜标准视频图像畸变实时校正系统。从CCD摄像头输出的复合视频信号经解码器转换为数字图像后，分为奇场和偶场分别存储到相应输入帧存储器中；同时，校正偶或奇场图像，从偶或奇场输入帧存储器中读出偶或奇场图像的灰度信息，写入到偶或奇场输出帧存储器；同时，从奇或偶场输出帧存储器中读出上一场的校正图像，送入编码器，编码输出校正视频信号。本实用新型实现了实时性。采用PAL/NTSC制式，场频50/60Hz，输出视频信号可直接送入监视器显示。图像从输入到输出的时间延时是两场时间，相当于40/33ms，因此，观察校正图像时，人眼根本感觉不到延时的存在，达到了实时性的设计要求。图像采样精度高。实现了对彩色图像的畸变校正。采用隔行扫描，大大降低了系统成本。
文档编号A61B1/00GK2698267SQ200420028590
公开日2005年5月11日 申请日期2004年3月23日 优先权日2004年3月23日
发明者郁道银, 陈晓冬, 谢洪波, 刘琳波, 宋玲玲, 李伟峰 申请人:天津大学