基于体积图像数据剖面密度自动搜索路线的主动漫游
基于体积图像数据剖面密度自动搜索路线的主动漫游
本文给出了由体积图像数据的剖面密度自动搜索主动漫游路线的一种方法，并应用于医学体积图像数据中管状结构的主动漫游.该方法直接利用体积数据信息，处理速度快，部分实际数据的实验表明，这是实现实时局部路径搜索的有效方法.
关键词:主动漫游；图像剖面密度；中心线搜索；图像体积数据；匹配滤波
automatic path finding in active navigation of volumetric image data by density profile image
yu wen-xue luo li-min shu hua-zhong
(department of biology and medical engineering,southeast university,nanjing 210096,china)
rené collorec
(lab of sim,university of rennes,france)
abstract:in this paper,we present a method for automatic path finding in active navigation of volumetric image data by using density profile image,and for active navigation of the tunnel-like structure in the medical volumetric image data.the method uses directly the volumetric data information,so it can achieve a high speed in processing.some experiments on real patient data show that this method is computationally efficient and allows a real-time local path determination.
key words:active navigation;density profile image;centerline determination;volumetric image data;matched filtering
一、引言
主动漫游［1］是图像引导传感器漫游的一项新内容，是指虚拟传感器自动搜索进入三维解剖体空腔(如血管等)路径的过程，它为提取、显示、分析、诊断和治疗该组织创造条件，也为三维人体局部可视化［2］提供了捷径.主动漫游不需要对数据源(ct或mri等图像)进行预处理，搜寻路径的计算可瞬间完成，计算机视觉中各种算法是这一方法的基础.
利用主动漫游实现虚拟内窥［3］，在许多方面优于实际传感器内窥.实际传感器内窥是一种有创的诊断方法，适用的场所是有限的，由它得到的图像虽然直接但不清晰，并且难定位和难重复.通过主动漫游实现虚拟内窥，通常可以避开这些缺点和限制.虚拟内窥一般仅用到人体的影像数据，因而诊断过程可脱离人体而在计算机里进行.借助计算机的强大计算和显示功能及日益发展的图像、图形技术，不仅可以实现更为全面的内窥诊断，而且可以为治疗过程提供指导和计划.
在体积图像数据中进行漫游的方法大体可分成两类：交互式的(interactive)［4～6］和主动的(active).前者根据有关知识和经验用交互设备(如鼠标)操纵屏幕中的虚拟摄像机在二维或三维图像中定位，优点是使用灵活，缺点是速度非常慢.后者直接或间接利用原始体数据实现对虚拟摄像机的自动定位，它又包括路线规划法(path planning)和主动漫游法(active navigating).路线规划法通过对立体数据图像进行预分割、二值化处理、区域增长和骨架化获得漫游路线，速度很慢，无法满足实时漫游的需要.文献［7］提出的主动漫游方法仅仅用到光线追踪信息而对原有信息视而不见，因而易使漫游迷失方向并导致运算量大增.本文提出的基于直接体积数据图像提取管状结构中心线的方法——基于图像剖面密度搜索中心线的方法——可望解决上述问题.
二、中心线点和图像剖面密度
1.中心线点
中心线是指所要搜寻管状体结构的骨架线，在这里它是有向曲线.中心线上的点叫做中心线点，记为(pi,ni)，有关向量定义如下：
位置：p=(xi,yi,zi),定义为中心线点在立体图像坐标系统中的空间位置，对于主动漫游，它表示虚拟摄像机的当前位置.
方向：ni=(nxi，nyi,nzi)，定义为中心线在位置pi处的梯度方向，对于主动漫游，它代表虚拟摄像机的摄影方向.
2.剖面密度平面和图像
对ct、mri等断层图像进行三维体积重建得到的体积图像可以看作是密度不同的实心体，用一平面对该实心体进行切割所得剖平面上的剖面图像信息称作剖面密度，剖面密度是分割和提取人体结构和形状的基本信息依据.剖面密度平面s即为上述立体数据图像的剖平面.若平面s经过p0,法线方向为n0，那么它的方程可写作
n0.(p-p0)=0 (1)
式中p代表平面s上的点.
对剖面密度平面s进行等间隔采样，采样点的密度值可通过对邻域点(取自原立体数据图像点阵)的密度插值得到，这样得到的平面图像，称作剖面密度图像，它是所要考察管状体的横截面，记作s［j］［i］.
在实现过程中，体元位置p=(x,y,z)被限制在一大小为(2u+1)×(2u+1)×(2u+1)的立方体中，而p0是其中心，见图1.设p=p0+d，其中d=(xd,yd,zd)为一增量.由式(1)可推知n0.d=0，即
(2)
利用该式，可以计算出剖面密度平面采样点的空间位置p，经平移变换后可得到采样点在原立体图像中的位置pm.通常，pm不正好处于原立体图像的采样点上，因而pm处密度值要通过对原立体图像的采样点插值获得.为了提高计算精度，我们利用了pm周围8邻域点密度值(图2)，通过下式计算pm处的密度值d(pm)
d(pm)=(1-γ){(1-β)［αd(0)+(1-α)d(1)］+β［αd(3)
+(1-α)d(2)］}+γ{(1-β)［αd(4)
+(1-α)d(5)］+β［αd(7)+(1-α)d(6)］} (3)
其中d(i),i=0,1,…,7表示邻域采样点密度值，α、β和γ表示pm到三个相互垂直面的距离(图2立方体边长设为1).
图1 剖面密度平面和图像
图2 p0与8邻域点
三、剖面密度图像分割和匹配滤波
要得到中心线位置，首先需从相关剖面密度图像分割出管状体的横截面区域.对于质量较好的图像，这个过程很简单，只要对设定门限后的图像进行区域标记.但是，对于低对比度体积数据图像，这个过程要复杂一些，要在分割之前进行预处理以增强图像.
通过图像分割求出管状体横截面后，接下来进行匹配滤波.理想情况下，管状体横截面的剖面密度是一半径为r、幅值为h的圆柱形.这样可将剖面密度图像与一个柱状的滤波器相匹配以增强管状结构区域，这里使用的柱状匹配数字滤波器(见图3)，表示如下 (4)
把输入图像记作s，滤波器模板记作h，把s和h进行卷积得到的图像记为u，即
(5)
或
利用性质h［j］［i］=h［-j］［-i］，上式可写作
(6)
图3 圆柱形匹配滤波器
四、中心线点的检测及更新
从当前中心线点位置pi出发，沿当前方向ni前进一个步长d(标量)后计算得到的新位置用下式来表示
pi+1=pi+d.ni (7)
d可以是定值，也可以根据当前管状体截面的半径r用式d=kd.r(kd为调整系数)进行自动调整.根据式(2)、(3)可求出在位置pi+1、法线方向为ni的剖面密度图像，再按上述方法对剖面密度图像进行分割和匹配滤波得到匹配图像u.
一般情况下，中心线点位置pi+1位于匹配图像u的最大值处，但是，鉴于管状体横截面的不规则性，也可能出现在其它位置或匹配图像中存在不止一个峰点的情形.在多峰点情况下，有必要对峰点作进一步的处理.我们的处理方法如下：把一个简单的阈值t加到匹配图像上，然后进行匹配标记，再从被标记的区域中找到重心作为中心点.阈值t是通过对匹配图像中非零值求平均值得到的.
中心线方向ni+1用下式进行更新(图4)
图4 通过改变轮廓密度平面及其法线确定新的中心线点
ni+1=(pi+1-pi)/‖pi+1-pi‖ (8)
信号的动态范围用式ri=(hi-bi)/hi来描述，hi表示剖面密度图像中以pi+1为中心、半径为r圆形区域的平均密度值，bi表示剖面密度图像其余区域的平均密度值.在搜索过程中，如果ri超过某一预先给定的门限值rt，即ri＞rt，表示搜索到管状体结构的尾部，于是终止搜索.
五、分叉识别与分支处理
分叉(分支)是自动搜索过程中必然遇到和最难处理的问题.几种必须考虑的情形是：y-形、t-形、r-形或k-形，见图5.在搜索过程中，这几种情形应区别对待.
图5 血管的不同分叉情形
对于y-形，剖面密度是一具有“小—大—两横截面”特点的序列串(图5-a中示出了这种特点)，上述搜索过程可以根据这一特点对中心线分叉点进行定位以及将分支连为一体.这里给出一个简单的规律可用来检验分支的存在性.如果
(a［i-2］＜a［i-1］＜a［i］)
且
(n［i-2］=1,n［i-1］=2,n［i］=1)
成立，则分支存在.这里a［i］表示被分割横截面的面积，n［i］表示标志区域的数目.
在t-形情况下，剖面密度在分叉处发生突变(见图5(b))，因而无法在剖面密度图上检测到正确的中心线点.如果沿中心线向前移动足够大距离计算剖面密度，剖面密度图又恢复到正确情形.上述现象正好说明t-形分支的存在和存在位置，我们只需取中心线的法面检验上述特点是否成立.
如果不考虑r-形的转角，r-形与k-形是相同的(见图5(c)).通常，它们各自的区域在剖面密度图像上连为一体.与其它情形不同，这里不需要进行分叉检测和分支配准，只需把它们分开，数学形态学中的闭合运算可用于解决这类问题.
六、结论
根据以上算法编程，将其应用于取自法国雷恩hpital du sud的颈动脉ct数据(图6，256×256×60)和法国magntec的脑血管mri数据(图7，256×256×74)进行主动漫游.图中，(a)表示原体积图像中过当前中心线点(两线的交叉点)的三个垂直剖面图像；(b)表示剖面密度图像的分割结果及中心线点的检测及更新过程(左图为当前中心线点，中图为检测到的下一步中心线点，右图为更新后的中心线点)；(c)表示通过该方法得到的主动漫游路径.
图6 颈动脉ct数据的主动漫游(共漫游21步，步长2mm)
图7 脑血管mri数据的主动漫游(共漫游61步，步长1mm)
实验表明文中提出方法是一种有效且快速的算法，对实现局部区域的实时主动漫游具有重要意义.另外，用光线跟踪方法对虚拟摄像机视野内组织结构进行三维显示和管状组织的定量测量正在研究之中，它对于血管栓塞等病变的定量分析有直接临床意义.
康佳集团携手隆利科技推出Mini-LED显示器
物联网在智能家居中都有哪些应用场景?
EPS电源割接的基础原则是怎样的
小米6发布会直播预告：小米6发布会直播地址、平台、亮点提前知道，小米6你值得等待
机器人对于儿童安全的教育与防护来说有很大的发展空间
基于体积图像数据剖面密度自动搜索路线的主动漫游
如何设计一个节约单片机端口资源的键盘电路
喷墨打印机打印头撞击故障的处理
带嵌入式MCU的8通道12位AD转换器ADuC812及其应用
农村为什么要发展光伏发电，有哪些优势？
第五波浪潮来袭，如何把人工智能放进每个终端？
变频无线发射机系统电路设计详解 —电路图天天读（188）
Synaptics拓展语音生态系统,支持微软Cortana集成
TMC2160大功率步进电机驱动板-CAN总线
如何处理中性点接地电阻柜漏电现象
PS2键盘编码Verilog源程序分享
科学家成功开发出自旋转移矩-磁性随机存储器
FANUC系统的数控机床过热故障如何检修
北斗+人工智能,打造极致出行体验
示波器实现高速全方位分析
本文给出了由体积图像数据的剖面密度自动搜索主动漫游路线的一种方法，并应用于医学体积图像数据中管状结构的主动漫游.该方法直接利用体积数据信息，处理速度快，部分实际数据的实验表明，这是实现实时局部路径搜索的有效方法.
关键词:主动漫游；图像剖面密度；中心线搜索；图像体积数据；匹配滤波
automatic path finding in active navigation of volumetric image data by density profile image
yu wen-xue luo li-min shu hua-zhong
(department of biology and medical engineering,southeast university,nanjing 210096,china)
rené collorec
(lab of sim,university of rennes,france)
abstract:in this paper,we present a method for automatic path finding in active navigation of volumetric image data by using density profile image,and for active navigation of the tunnel-like structure in the medical volumetric image data.the method uses directly the volumetric data information,so it can achieve a high speed in processing.some experiments on real patient data show that this method is computationally efficient and allows a real-time local path determination.
key words:active navigation;density profile image;centerline determination;volumetric image data;matched filtering
一、引言
主动漫游［1］是图像引导传感器漫游的一项新内容，是指虚拟传感器自动搜索进入三维解剖体空腔(如血管等)路径的过程，它为提取、显示、分析、诊断和治疗该组织创造条件，也为三维人体局部可视化［2］提供了捷径.主动漫游不需要对数据源(ct或mri等图像)进行预处理，搜寻路径的计算可瞬间完成，计算机视觉中各种算法是这一方法的基础.
利用主动漫游实现虚拟内窥［3］，在许多方面优于实际传感器内窥.实际传感器内窥是一种有创的诊断方法，适用的场所是有限的，由它得到的图像虽然直接但不清晰，并且难定位和难重复.通过主动漫游实现虚拟内窥，通常可以避开这些缺点和限制.虚拟内窥一般仅用到人体的影像数据，因而诊断过程可脱离人体而在计算机里进行.借助计算机的强大计算和显示功能及日益发展的图像、图形技术，不仅可以实现更为全面的内窥诊断，而且可以为治疗过程提供指导和计划.
在体积图像数据中进行漫游的方法大体可分成两类：交互式的(interactive)［4～6］和主动的(active).前者根据有关知识和经验用交互设备(如鼠标)操纵屏幕中的虚拟摄像机在二维或三维图像中定位，优点是使用灵活，缺点是速度非常慢.后者直接或间接利用原始体数据实现对虚拟摄像机的自动定位，它又包括路线规划法(path planning)和主动漫游法(active navigating).路线规划法通过对立体数据图像进行预分割、二值化处理、区域增长和骨架化获得漫游路线，速度很慢，无法满足实时漫游的需要.文献［7］提出的主动漫游方法仅仅用到光线追踪信息而对原有信息视而不见，因而易使漫游迷失方向并导致运算量大增.本文提出的基于直接体积数据图像提取管状结构中心线的方法——基于图像剖面密度搜索中心线的方法——可望解决上述问题.
二、中心线点和图像剖面密度
1.中心线点
中心线是指所要搜寻管状体结构的骨架线，在这里它是有向曲线.中心线上的点叫做中心线点，记为(pi,ni)，有关向量定义如下：
位置：p=(xi,yi,zi),定义为中心线点在立体图像坐标系统中的空间位置，对于主动漫游，它表示虚拟摄像机的当前位置.
方向：ni=(nxi，nyi,nzi)，定义为中心线在位置pi处的梯度方向，对于主动漫游，它代表虚拟摄像机的摄影方向.
2.剖面密度平面和图像
对ct、mri等断层图像进行三维体积重建得到的体积图像可以看作是密度不同的实心体，用一平面对该实心体进行切割所得剖平面上的剖面图像信息称作剖面密度，剖面密度是分割和提取人体结构和形状的基本信息依据.剖面密度平面s即为上述立体数据图像的剖平面.若平面s经过p0,法线方向为n0，那么它的方程可写作
n0.(p-p0)=0 (1)
式中p代表平面s上的点.
对剖面密度平面s进行等间隔采样，采样点的密度值可通过对邻域点(取自原立体数据图像点阵)的密度插值得到，这样得到的平面图像，称作剖面密度图像，它是所要考察管状体的横截面，记作s［j］［i］.
在实现过程中，体元位置p=(x,y,z)被限制在一大小为(2u+1)×(2u+1)×(2u+1)的立方体中，而p0是其中心，见图1.设p=p0+d，其中d=(xd,yd,zd)为一增量.由式(1)可推知n0.d=0，即
(2)
利用该式，可以计算出剖面密度平面采样点的空间位置p，经平移变换后可得到采样点在原立体图像中的位置pm.通常，pm不正好处于原立体图像的采样点上，因而pm处密度值要通过对原立体图像的采样点插值获得.为了提高计算精度，我们利用了pm周围8邻域点密度值(图2)，通过下式计算pm处的密度值d(pm)
d(pm)=(1-γ){(1-β)［αd(0)+(1-α)d(1)］+β［αd(3)
+(1-α)d(2)］}+γ{(1-β)［αd(4)
+(1-α)d(5)］+β［αd(7)+(1-α)d(6)］} (3)
其中d(i),i=0,1,…,7表示邻域采样点密度值，α、β和γ表示pm到三个相互垂直面的距离(图2立方体边长设为1).
图1 剖面密度平面和图像
图2 p0与8邻域点
三、剖面密度图像分割和匹配滤波
要得到中心线位置，首先需从相关剖面密度图像分割出管状体的横截面区域.对于质量较好的图像，这个过程很简单，只要对设定门限后的图像进行区域标记.但是，对于低对比度体积数据图像，这个过程要复杂一些，要在分割之前进行预处理以增强图像.
通过图像分割求出管状体横截面后，接下来进行匹配滤波.理想情况下，管状体横截面的剖面密度是一半径为r、幅值为h的圆柱形.这样可将剖面密度图像与一个柱状的滤波器相匹配以增强管状结构区域，这里使用的柱状匹配数字滤波器(见图3)，表示如下 (4)
把输入图像记作s，滤波器模板记作h，把s和h进行卷积得到的图像记为u，即
(5)
或
利用性质h［j］［i］=h［-j］［-i］，上式可写作
(6)
图3 圆柱形匹配滤波器
四、中心线点的检测及更新
从当前中心线点位置pi出发，沿当前方向ni前进一个步长d(标量)后计算得到的新位置用下式来表示
pi+1=pi+d.ni (7)
d可以是定值，也可以根据当前管状体截面的半径r用式d=kd.r(kd为调整系数)进行自动调整.根据式(2)、(3)可求出在位置pi+1、法线方向为ni的剖面密度图像，再按上述方法对剖面密度图像进行分割和匹配滤波得到匹配图像u.
一般情况下，中心线点位置pi+1位于匹配图像u的最大值处，但是，鉴于管状体横截面的不规则性，也可能出现在其它位置或匹配图像中存在不止一个峰点的情形.在多峰点情况下，有必要对峰点作进一步的处理.我们的处理方法如下：把一个简单的阈值t加到匹配图像上，然后进行匹配标记，再从被标记的区域中找到重心作为中心点.阈值t是通过对匹配图像中非零值求平均值得到的.
中心线方向ni+1用下式进行更新(图4)
图4 通过改变轮廓密度平面及其法线确定新的中心线点
ni+1=(pi+1-pi)/‖pi+1-pi‖ (8)
信号的动态范围用式ri=(hi-bi)/hi来描述，hi表示剖面密度图像中以pi+1为中心、半径为r圆形区域的平均密度值，bi表示剖面密度图像其余区域的平均密度值.在搜索过程中，如果ri超过某一预先给定的门限值rt，即ri＞rt，表示搜索到管状体结构的尾部，于是终止搜索.
五、分叉识别与分支处理
分叉(分支)是自动搜索过程中必然遇到和最难处理的问题.几种必须考虑的情形是：y-形、t-形、r-形或k-形，见图5.在搜索过程中，这几种情形应区别对待.
图5 血管的不同分叉情形
对于y-形，剖面密度是一具有“小—大—两横截面”特点的序列串(图5-a中示出了这种特点)，上述搜索过程可以根据这一特点对中心线分叉点进行定位以及将分支连为一体.这里给出一个简单的规律可用来检验分支的存在性.如果
(a［i-2］＜a［i-1］＜a［i］)
且
(n［i-2］=1,n［i-1］=2,n［i］=1)
成立，则分支存在.这里a［i］表示被分割横截面的面积，n［i］表示标志区域的数目.
在t-形情况下，剖面密度在分叉处发生突变(见图5(b))，因而无法在剖面密度图上检测到正确的中心线点.如果沿中心线向前移动足够大距离计算剖面密度，剖面密度图又恢复到正确情形.上述现象正好说明t-形分支的存在和存在位置，我们只需取中心线的法面检验上述特点是否成立.
如果不考虑r-形的转角，r-形与k-形是相同的(见图5(c)).通常，它们各自的区域在剖面密度图像上连为一体.与其它情形不同，这里不需要进行分叉检测和分支配准，只需把它们分开，数学形态学中的闭合运算可用于解决这类问题.
六、结论
根据以上算法编程，将其应用于取自法国雷恩hpital du sud的颈动脉ct数据(图6，256×256×60)和法国magntec的脑血管mri数据(图7，256×256×74)进行主动漫游.图中，(a)表示原体积图像中过当前中心线点(两线的交叉点)的三个垂直剖面图像；(b)表示剖面密度图像的分割结果及中心线点的检测及更新过程(左图为当前中心线点，中图为检测到的下一步中心线点，右图为更新后的中心线点)；(c)表示通过该方法得到的主动漫游路径.
图6 颈动脉ct数据的主动漫游(共漫游21步，步长2mm)
图7 脑血管mri数据的主动漫游(共漫游61步，步长1mm)
实验表明文中提出方法是一种有效且快速的算法，对实现局部区域的实时主动漫游具有重要意义.另外，用光线跟踪方法对虚拟摄像机视野内组织结构进行三维显示和管状组织的定量测量正在研究之中，它对于血管栓塞等病变的定量分析有直接临床意义.
康佳集团携手隆利科技推出Mini-LED显示器
物联网在智能家居中都有哪些应用场景?
EPS电源割接的基础原则是怎样的
小米6发布会直播预告：小米6发布会直播地址、平台、亮点提前知道，小米6你值得等待
机器人对于儿童安全的教育与防护来说有很大的发展空间
基于体积图像数据剖面密度自动搜索路线的主动漫游
如何设计一个节约单片机端口资源的键盘电路
喷墨打印机打印头撞击故障的处理
带嵌入式MCU的8通道12位AD转换器ADuC812及其应用
农村为什么要发展光伏发电，有哪些优势？
第五波浪潮来袭，如何把人工智能放进每个终端？
变频无线发射机系统电路设计详解 —电路图天天读（188）
Synaptics拓展语音生态系统,支持微软Cortana集成
TMC2160大功率步进电机驱动板-CAN总线
如何处理中性点接地电阻柜漏电现象
PS2键盘编码Verilog源程序分享
科学家成功开发出自旋转移矩-磁性随机存储器
FANUC系统的数控机床过热故障如何检修
北斗+人工智能,打造极致出行体验
示波器实现高速全方位分析