图像拼接的主要目的在于将来自不同视角，甚至是不同时间及设备捕获的图片拼接成一张视野更广阔且满足观感的拼接图像．相机捕获的图片的清晰度依赖于相机的分辨率，捕获视野越大局部的分辨率越低，而图像拼接技术可以在极大水平上弥补相机设备视野的局限性，在不降低分辨率的前提下得到视野更广的图像．因此，图像拼接被广泛应用到地质勘测、虚拟现实、医学诊断、航空航天等领域，也衍生出许多的图像拼接软件，著名的有Autostitch^［1］、微软的Image Composite Editor （http：∥research.microsoft.com/en⁃us/um/redmond/groups/ivm/ice）^［2］等．图像拼接的最终目标是在大视差、光照变化大的情况下，也可以生成尽可能自然的无缝相连的全景图．

最近，图像拼接算法使用基于空间的变换来对齐目标图像和参考图像，譬如，Lin et al^［2］采用网格化的仿射变换建立对齐模型，Zaragoza et al^［3］则采用网格化的单应性变换建立对齐模型．然而，图像拼接重叠区域的对齐性能和非重叠区域的自然效果是两个相互矛盾的指标，在大视差环境下，这些算法虽然可以在重叠区域精确地对齐，但遗憾的是，它们同时在非重叠区域引入了透视失真以及许多局部的不自然扭曲.后续的工作使用投影正则化从重叠区域过渡到非重叠区域，使图像看起来更自然，如Zhang and Liu^［4］使用经典的视频去抖算法（Content⁃Preserving Warps，CPW）^［5］进行优化，将目标图像划分为三个区域，依次将单应性变换过渡到相似变换，从而生成自然的结果．另外，Lin et al^［6］将全局相似约束到网格单元中．这些方法在一定程度上平衡了上述两个矛盾指标．

上述方法均采用计算图像之间的刚性变换来对齐目标图像和参考图像，而实际上，非刚性变换可以模拟更加复杂的变换.因此，本文采用薄板样条变换代替刚性变换，在很大程度上提高了对齐性能，还能减少非投影区域的透视失真．

本文的主要贡献：

（1）在少量标记点的前提下可以为变换的估计提供更加准确的先验信息（图1a），图中的蓝色标记点和红色标记点分别标记参考图像和目标图像；使用薄板样条配准对待拼接图像进行预拼接（图1b）.

（2）使用全局相似的约束优化图像非重叠区域（图1c），能够有效缓解非重叠区域由于视差大而引起的透视失真.

（3）使用交互的切缝算法处理重叠区域的伪影和不自然的部分（图1d），在很大的程度上提升了拼接图像的观感，也提升了算法的鲁棒性．

该算法在大部分场景都可以实现较好的拼接效果，并且在其他先进算法拼接结果不佳甚至无法进行拼接的场景下依然保持较好的拼接性能．

图像拼接算法通常经过以下步骤：首先对目标图像和参考图像进行特征点的检测和匹配，然后根据匹配点进行变换的估计，并将重叠区域对齐，最后，经过后处理消除伪影等．Szeliski^［7］介绍了比较系统的图像拼接相关流程．下面通过拼接算法的分类对相关研究进行回顾．

图像拼接研究领域一个最有里程碑的算法是Autostitch^［1］，它采用一个全局的单应性变换将两张具有重叠区域的图像对齐，在很长的一段时间里它满足了大部分需求，但它的实现前提是待拼接图片围绕同一个投影中心旋转，并且捕捉的是一个平面．实际应用中往往无法满足这些条件，如视差的存在会影响最后的对齐效果．Gao et al^［8］使用两个单应性变换分别对齐目标图像和参考图像的近地平面和背景平面，并使用切缝等后处理提升图像的拼接效果.Lin et al^［2］和Zaragoza et al^［3］通过计算网格单元之间的变换来对齐网格.但这些方法往往需要大量的特征信息，并且在视差较大的环境下，虽然这些算法在重叠区域可以提供一个良好的对齐，但也导致缺少特征点区域的自然效果，造成影响观感的透视失真和形状扭曲．

后续也有许多算法来平衡重叠区域的对齐效果和非重叠区域的自然效果．如Lin et al^［2］将目标图像划分为三个区域，依次将单应性变换过渡到相似变换，从而生成自然的结果；Lin et al^［6］在Zaragoza et al^［3］的基础上将全局相似项加入网格的变换约束，很大程度上优化了拼接的自然效果．不同于上述算法的对齐模型，本文算法采用非刚性变换方法薄板样条来进行对齐．薄板样条^［9-12］常应用于医学图像配准.医学图像若形变较大，对其进行弹性配准非常必要．

对于重叠区域，Gao et al^［13］认为这是一个非1即0的问题，通过切缝算法可以保证重叠区域不会出现伪影．后续也有算法^［13-19］致力于提升切缝的性能，通过不同的约束修改切缝成本的数据项和平滑项，得到效果不同的接缝．Li et al^［20］在此基础上，通过人眼感官的显著性规定切缝成本，以此保证切缝不经过人眼感官的高显著区域．由此可见切缝算法的高效性．

本文算法通过交互的方式利用薄板样条配准提供更加准确的对齐模型，继而使用全局相似性来约束图像的全局一致性，最后使用优化的图切算法让拼接区域更加自然清晰．

在图像拼接的任务中，常常需要提取一组对应特征点来估计其变换.经典算法通常使用检测算法检测对应特征点，但在特征点较少的场景下这么做不能很出色地完成配准任务，检测算法的不准确也会引入非必要的误差，影响后续的对齐模型的准确．

在医学图像配准的任务中，常常使用薄板样条配准.不同于刚性变换，薄板样条配准可以更加精准地对齐匹配点．在视差较大的环境下，若使用刚性变换进行拼接，会造成重叠区域的伪影.本研究受到学图像配准任务的启发，结合人机交互进行标记特征点和薄板样条算法进行配准任务．其优点在于：一方面可以提供更加准确的特征信息，即使在特征点不足的情况下依然可以完成配准任务；另一方面，采用非刚性变换，可以在大视差的环境下取代刚性变换，为拼接算法提供更加高效和灵活的对齐性能．

给出在不同时间、不同设备、不同视角拍摄的同一场景的目标图像和参考图像，用户手动选取两张待拼接图像中的一组对应标记点，如图2所示，其中，蓝色为参考图像标记点，红色为目标图像标记点．

薄板样条配准提供一个更加灵活的插值方法，常常应用于图像扭曲与变形中，这种变形方法可以模拟几乎全部生物有关的形变.给定一组确定的对应点，通过薄板样条进行插值可以令该组对应点重合．

给定参考图像和目标图像上的n对标记点分别为qi和pi，i=1,2,⋯,n，为了得到插值函数Φp，定义薄板的总能量项为：

其中，εΦ为对齐项，用于衡量变换前后所有标记点的距离差的和，即：

而λ是平滑项的权重系数，εS为平滑项，该项用于测量薄板的扭曲程度，由文献［19］给出：

为了得到扭曲程度最小且标记点对齐能力最佳的薄板，最小化式（1）可得：

其中，p为薄板上的任意一点，Ur为径向基函数，可表示为：

为了构造线性方程组，添加三个约束：∑i=1nwi=0，∑i=1nxiwi=0，∑i=1nyiwi=0，各个径向基函数的权值ωi以及a=a1,ax,ayT，通过下列方程组求解：

其中，Κ=Ur11Ur12⋯Ur21Ur22⋯⋯⋯Urnn由两两标记点之间的距离组成，Ρ=1x1y11x2y2⋮⋮⋮1xnyn由n行标记点坐标组成，v=v1,v2,⋯,vnT，vi=Φpi，由此分别解得ωi和a1,ax,ay，代入式（4），可得到任意像素点变换后的新坐标．

上节采取的变换和单应性变换或其他刚性变换相比，可以提供更加准确的映射，但是在两个视图的视差相差很大的情况下，会造成非重叠区域的透视失真．因此考虑将全局相似性的约束添加到变换中．计算全局相似性只利用重叠区域匹配的特征点，并将这些特征点进行分组，拟合不同组的相似性，并将旋转角度最小的相似性作为全局相似性．详细流程如下：

首先检测目标图像和参考图像的特征点并进行匹配，然后应用RANSAC（Random Sample Consensus）^［21］算法通过阈值的限制筛选离群点，再采用RANSAC算法使用不同的阈值对上述的内点进行拟合单应性变换，并且规定内点数目的上限.将这些内点作为同一组的内点，重复上述操作，得到不同组的内点，直到内点数目小于N．如图3所示，其中，蓝色点和红色点为不同组的内点，绿色点为外点．针对上面步骤不同组的内点，得到不同组的相似变换矩阵S，计算不同组的相似性变换的误差：

其中，pi是该组内点中目标图像中的点，qi是pi在参考图像中的匹配点.通过最小化上述的误差得到该组对应的相似性变换，重复操作，得到不同组内点的相似性变换，然后选择旋转角度较小的相似性作为全局相似性对上一节变换后的坐标进行约束：

这里的μt,μs分别代表薄板样条变换和全局相似变换的权值，Xt,Yt为薄板样条变换后的坐标，Xs,Ys为全局相似变换的坐标，Xw,Yw为两种变换约束后得到的新坐标，对两个权值进行约束：

为了让重叠区域更好地对齐，在重叠区域的边缘设置μt为“1”，使重叠区域更加满足标记点对齐的目的.μs从在重叠区域边缘的“0”线性化地过渡到非重叠区域边缘的“1”，使拼接图像的整体看起来更自然．拼接结果如图1c所示，和上一节所述变换的结果比较，可以观察到目标图像的非重叠区域旋转角度更轻微，整体拼接结果更自然．

在视差较大的前提下，由于参考图像和目标图像可能是从不同光线、不同时间、不同角度捕捉的，因此极可能造成重叠区域无法完美重合，甚至产生糟糕的模糊．针对这个问题，本节利用交互切缝算法对拼接图像进行优化．

给定两张对齐后的参考图像I0和目标图像I1，lp代表每个像素的标签，lp=0说明该像素点属于I0，lp=1则该像素点属于I1．如图4所示，切缝算法的目的是在参考图像和目标图像的重叠区域中找到一条两侧像素标签不同的切缝．

切缝计算问题可以表示为最小化切缝能量的标签问题，即一条由像素集合Ρ组成的切缝的能量为：

其中，N指四连通域，数据项Edp,lp代表切缝上的像素p被分配标签lp的数据成本，这里被定义为该像素位置的梯度，即：

标签lp决定了梯度∇I0或者∇I1将被用于计算像素p的数据项，平滑项Esp,q,lp,lq代表切缝上N连通域内的像素对p，q的不连续性：

其中，

代表该像素位置在I0和I1中的梯度差和．因此，当像素p，q被分配相同标签时，平滑项成本为0，被分配不相同标签时平滑项成本为Dp+Dq．

通过上面的切缝算法，可以计算一条最佳切缝将重叠区域分开，一部分标签来自参考图像，另一部分来自目标图像．这样的效果虽然在全局的观感上最自然，但是对于具有挑战的场景，常常能在局部观察到明显的切缝．因此，加入交互方式，用户可以自由决定拼接结果的局部来源于目标图像或者参考图像的标签，从而实现“选择性拼接”，达成用户观感最佳的拼接效果.

用户通过笔刷工具可以从目标或者参考图像选取想要保存到拼接结果的局部，这直接决定被选定区域的标签，并设置被选定区域的像素被分配选定标签的数据项为0，最后计算出最佳切缝．如图5所示，其中，红色标签位置使用参考图像的像素值，绿色标签位置使用目标图像的像素值．

使用提出的基于薄板样条配准和全局相似的图像交互拼接算法在APAP （As⁃Projective⁃As⁃Possible）^［3］和各种文献提供的数据集以及百度大脑提供的医学断层数据集（Ieee8023数据集，通过3D Slicer由不同角度捕捉）上进行测试，并将实验结果与其他主流软件和算法进行比较．比较的算法有Autostitch^［1］，APAP^［3］，SPHP （Shape⁃Preserving Half⁃Projective）^［4］，AANAP （Adaptive As⁃Natural⁃As⁃Possible）^［6］．这里仅展示经典样例Railtracks和Ieee8023断层面拼接的结果，更多的对比结果可参考相关文献．

实验使用APAP^［3］和各种文献提供的数据集以及百度大脑提供的医学断层数据集Ieee8023．

APAP^［3］提供了经典的拼接数据集，Ieee8023给出20组肺炎的医学断层面图，可通过3D Slicer软件捕捉大视差环境下的不同断层面．

使用提出的基于薄板样条配准和全局相似的图像交互拼接算法与其他四个算法对图片Railtracks和Ieee8023断层面进行拼接，由实验结果来证明本文算法的可行性．

图片Railtracks如图6所示.从拼接结果的整体效果看，Autostitch和SPHP在非重叠区域保持较高的相似性，而基于薄板样条配准和全局相似的图像交互拼接算法和AANAP采用全局相似与原始的变换相结合，同样缓解了非重叠区域的不自然现象．

图6右侧的三列局部图分别来自拼接结果图中的红框、蓝框和黄框部分.观察第二列的起重机细节，APAP和SPHP产生了起重机的伪影，可以看到两个起重机，而AANAP则可以观察到两张图片的交界处.观察第三列的建筑物细节，同样地，APAP和SPHP出现严重伪影，AANAP也有轻微伪影并出现了“两个起重机”的现象.观察第四列的铁轨细节，除了基于薄板样条配准和全局相似的图像交互拼接算法和Autostitch保持较高的清晰度，其余方法都有一定程度的伪影.Autostitch虽然清晰，但是可以看到部分铁轨的缺失、断裂和扭曲；而基于薄板样条配准和全局相似的图像交互拼接算法在保证清晰度的前提下，还保留了铁轨的形状特征．

Ieee8023断层面如图7所示，依次展示了APAP，SPHP，AANAP以及基于薄板样条配准和全局相似的图像交互拼接算法的拼接结果（由于视差较大，Autostitch无法进行拼接任务）.图7右侧的三列局部图分别来自拼接结果图中的红框、蓝框和黄框部分.可以发现，APAP右侧和AANAP底部出现了明显变形，并且在重叠区域有明显的伪影；SPHP虽然在整体上较自然，保持了参考图像和目标图像的相似性，但在重叠区域两侧出现了一定程度的凹陷；而基于薄板样条配准和全局相似的图像交互拼接算法通过优化的切缝算法有效地缓解了这个问题．

图像的平均梯度代表图像灰度变换率的平均值，常用于衡量图像的细节反差变换的速率，可用来表示图像的相对清晰程度，该值越大，图像越清晰，即：

其中，i,j分别代表图像的横坐标和纵坐标，M,N代表图像的长和宽，∂f∂x,∂f∂y分别代表水平方向和垂直方向的梯度．

为了进一步验证基于薄板样条配准和全局相似的图像交互拼接算法的性能，计算一组来自APAP^［4］和各种文献提供的数据集以及百度大脑提供的医学断层数据集Ieee8023的参考图像和目标图像在不同算法下生成结果的平均梯度，结果如表1所示，黑体字是最优的结果.所以基于薄板样条配准和全局相似的图像交互拼接算法在保持重叠区域的对齐性能的同时，缓解了非重叠区域的透视失真，提升了自然效果；而针对局部细节，避免了影响观感的局部扭曲和变形，还尽可能地保持了原始局部的形状结构特征与清晰度．

测试基于薄板样条配准和全局相似的图像交互拼接算法的鲁棒性，即在人机交互过程中的标记点不准确的情况下对最后拼接结果的影响．在Railtracks图像上进行测试，图8a展示了精确取标记点过程，图8b则展示了部分不准确标记点过程（有一半点未精确标记）．

由上面两组标记点生成的结果对比如图9所示，图9右侧的三列局部图分别来自拼接结果图中的红框、蓝框和黄框部分，可以发现整体上两次生成的拼接结果差别很小.通过对比局部图可以发现，两次生成的切缝位置不同.其他局部由于标记点的准确度不同，导致了位置的轻微变化，但是仍保持了清晰度和物体的形状结构.因此，在轻微不精确标记点的条件下，算法仍然可以生成自然而清晰的拼接结果，证明了该算法的鲁棒性．

本文提出一种基于薄板样条配准和全局相似的图像交互拼接算法，利用薄板样条具有鲁棒性的配准能力进行交互配准变形，再联合全局相似性保持非重叠区域的原始形状特征，最后通过交互切缝算法对拼接结果进行优化．实验结果表明，提出的算法不仅可以在局部提供高效的对齐能力，还可以保持全局的相似性，使拼接结果整体自然.通过交互的方式能够让用户更加满意，不仅能满足大部分场景的拼接需求，在医疗临床上更有良好的应用前景．