基于张量链秩的彩色图像自适应重建方法

1.本发明属于图像处理技术领域，具体是一种基于张量链秩的彩色图像自适应重建方法。


背景技术：

2.随着数字图像处理在通信、医学、航空航天等领域得到广泛应用，作为数字图像处理的一个重要研究领域，图像恢复逐渐成为研究热点。由于彩色图像是天然的张量形式，因此对于彩色图像的重建问题可以视为张量补全问题。
3.张量链(tensor train，简写为tt)分解模型凭借更加平衡的矩阵化方式，解决了由于传统张量分解模型展开矩阵尺寸不平衡而导致秩最小化方案捕获张量全局信息效率低的问题，成为了近几年的研究热点。张量链分解模型能够充分捕捉不同维度数据之间的相关性，在数字信号处理、图像处理等方面有了成功的应用，借助张量增强技术将图像数据转换成高阶张量，基于张量链的图像补全方法实现了彩色图像的高质量重建。
4.目前基于tt方法的彩色图像重建都需要预先获取完整图像数据的秩信息，并且需要根据与原始图像对比的实验结果来不断调整参数，以达到最优的重建效果。而在实际问题中，待重建图像的数据是不完整的，无法获取完整图像数据的秩信息，因此现在的基于tt方法难以应用在实际问题中。此外，现有的基于tt方法以随机得到的初始秩，将已知数据的重建质量视作整体数据的重建质量，会造成的伪影，严重影响已知数据的重建质量，并且在图像数据缺失率过高时，已知数据的重建质量并不能代表整幅图像的重建质量。
5.综上，本技术提出一种基于张量链秩的彩色图像自适应重建方法，适用于所有类型的数据缺失的图像。


技术实现要素：

6.针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于张量链秩的彩色图像自适应重建方法。
7.本发明解决所述技术问题所采用的技术方案是：
8.一种基于张量链秩的彩色图像自适应重建方法，其特征在于，该方法包括下述步骤：
9.第一步、对待重建图像进行处理，生成基准图像和待补全的高阶张量；
10.第二步、对待补全的高阶张量的初始化张量链秩的第一阶张量链秩增加不同的偏移量，生成m个候选张量链秩，这m个候选张量链秩组成第一阶候选张量链秩列表；
11.第三步、对第一阶候选张量链秩列表中的每个候选张量链秩进行最小化处理，对待补全的高阶张量进行重建，得到m个重建后的张量；将每个重建后的张量转换成与待重建图像原始数据尺寸相同的图像，得到m张重建后的图像；
12.第四步、分别计算每张重建后的图像与基准图像之间的结构相似度，选择结构相似度最高的重建后的图像对应的候选张量链秩作为第一阶张量链秩，完成第一阶张量链秩
的选择和待补全的高阶张量的初始化张量链秩的更新；
13.第五步、对第四步中得到到待补全的高阶张量的初始化张量链秩的每阶张量链秩都重复执行第二～四步的操作，每阶张量链秩都进行选择，直到重建后的图像与基准图像之间的结构相似度大于0.95时，停止张量链秩的选择，待重建图像停止迭代，得到最优的重建图像。
14.采用德劳内三角化插值法对待重建图像进行补全，得到基准图像；利用张量增强方法生成待补全的高阶张量。
15.第三步中，对m个重建后的张量分别进行第一步中张量增强方法的逆操作，将重建后的张量转换成与待重建图像原始数据尺寸相同的图像。
16.待补全的高阶张量的初始化张量链秩r1＝r2＝
…
＝r
n
‑1＝1，n表示待补全的高阶张量的总阶数。
17.与现有技术相比，本发明的有益效果在于：
18.第一，利用德劳内三角化插值方法将待重建图像进行补全，以有效恢复待重建图像的大部分结构信息，将插值后的图像作为计算结构相似度的基准图像，用插值后图像的结构信息指引待补全的高阶张量的张量链秩最小化的重建方向，不需要借助待重建图像的原始数据结构就可以对缺失的图像进行重建，适用于所有类型的数据缺失的图像。
19.第二，在待重建图像原始完整数据未知的情况下，针对每一阶张量链秩，都采用回溯法生成候选张量链秩，并选择与基准图像结构相似度最高的重建后的图像对应的候选张量链秩作为每阶的张量链秩，将待重建图像逐次迭代得到最优的重建图像，解决了现有的基于张量链的补全方法难以实际应用的问题。
附图说明
20.图1为本发明的整体流程图；
21.图2为利用本发明与现有方法重建图像与原始待重建图像的结构相似度对比图；
22.图3为利用本发明与现有方法重建图像与原始待重建图像的峰值信噪比对比图。
具体实施方式
23.下面结合具体附图及实施例对本发明的技术方案进行详细说明，但并不用于限定本技术的保护范围。
24.本发明为一种基于张量链秩的彩色图像自适应重建方法(简称方法)，该方法包括下述步骤：
25.第一步、生成基准图像和待补全的高阶张量；
26.待重建图像为部分数据缺失的图像，记为为实数域，p为正整数；待重建图像为随机缺失算子ω作用在标准彩色图像上得到的，记为已知数据在待重建图像中的位置为索引位置，待重建图像中除索引位置外的其余位置的灰度值均为0；利用德劳内三角化插值法对待重建图像进行补全，以有效恢复待重建图像的结构信息，得到基准图像δ()表示基于德劳内三角化的插值算子；
27.利用张量增强方法对待重建图像的数据进行重新排列，在不改变数据结构的情
况下将待重建图像转换为待补全的高阶张量阶数n＝p+1；张量增强的具体过程为：首先构建初始数据块，并将待重建图像的数据重新排列为多个初始数据块；初始数据块的像素位置记为i1，包含2
×
2个像素点，对应一种颜色j，j＝1,2,3，分别表示红色、绿色和蓝色，则初始数据块被表示为：
[0028][0029]
式(1)中，c
i1j
表示颜色j对应的各个点的像素值，表示像素位置i1对应的正交基，e1＝(1,0,0,0)，e2＝(0,1,0,0)，e3＝(0,0,1,0)，e4＝(0,0,0,1)；u
j
表示颜色j对应的正交基，u1＝(1,0,0)，u2＝(0,1,0)，u3＝(0,0,1)；表示张量积；
[0030]
将初始数据块扩展为包含4
×
4个像素点的数据块二将待重建图像的数据重新排列为多个数据块二；数据块二被表示为：
[0031][0032]
式(2)中，i2表示数据块二的像素位置，表示颜色j对应的各个初始数据块的像素值，表示像素位置i2对应的正交基；
[0033]
同理，依次构建包含更多像素点的数据块，通过不断扩展这个寻址和重新排列的过程，则待重建图像重新排列为待补全的高阶张量待补全的高阶张量被表示为：
[0034][0035]
式(3)中，i
p
表示待补全的高阶张量的像素位置，表示颜色j对应的各个数据块的像素值，表示像素位置i
p
对应的正交基；
[0036]
第二步、对待补全的高阶张量的初始化张量链秩的第一阶张量链秩r1增加不同的偏移量，生成m个候选张量链秩，这m个候选张量链秩组成第一阶候选张量链秩列表；待补全的高阶张量的初始化张量链秩表示为l＝(r1,r2,...,r
k
,...,r
n
‑1)，r1＝r2＝
…
＝r
n
‑1＝1；k＝1,2,...,n
‑
1，n表示待补全的高阶张量的总阶数；第一阶候选张量链秩列表为的总阶数；第一阶候选张量链秩列表为表示第一阶张量链秩的第d个候选张量链秩，δ
d
＝2
d
表示偏移量列表δ＝[21,22,...2
d
...,2
m
]中的第d个偏移量；
[0037]
第三步、利用式(4)对第一阶候选张量链秩列表中的每个候选张量链秩进行最小化处理，对待补全的高阶张量进行重建，得到m个重建后的张量；
[0038][0039]
其中，|| ||
f
表示frobenius范数算子，表示待补全的高阶张量第k阶张量链的矩阵化；分别为矩阵c
[k]
的分解矩阵；表示待补全的高阶张量的第k阶张量链秩的第d个候选张量链秩；n表示矩阵列数；α
k
是加权系数，为常数，是加权系数，为常数，表示随机缺失算子ω作用后的待补全的高阶张量
[0040]
对m个重建后的张量分别进行第一步中张量增强方法的逆操作，将每个重建后的张量转换成与待重建图像原始数据尺寸相同的图像，得到m张重建后的图像；
[0041]
第四步、分别计算每张重建后的图像与基准图像之间的结构相似度r，其中第d张重建后的图像与基准图像之间的结构相似度为d＝1,2,...,m；选择结构相似度最高的重建后的图像对应的候选张量链秩作为第一阶张量链秩，完成第一阶张量链秩的选择，并对待补全的高阶张量的初始化张量链秩进行更新，此时待重建图像完成第一次重建迭代；
[0042]
第五步、对待补全的高阶张量的初始化张量链秩的每阶张量链秩都重复执行第二～四步的操作，每阶张量链秩都进行上述的选择，每选择一阶张量链秩待重建图像都完成一次重建迭代，直到重建后的图像与基准图像之间的结构相似度大于0.95时，停止张量链秩的选择，待重建图像停止迭代，最终得到最优的重建图像。
[0043]
图2、图3为采用本发明方法与现有方法对图像lena进行重建的质量对比，分别用结构相似度和峰值信噪比来衡量图像的重建质量，数值越高表示重建效果越好。从图中可以看出，直接使用德劳内三角插值方法进行重建的效果最差，这是由于当待重建图像的缺失率较高或者在局部以成块区域缺失时，没有足够的已知数据用于插值重建。值得注意的是，尽管现有的基于tt的方法与本发明的重建效果比较接近，但是现有的基于tt的方法需要待重建图像完整的张量链秩信息，并且需要根据实验结果来不断调整参数，以达到最优的重建效果，但在实际中待重建图像的完整张量链秩信息使无法获得的，因此现有的基于tt的方法难以实际应用。本发明对待重建图像的数据结构缺失情况没有限制，在数据未知的情况下都能够取得较好的重建效果，在不同采样率下重建效果整体优于现有的方法，解决了现有方法在实际情况下无法应用的问题，具有重要实际应用价值。
[0044]
本发明未述及之处适用于现有技术。