点云预测因子的产生方法与流程

1.本发明关于一种点云预测因子的产生方法。


背景技术：

2.点云(point cloud)是空间中不规则的点的数据集，可以表示三维形状或物件，且点与点之间并无关联性。点云通常是用于表示三维的坐标(例如，x、y及z轴坐标)，每一点即代表物件一个表面的位置。通过将每个点连接在一起，即可建立该物件的三维图像。除了三维坐标外，点云还可包含三原色(r、g、b)坐标及色彩空间(color space)坐标(y、u、v)等属性(attribute)坐标，用于呈现该物件的颜色。
3.根据现有技术，在产生比特流(bit stream)前，三维图像会被投影至六面体的表面，以产生多个拼贴(patch)，并把这些拼贴布置在二维的视频帧中，再由编码器(encoder)进行编码。在把这些拼贴布置在二维的视频帧时，通常是依照拼贴的大小进行排序，从每个帧的左上角位置作为起点，寻找适合摆放该拼贴的位置。然而，此拼贴布置方式会导致每个拼贴之间的时间连续性被破坏。即使是使用画面间(inter)预测的方式试图找出与当前编码单元最接近的预估单元，亦无法在相邻帧找到相同的拼贴中的单元。若为了增加搜寻预估单元的精确度而使用全域(global)搜寻，更会导致编码时间及编码复杂度的增加。


技术实现要素：

4.鉴于上述，本发明提供一种以满足上述需求的点云预测因子的产生方法。
5.依据本发明一实施例的一种点云预测因子的产生方法，包含：取得一编码单元；以及根据该编码单元与一参考二维单元之间的一变异程度产生及输出一预测因子。
6.依据本发明一实施例的一种点云预测因子的产生方法，包含：取得一编码单元；根据该编码单元取得一当前投影框与一参考投影框之间的一第一变异程度；根据该编码单元取得一当前界限框与一参考界限框之间的一第二变异程度；以及基于该第一变异程度与该第二变异程度之和输出一预测因子。
7.综上所述，依据本发明一或多个实施例所示的点云预测因子的产生方法，可增进编码器及解码器在搜寻与当前编码单元最接近的预估单元的效率，并同时降低搜寻时所需的运算量，及降低编码时间及编码复杂度。此外，依据本发明一或多个实施例所示的点云预测因子的产生方法，可搜寻到更精准的预估单元，且在解码时，更可重建每个拼贴在帧与帧之间的时间连续性。
8.以上关于本公开内容的说明及以下实施方式的说明用以示范与解释本发明的精神与原理，并且提供本发明的保护范围的更进一步的解释。
附图说明
9.图1系依据本发明一实施例所绘示的点云预测因子的产生方法的流程图。
10.图2(a)到2(d)系依据本发明一实施例所绘示的点云预测因子的产生方法的示意
stream)至解码器(decoder)之前，及解码器在解码比特流以重建视频(video)的过程。因此，通过本发明的点云预测因子的产生方法，解码器在对视频进行解码时，可取得更精准的预估单元或预估区块。另需说明的是，一帧三维图像可用于产生多个二维的拼贴(patch)，而下文中所述的“单元”是指一个二维拼贴中的一部份，亦可为一个完整的二维拼贴，或为多个二维拼贴；“区块(block)”是指所述三维图像中的一部份(一个立体区块)，亦可为完整的一帧三维图像。
43.本发明的点云预测因子的产生方法可由编码器(encoder)装置及解码器(decoder)装置执行，较佳是由编码器及解码器的处理器、伺服器等运算装置执行，本发明不对执行点云预测因子的产生方法的硬体装置予以限制。为便于说明，下文将以编码器及解码器端的处理器作为执行本发明的点云预测因子的产生方法的硬体装置。请一并参考图1及图2(a)到2(d)，图1系依据本发明一实施例所绘示的点云预测因子的产生方法的流程图；图2(a)到2(d)系依据本发明一实施例所绘示的点云预测因子的产生方法的示意图。图1中的步骤a03、a05及a07可以是选择性执行的步骤；图2(b)及图2(c)为彼此相似但不完全相同的三维图像，例如，图2(b)及图2(c)可为在时域上的不同帧的三维图像。
44.于步骤a01，处理器取得编码单元11。处理器取得当前二维图像10的编码单元11，其中当前二维图像10产生自一当前三维图像12。具体地，处理器在取得当前二维图像10的方式可为，将当前三维图像12投影至一假想的六面体的表面，以产生多个拼贴，并将这些拼贴封装至二维的帧以产生当前二维图像10。所述的编码单元11即位于当前二维图像10中待编码的单元。所述的单元可为高效率视频编码(high efficiency video coding，hevc)的基本单元(basic unit)，亦可为基本单元中的中心像素。处理器可取得指代这些拼贴中每个单元的坐标(例如，图5(b)中的坐标(u0c,v0c))，亦可于判断这些拼贴中的编码单元11为需进行编码的单元后，取得指代编码单元11的坐标(例如，图5(b)中的坐标(u0c,v0c))。
45.接着，于步骤a03，处理器根据编码单元11取得当前三维图像12中的当前三维区块13，其中所述区块为立体的区块。当前三维图像12可为三维视频(video)的其中一帧的图像，而当前三维区块13即为当前三维图像12中对应于编码单元11的立体区块。由于当前二维图像10可为由当前三维图像12解构(通过投影的方式解构)而成的拼贴(或拼贴的一部分)，故处理器可根据二维的编码单元11，取得编码单元11在当前三维图像12中对应的当前三维区块13。
46.具体地，处理器可预存当前三维图像12的每个区块与当前二维图像10的每个单元之间的对应关系，故处理器可以查表的方式执行步骤a03。更详细而言，在基于当前三维图像12产生封装的拼贴时，处理器可建立或更新一组坐标转换参数，该组坐标转换参数记录了每个二维拼贴中的单元的坐标与当前三维图像12的每个区块的坐标之间的对应关系。因此，在步骤a03，处理器可判断该组坐标转换参数的这些单元中与编码单元11相同的一者，并以与编码单元11相同的单元所对应的区块作为当前三维区块13。简言之，在步骤a03，处理器可根据编码单元11及该组坐标转换参数判得当前三维区块13。
47.于步骤a05，处理器根据当前三维区块13取得参考三维图像22中的参考三维区块23，其中参考三维图像22关联于当前三维图像12，且参考三维图像22为已被编码的图像。所述“参考三维图像22关联于当前三维图像12”可以指参考三维图像22与当前三维图像12是在同一个三维视频中的不同帧的图像；可以指参考三维图像22与当前三维图像12中可能出
现相似之物件或具有至少一个相同的物件(例如，图2(b)及图2(c)中的人)；亦可以指参考三维图像22与当前三维图像12是在同一个三维视频中的不同帧的图像，且此二帧图像中可能出现相似之物件或具有至少一个相同的物件。例如，参考三维图像22可在时域上为当前三维图像12的前一帧图像或后一帧图像，或者参考三维图像22与当前三维图像12之间亦可间隔多帧图像。具体地，处理器是通过比特率-失真最佳化(rate-distortion optimization，rdo)或编解码器(coder and decoder，codec)的最佳化判得要在此参考三维图像22而非其他参考三维图像找出参考三维区块23。
48.在判得参考三维区块23后，于步骤a07，处理器根据参考三维区块23取得参考二维图像20中的参考二维单元21，其中参考二维图像20与当前二维图像10为不同图像。详言之，参考二维图像20为处理器已事先将参考三维图像22通过投影方式所产生的对应图像，参考二维图像20的产生方式可与当前二维图像10的产生方式相同。因此，处理器可具有另一组坐标转换参数表，记录了参考二维图像20中每个二维拼贴的单元的坐标与参考三维图像22的每个方块坐标之间的对应关系。因此，在步骤a07，处理器可根据参考三维区块23及该另一组坐标转换参数判得参考二维单元21。亦即，处理器是从预先产生的一或多个参考二维图像选出参考二维图像20。
49.此外，参考二维图像20可包括多个无效单元及多个可用单元，而这些无效单元及这些可用单元可记录于一填充地图(occupancy map)。具体地，所述无效单元是指参考二维图像20中未放置拼贴的区域，而所述可用单元是指参考二维图像20中有放置拼贴的区域。参考二维图像20中，位于拼贴内的单元为可用单元，其对应的比特可为“1”；而参考二维图像20中位于拼贴外的单元为无效单元，其对应的比特可为“0”。因此，处理器可先根据填充地图选出参考二维图像20中的这些可用单元，再根据参考三维区块23在参考二维图像20中对应的单元，从这些可用单元选出与参考三维区块23对应的单元较接近的一者作为参考二维单元21。
50.接着，于步骤a09，处理器根据编码单元11与参考二维单元21之间的变异程度产生并输出预测因子，其中编码单元11与参考二维单元21之间的变异程度可包含编码单元11与参考二维单元21之间的移动程度或变异程度。另外，若编码单元11与参考二维单元21还包括三原色(r、g、b)坐标及色彩空间(color space)坐标(y、u、v)等属性(attribute)坐标，则编码单元11与参考二维单元21之间的变异程度还可包含这些属性坐标之间的差。预测因子可以是被输出至记忆体储存，本发明不对处理器输出预测因子的对象予以限制。假设编码单元11是以坐标(xc,yc)代表，而参考二维单元21是以坐标(xr,yr)代表，则预测因子可通过下式(1)取得，预测因子表示了编码单元11与参考二维单元21之间的位移量。
51.预测因子＝(xr,yr)-(xc,yc)—式(1)
52.具体地，由于当前三维图像12与参考三维图像22是不同帧但彼此关联的三维图像，故当前三维图像12与参考三维图像22中可能存在同一个物件，但该物件在当前三维图像12与参考三维图像22中是呈现不同的姿态。在这样的情况下，当前二维图像10与参考二维图像20中的拼贴的形状及布置位置便可能为求压缩于较小的空间中而不完全相同，因而产生彼此关联但不完全相同的当前二维图像10与参考二维图像20。也就是说，在当前二维图像10中的某个单元/拼贴可能相似于在参考二维图像20中的某个单元/拼贴，但一个单元/拼贴可能位于当前二维图像10的中间位置，而另一单元/拼贴可能是位于参考二维图像
20的靠左侧的位置。而通过产生预测因子，即使某物件的单元在当前二维图像10与在参考二维图像20中位于不同位置，或是某物件的单元在当前二维图像10与在参考二维图像20中的外形不完全相同，解码器仍可根据预测因子判断在当前二维图像10中的编码单元11与在参考二维图像中的参考二维单元11指示相同的物件。据此，在解码视频时，便能够判得每个单元(或拼贴)在帧与帧之间的关联性。
53.请接着一并参考图2(a)到2(d)及图3a，其中图3a系依据本发明另一实施例所绘示的点云预测因子的产生方法的流程图。相较于图1所绘示的点云预测因子的产生方法的实施例，图3a所示的实施例是以步骤a07a取代图1所示的步骤a07。详言之，在包含步骤a07a的此实施例中，于处理器执行步骤a05而取得参考三维区块23后，处理器执行步骤a071，以在参考二维图像20圈选出一参考范围，且参考范围的大小较佳小于参考二维图像20的大小。处理器可以编码单元11的倍数设定参考范围的大小，例如，参考范围的面积可为编码单元11的2倍、3倍等，本发明不对参考范围的实际面积予以限制。据此，即使初始的参考二维单元不够精确，处理器仍能够在参考范围中找出大小及内容都相似于编码单元11的参考二维单元。该参考范围包括多个无效单元及多个可用单元，其中参考二维单元21可能是这些可用单元的其中一者。相似于上述，参考范围中的无效单元及可用单元可记录于填充地图中。步骤a071的填充地图与图1的步骤a07的填充地图的不同处在于，步骤a071的填充地图仅记录参考范围中的无效单元及可用单元，而图1的步骤a07的填充地图记录整个参考二维图像20中的无效单元及可用单元。此外，在步骤a071中，填充地图记录的可用单元除了包含落在参考范围内的单元，更可包含位于参考范围的边界上的单元。
54.接着，于步骤a073，处理器根据填充地图，从参考范围选出这些可用单元；及于步骤a075，处理器根据这些可用单元取得参考三维图像22中的多个初始三维区块。在选出这些可用单元后，处理器同样可通过坐标转换参数，以查表的方式取得每个可用单元在三维参考图像22中对应的区块，以将每个可用单元在三维参考图像22中对应的区块作为初始三维区块。
55.接着，于步骤a077，处理器可计算每个初始三维区块与参考三维区块23之间的差异值(例如，距离)，判断这些初始三维区块中与参考三维区块23最接近的初始三维区块，并将该初始三维区块在参考二维图像20中对应的单元作为参考二维单元21。
56.具体地，若参考三维区块23的代表坐标为(x
3r
,y
3r
,z
3r
)；而初始三维区块的代表坐标为(x
3r
′
,y
3r
′
,z
3r
′
)，处理器计算每个初始三维区块与参考三维区块23之间的差异值的方式可以下式(2)实现。
57.差异值＝(x
3r-x
3t
′
)2+(y
3r-y
3r
′
)2+(z
3r-z
3r
′
)2—式(2)
58.处理器在计算出每个初始三维区块与参考三维区块23之间的差异值后，可选出差异值最小的初始三维区块。接着，同样通过坐标转换参数判得初始三维区块在参考二维图像20中对应的单元，并将该单元作为参考二维单元21。据此，于步骤a09，处理器便可以编码单元11与参考二维单元21之间的差作为预测因子。通过此实施例，因处理器不需对参考二维图像20执行全域搜寻以找出与编码单元11最接近的单元，故可有效增进搜寻效率，并降低处理器的运算量。
59.请接着一并参考图2(a)到2(d)及图3b，其中图3b系依据本发明再一实施例所绘示的点云预测因子的产生方法的流程图。相较于图3a所绘示的点云预测因子的产生方法的实
施例，图3b所示的实施例是以步骤a07b取代图3a所示的步骤a07a，特别是以步骤a072取代步骤a071。详言之，在处理器执行步骤a05而取得参考三维区块23后，处理器执行步骤a072，根据参考三维区块23于参考二维图像20圈选出参考范围，其中参考范围同样包含多个无效单元及多个可用单元，且这些可用单元较佳包含参考三维区块23在参考二维图像20中对应的单元。具体地，在步骤a072，处理器先根据参考三维区块23取得初估的参考范围，且参考范围中的其中一个单元即可能为潜在的参考二维单元21。在圈选出参考范围后，处理器即可接着执行步骤a073及其后续步骤。通过此实施例，不但可确保参考二维单元21位于参考范围内，且处理器仅需计算对应参考范围的区块与参考三维区块之间的距离。因此，本发明的点云预测因子的产生方法可增进搜寻效率，并降低处理器的运算量，且可取得更精准的参考二维单元21。
60.请接着一并参考图4及图5(a)到5(d)，其中图4系依据本发明又一实施例所绘示的点云预测因子的产生方法的流程图；图5(a)到5(d)系依据本发明一实施例所绘示的点云预测因子的产生方法的示意图。相同于对图2(b)及图2(c)的说明，图5(b)及图5(c)为彼此相似但不完全相同的三维图像。图4的实施例与图1、图3a及3b的主要不同处在于，图1及图3a及3b是以点对点的方式判得与编码单元最相近的参考二维单元，而图4是以拼贴对拼贴的方式判得与编码单元最相近的参考区块，其中图4中的步骤b03、b05及b07可以是选择性执行的步骤。此外，为让本案便于理解，图5(a)及5(b)是以立体方块的形式呈现下述的三维图像及三维拼贴，但实际的三维图像及三维拼贴的外型为视频中的物件的外型(如图2(a)到2(d)所示)。
61.相似于前述的内容，处理器在取得当前三维图像时，可将当前三维图像投影至假想的六面体的表面，以产生多个拼贴，并将这些拼贴封装至二维的帧以产生当前二维图像30。与图1的步骤a01相同，于图4的步骤b01，处理器取得当前二维图像30的编码单元31，其中当前二维图像30产生自一当前三维图像32。
62.于步骤b03，处理器根据编码单元31取得当前三维图像32中的当前三维坐标33。具体地，编码单元31的其中一个顶点坐标为(u0c，v0c)，而编码单元31的内部代表坐标为(x，y)，则当前三维坐标33可通过下式(3)取得。
[0063][0064]
其中，(x3，y3，z3)为当前三维坐标33；其中(δ0c，s0c，r0c)代表当前界限框34在当前三维图像32中的位置，而δ0为当前界限框34在当前三维图像32中的与投影平面之距离；h(x，y)为在编码单元31之内部点坐标(x，y)的深度值；bpr为编码单元31的解析度。
[0065]
接着，于步骤b05处理器根据当前三维坐标33在当前三维图像32中圈选出当前界限框(bounding box)34，及将当前界限框34投影至第一投影面35以取得当前投影框36，其中当前投影框36即为编码单元31，而当前投影框36在第一投影面35上的坐标参数即为编码单元31在当前二维图像30中的坐标参数。处理器可进一步判得当前界限框34在当前三维图像32中的空间参数，包含nc、(u0c，v0c)及(δ0c，soc，r0c)，其中(δ0c，s0c，r0c)代表当前界限框34在当前三维图像32中的位置(即当前定位点37的位置)，而δ0为当前界限框34在当前三维图像32中的与投影平面之距离；nc代表当前界限框34的法向量；(u0c，v0c)代表当前投影框
36的当前投影点38的坐标，其中当前投影点38即为当前定位点37在第一投影面35上的投影点。此外，在步骤b05，处理器是以编码单元31实际在当前三维图像32中所占据的空间作为当前界限框34的范围，即不同的编码单元可能会对应到不同大小的当前界限框。因此，处理器不需额外设定当前界限框34的范围，且当前界限框34可符合编码单元31在当前三维图像32中的实际大小。
[0066]
接着，于步骤b07，处理器根据当前三维坐标33于参考三维图像42取得参考界限框44，及将参考界限框44投影至第二投影面45以取得参考投影框46。参考投影框46即为参考单元4l，参考投影框46在第二投影面45上的坐标参数即为参考单元4l在参考二维图像40中的坐标参数，而参考二维图像40即是以参考三维图像42的拼贴所产生。同前述对于前二维图像10与参考二维图像20的说明，因当前三维图像32与参考三维图像42中的同个物件可能呈现不同的姿态，使参考二维图像40与当前二维图像30中的拼贴的形状及布置位置可能不完全相同，故参考二维图像40与当前二维图像30为不同帧但彼此关联的图像。更具体地，处理器可将当前三维区块33作为参考三维图像42中的参考三维坐标43，并根据参考三维坐标43取得参考界限框44。换言之，参考界限框44包含参考三维坐标43，且在参考三维图像42中的参考三维坐标43较佳与在当前三维图像32中的当前三维坐标33相同。此外，参考界限框44的法向量nr较佳与当前界限框34的法向量nc相同。由于参考界限框44是基于当前三维坐标33产生的，故参考界限框44的参考定位点47对应至当前定位点37，且处理器可判得参考界限框44在参考三维图像42中的空间参数。参考界限框44的空间参数除了包含法向量nr，更包含(u0r，v0r)及(δ0r，s0r，r0r)，其中(δ0r，sor，ror)代表参考界限框44在参考三维图像42中的位置(即参考定位点47的位置)；(u0r，v0r)代表参考投影框46的参考投影点48的坐标。另需说明的是，第一投影面35与第二投影面45实质上相同，即当前界限框34及参考界限框44可投影到同一个投影面，当前界限框34及参考界限框44亦可投影到彼此平行的第一投影面35与第二投影面45。
[0067]
在取得当前界限框34的位置(δ0c，s0c，r0c)、当前投影点38的位置(u0c，v0c)、参考界限框44的位置(δ0r，s0r，r0r)及参考投影点48的位置(u0r，v0r)后，处理器可接续执行步骤b09。于步骤b09，处理器计算当前投影点38的位置(u0c，v0c)与参考投影点48的位置(u0r，v0r)之间的第一变异程度d。由于当前界限框34与参考界限框44可能彼此相似但不完全相同，故尽管当前投影框36与参考投影框46彼此相似，其之间仍可能存在误差。又，由于当前投影框36与参考投影框46彼此相似，处理器可根据当前投影框36与参考投影框46相对应的点计算出第一变异程度d。处理器可通过下式(4)执行步骤b09。
[0068]
第一变异程度＝(u0
r-u0c，v0
r-v0c)
×
bpr-式(4)
[0069]
于步骤b11，处理器计算当前界限框34的当前定位点37与参考界限框44的参考定位点47之间的第二变异程度(未绘示)。相似地，由于当前界限框34与参考界限框44彼此相似，故处理器可判得彼此相对应的当前定位点37与参考定位点47，并将当前定位点37与参考定位点47之间的差作为第二变异程度。处理器可通过下式(5)执行步骤b11。
[0070]
第二变异程度＝(r0
c-r0r,s0
c-s0r)－式(5)
[0071]
另需说明的是，步骤b09与步骤b11可同时执行，步骤b11亦可执行于步骤b09之前，本发明不对步骤b09与步骤b11的执行顺序予以限制。
[0072]
在计算出第一变异程度d及第二变异程度后，于步骤b13，处理以第一变异程度d与
第二变异程度之和作为预测因子，并输出预测因子。据此，解码器在收到比特流之后，即可根据预测因子选出与编码单元31(即当前投影框36)最相关的参考二维单元41(即参考投影框46)。
[0073]
请接着一并参考图2(a)到2(d)及图6，其中图6系依据本发明又另一实施例所绘示的点云预测因子的产生方法的流程图。为避免模糊图6的实施例的重点，图6仅绘示步骤c01、c03及c05，其中图6的步骤c01、c03及c05可以是执行在图1及图3a、3b的步骤a09之后，亦可执行在图4的步骤b13之后。
[0074]
需先说明的是，处理器在进行合并模式(merge mode)的编解码时可预存一候选单元清单(candidate list)，而候选单元清单中记录多个候选单元的标记索引(index)，且处理器可根据该标记索引推得对应的候选预测因子，其中所述标记索引可包含候选单元的坐标、外型、及属性坐标等。这些候选单元及对应的这些候选预测因子可包含通过步骤a09、b13所产生的候选单元及候选预测因子，亦可包含通过时间域(spatial)及空间域(temporal)所推导的合并候选单元(merging candidates)。这些候选单元为参考二维图像20/40中与编码单元11/31相似的单元，每个候选单元皆可能与在参考二维图像中20/40的参考二维单元21/41是指代相同的单元(或相同的拼贴)。而候选预测因子即表示由候选单元所推得之当前编码基本单元与参考二维单元之间的位移程度。
[0075]
举例而言，候选单元清单可以下表1的形式呈现。简言之，候选单元清单记录了每个候选单元及其对应的标记索引，而每个候选单元对应的候选预测因子可以是根据候选单元的标记索引推得。这些候选单元较佳是在空间域上彼此相邻的单元，或是在时间域上(如某一帧图像与下一帧图像)彼此相邻的单元。
[0076]
候选单元标记索引第一候选单元第一标记索引第二候选单元第二标记索引第三候选单元第三标记索引
[0077]
表1
[0078]
在产生预测因子后，于步骤c01，处理器可判断候选单元清单中的候选单元其数量是否达临界数量，其中临界数量是指候选单元清单可记录的数据笔数的上限值。
[0079]
若候选单元清单中的候选单元的数量已达临界数量，则于步骤c03，处理器可删除这些候选单元的至少其中一者及其对应的标记索引，及将步骤a09或b13产生的参考二维单元及其标记索引记录至候选单元清单，其中处理器可通过执行比特率-失真最佳化选出需被删除的候选单元及其标记索引。
[0080]
以表1为例，假设临界数量为五，处理器通过执行比特率-失真最佳化选出需被删除的候选单元为第三候选单元，则处理器可删除第三候选单元及其标记索引，并将参考二维单元21/41的标记索引及加入至候选单元清单，同时可得知相对应的候选预测因子。
[0081]
反之，若候选单元清单中的候选单元的数量未达临界数量，于步骤c05，处理器可直接将参考二维单元21/41及其标记索引加入至候选单元清单，同时可得知相对应的候选预测因子。
[0082]
另外，若候选单元清单中的候选单元的数量已达临界数量，则处理器亦可跳过执行步骤c01，并扩充候选单元清单的临界数量，将参考二维单元21/41及其标记索引加入至
候选单元清单，同时可得知相对应的候选预测因子。接着，处理器可赋予参考二维单元21/41及其标记索引一旗标(flag)，其中旗标用于指示参考二维单元21/41为通过扩充候选单元清单所加入的单元。并且，处理器还可通过执行比特率-失真最佳化以选出候选单元清单中的最佳的候选单元。
[0083]
若处理器未预存候选预测单元清单，则处理器可建立候选单元清单，而候选单元清单即记录了在步骤a09或b13产生的参考二维单元及对应的标记索引。
[0084]
编码器端的处理器在完成候选单元清单的建立或更新后，可将候选单元清单的一或多个候选单元的标记索引传输至解码器端的处理器，其中编码器端的处理器较佳将通过执行比特率-失真最佳化选出的最佳候选单元的标记索引传输至解码器端的处理器。
[0085]
此外，编码器端的处理器还可一并输出所选的最佳候选单元的标记索引及其相对应的残余值(residual)至解码器端的处理器，其中残余值是指原始图像(编码单元11/31)与预测图像(参考二维单元21/41)之间的差值。
[0086]
因此，解码器端的处理器即可根据编码器端的处理器所传输的最佳候选单元的标记索引，从自身的建立的候选单元清单中比对出对应的候选单元，并推得对应的预测因子。据此，解码器端的处理器可根据推得的预测因子、候选单元以及自编码器端的处理器接收的残余值进行图像重建。
[0087]
另外，产生候选单元清单的实施例可为由编码器端及解码器端的其中一者的处理器执行，并于产生候选单元清单后，将候选单元清单传输至编码器端及解码器端的另一者的处理器。并且，若扩充候选单元清单的临界数量是由编码器端的处理器执行，则编码器端的处理器还可传输通知至解码器端的处理器，以通知编码器端的处理器其可重建此扩充的候选清单，及根据最佳的候选单元的标记索引(及残余值)进行图像重建。
[0088]
另需说明的是，如前所述，除了上述的位置坐标外，每个单元及区块可更包含三原色(r、g、b)坐标及色彩空间坐标(y、u、v)等属性坐标。因此，在判断待解码的单元与其他帧中的图像拼贴之间的关系时，解码器可产生更佳的预估结果。
[0089]
综上所述，依据本发明一或多个实施例所示的点云预测因子的产生方法，可增进编码器及解码器在搜寻与当前编码单元最接近的预估单元的效率，并同时降低搜寻时所需的运算量，及降低编码时间及编码复杂度。此外，依据本发明一或多个实施例所示的点云预测因子的产生方法，可搜寻到更精准的预估单元，且在解码时，更可重建每个拼贴在帧与帧之间的时间连续性。