全片上动态可重构超分辨率装置

1.本发明属于图像处理技术领域，具体涉及一种全片上动态可重构超分辨率装置。


背景技术：

2.随着人工智能算法的发展，基于深度学习的超分辨率网络由于具有更好的图像重建效果，在老照片修复、医疗检测、安防监控等关键行业具有良好的应用前景。然而，超分辨率网络存在计算量大和数据访存量大的问题，使其对硬件的要求极高。究其原因，主要是反卷积过程中的大计算量导致的。传统的反卷积的计算过程存在大量的对计算结果未产生任何作用的无效计算，为了解决上述问题，chang等人（chang, jung-woo, keon-woo kang, and suk-ju kang. "an energy-efficient fpga-based deconvolutional neural networks accelerator for single image super-resolution." ieee transactions on circuits and systems for video technology 30.1 (2018): 281-295.）提出了一种将反卷积转化为卷积的tdc（转置卷积转换）方法，通过将反卷积转化为卷积运算、并重分配计算任务，有效减小了反卷积的计算量。但仍然存在pe（processing elements）利用率不高和计算负载不均衡的问题，没有充分挖掘反卷积的可提速空间。


技术实现要素：

3.本发明的目的在于，针对背景技术存在的问题，提出了一种全片上动态可重构超分辨率装置。
4.为实现上述目的，本发明采用的技术方案如下：一种全片上动态可重构超分辨率装置，包括预处理电路、算术运算电路、插值电路和后处理电路；其中，所述预处理电路包括权重缓冲器、输入缓冲器和输入图像色彩空间转换电路；所述权重缓冲器用于缓存超分辨率网络的权重数据，所述输入缓冲器用于缓存输入图像数据，所述输入图像色彩空间转换电路读取输入缓冲器中的输入图像数据，并将输入图像数据从rgb格式转换为ycbcr格式，转换后得到的y通道数据输入数据重分配电路中，cb和cr通道数据输入最近邻插值电路中；所述算术运算电路包括数据重分配电路、卷积计算块、共享加法树电路和层间缓冲器；所述数据重分配电路读取权重缓冲器中的权重数据和输入图像色彩空间转换电路输出的y通道数据，并根据缩放因子将权重数据和y通道数据以指定的映射策略进行重分配，得到重分配后的数据；所述卷积计算块接收重分配后的数据，并对重分配后的数据进行卷积运算，得到卷积运算结果；所述共享加法树电路接收卷积运算结果，并对卷积运算结果进行累加，得到超分辨率网络中当前层的输出特征图数据；所述层间缓冲器接收并存储当前层的输出特征图数据，当未达到超分辨率网络的最大层数时，输出特征图数据作为下一层网络的输入特征图输入至数据重分配电路中，当达到超分辨率网络的最大层数时，输出特征图数据输入至输出整形电路；
所述插值电路包括最近邻插值电路和临时缓冲器；所述最近邻插值电路基于最近邻插值策略对接收到的cb和cr通道数据进行插值，得到插值后的特征图；所述临时缓冲器接收并缓存插值后的特征图；所述后处理电路包括输出整形电路和输出图像色彩空间转换电路；所述输出整形电路读取层间缓冲器的输出特征图数据，并对输出特征图数据进行重排，得到y通道数据的顺序输出；所述输出图像色彩空间转换电路读取y通道数据的顺序输出和插值后的特征图，并将y通道数据的顺序输出和插值后的特征图转换为rgb格式数据后输出。
5.进一步的，所述输入图像数据是通过将原始图像切分后得到的多个子图像。
6.进一步的，所述权重数据是通过将原始图像切分为多个子图像，然后对切分后的子图像作为训练数据集进行训练后得到的。
7.进一步的，所述映射策略包括卷积压缩、卷积分解和pe重映射过程，其中，卷积压缩根据缩放因子对权重数据和y通道数据进行压缩，去除y通道数据中的0值以及与0值对应的权重数据；卷积分解将压缩后的数据分解为不同长度的卷积；pe重映射将不同长度的卷积组合为固定长度的卷积并输入卷积计算块。
8.进一步的，当缩放因子为2时，该装置可实现个大小为9
×
9的反卷积的并行运算，其中所述数据重分配电路和卷积计算块的处理过程具体为：1）卷积压缩：对输入的y通道数据和权重数据进行压缩，得到个大小为5
×
5的卷积、个大小为5
×
4的卷积、个大小为4
×
5的卷积和个大小为4
×
4的卷积，其中，m和n为正整数；2）卷积分解：将个大小为5
×
5的卷积分解为个长度为9的卷积和个长度为7的卷积；个大小为5
×
4的卷积分解为个长度为9的卷积和个长度为2的卷积；个大小为4
×
5的卷积分解为个长度为9的卷积和个长度为2的卷积；个大小为4
×
4的卷积分解为个长度为9的卷积和个长度为7的卷积；3）pe重映射：长度为7的卷积与长度为2的卷积组合，得到个长度为9的卷积，然后与剩余的
个长度为9的卷积一起输入卷积计算块；4）反卷积运算：输入的mn个卷积送入卷积计算块中进行卷积计算，得到mn个卷积运算结果。
9.进一步的，当缩放因子为3时，该装置可实现mn个大小为9
×
9的反卷积的并行运算，其中所述数据重分配电路和卷积计算块的处理过程具体为： 1）卷积压缩：对输入的y通道数据和权重数据进行压缩，得到mn个大小为3
×
3的卷积；2）卷积分解：将mn个大小为3
×
3的卷积分解为mn个长度为9的卷积；3）pe重映射：将mn个长度为9的卷积输入卷积计算块；4）反卷积运算：输入的mn个卷积送入卷积计算块中进行卷积计算，得到mn个卷积运算结果。
10.进一步的，当缩放因子为4时，该装置可实现个大小为9
×
9的反卷积的并行运算，其中所述数据重分配电路和卷积计算块的处理过程具体为：1）卷积压缩：对输入的y通道数据和权重数据进行压缩，得到个大小为3
×
3的卷积、个大小为3
×
2的卷积、个大小为2
×
3的卷积、mn个大小为2
×
2的卷积；2）卷积分解：将个大小为3
×
3的卷积分解为个长度为9的卷积；个大小为3
×
2的卷积分解为个长度为3的卷积；个大小为2
×
3的卷积分解为个长度为3的卷积和个长度为2的卷积；mn个大小为2
×
2的卷积分解为个长度为4的卷积和个长度为2的卷积；3）pe重映射：将长度为4的卷积、长度为3的卷积和长度为2的卷积组合，得到个长度为9的卷积，然后与剩余的个长度为9的卷积一起输入卷积计算块；
4）反卷积运算：输入的mn个卷积送入卷积计算块中进行卷积计算，得到mn个卷积运算结果。
11.优选地，当m
×
n为9的倍数时，该装置的计算效率最高。
12.其中，所述卷积计算块包括m
×
n个动态可重构pe计算单元，所述动态可重构pe计算单元包括第1~9像素点、第1~9权重数据点、第1~9乘法器、第1~8加法器、第一数据选择器和第二数据选择器；第1像素点a1与第1权重数据点w1的乘积，与第2像素点a2与第2权重数据点w2的乘积，在第1加法器中相加，得到第1数据；第3像素点a3与第3权重数据点w3的乘积，与第4像素点a4与第4权重数据点w4的乘积，在第3加法器中相加，得到第2数据；第1数据与第2数据在第2加法器中相加，得到的第3数据输入第一数据选择器的输入端，第一数据选择器的一个输出端连接第4加法器的第一输入端，另一个输出端作为动态可重构pe计算单元的第一输出；第6像素点a6与第6权重数据点w6的乘积，与第7像素点a7与第7权重数据点w7的乘积，在第6加法器中相加，得到第4数据；第5像素点a5与第5权重数据点w5的乘积，与第4数据在第5加法器中相加，得到第5数据；第5数据与第一数据选择器输出的数据在第4加法器中相加，得到第6数据；第8像素点a8与第8权重数据点w8的乘积，与第9像素点a9与第9权重数据点w9的乘积，在第8加法器中相加，得到第7数据；得到的第7数据输入第二数据选择器的输入端，第二数据选择器的一个输出端的数据与第6数据在第7加法器中相加，得到动态可重构pe计算单元的第二输出；第二数据选择器的另一个输出端的数据作为动态可重构pe计算单元的第三输出。
13.进一步的，每个动态可重构pe计算单元可实现3种工作模式：模式0：输出1个长度为9的卷积运算结果；模式1：输出1个长度为7和1个长度为2的卷积运算结果；模式2：输出1个长度为4、1个长度为3和1个长度为2的卷积运算结果。
14.所述第一输出的结果为模式2的1个长度为4的卷积运算结果；所述第二输出的结果为模式0的1个长度为9的卷积运算结果、或者模式1的1个长度为7的卷积运算结果、或者模式2的1个长度为3的卷积运算结果；所述第三输出的结果为模式1的1个长度为2的卷积运算结果、或者模式2的1个长度为2的卷积运算结果。
15.与现有技术相比，本发明的有益效果为：1、本发明提供的一种全片上动态可重构超分辨率装置，采用卷积压缩、卷积分解和pe重映射的映射策略以及多个动态可重构pe计算单元组成的卷积计算块，极大的降低了反卷积运算的计算量，提高了反卷积运算的运算效率，有效消除了无效计算，避免了计算负载不均衡的问题。
16.2、本发明提供的一种全片上动态可重构超分辨率装置，输入图像数据和权重数据是将原始图像切分为多个子图像并经过训练得到的，大大降低了层间的数据量，避免了中间网络层和片外存储器通信，实现全片上存储，提高了装置的吞吐量。
附图说明
17.图1为本发明提供的一种全片上动态可重构超分辨率装置的结构示意图；图2为本发明提供的一种全片上动态可重构超分辨率装置中，动态可重构pe计算单元的结构示意图。
具体实施方式
18.下面结合附图和实施例，详述本发明的技术方案。
实施例
19.如图1所示，为本发明提供的一种全片上动态可重构超分辨率装置的结构示意图；包括预处理电路、算术运算电路、插值电路和后处理电路；其中，所述预处理电路包括权重缓冲器、输入缓冲器和输入图像色彩空间转换电路；所述权重缓冲器用于缓存超分辨率网络的权重数据，所述输入缓冲器用于缓存输入图像数据，所述输入图像色彩空间转换电路读取输入缓冲器中的输入图像数据，并将输入图像数据从rgb格式转换为ycbcr格式，转换后得到的y通道数据输入数据重分配电路中，cb和cr通道数据输入最近邻插值电路中；所述算术运算电路包括数据重分配电路、卷积计算块、共享加法树电路和层间缓冲器；所述数据重分配电路读取权重缓冲器中的权重数据和输入图像色彩空间转换电路输出的y通道数据，并根据缩放因子将权重数据和y通道数据以指定的映射策略进行重分配，得到重分配后的数据；所述卷积计算块接收重分配后的数据，并对重分配后的数据进行卷积运算，得到卷积运算结果；所述共享加法树电路接收卷积运算结果，并对卷积运算结果进行累加，得到超分辨率网络中当前层的输出特征图数据；所述层间缓冲器接收并存储当前层的输出特征图数据，当未达到超分辨率网络的最大层数时，输出特征图数据作为下一层网络的输入特征图输入至数据重分配电路中，当达到超分辨率网络的最大层数时，输出特征图数据输入至输出整形电路；所述插值电路包括最近邻插值电路和临时缓冲器；所述最近邻插值电路基于最近邻插值策略对接收到的cb和cr通道数据进行插值，得到插值后的特征图；所述临时缓冲器接收并缓存插值后的特征图；所述后处理电路包括输出整形电路和输出图像色彩空间转换电路；所述输出整形电路读取层间缓冲器的输出特征图数据，并对输出特征图数据进行重排，得到y通道数据的顺序输出；所述输出图像色彩空间转换电路读取y通道数据的顺序输出和插值后的特征图，并将y通道数据的顺序输出和插值后的特征图转换为rgb格式数据后输出。
20.其中，所述输入图像数据是通过将大小为1080
×
720的rgb格式的原始图像切分后得到的多个大小为54
×
36的rgb格式图像。
21.其中，所述权重数据是通过将原始图像切分为多个子图像，然后对切分后的子图像进行训练后得到的。
22.其中，所述卷积计算块包括3
×
3个动态可重构pe计算单元，所述动态可重构pe计算单元包括第1~9像素点、第1~9权重数据点、第1~9乘法器、第1~8加法器、第一数据选择器和第二数据选择器，如图2所示；第1像素点a1与第1权重数据点w1的乘积，与第2像素点a2与第2权重数据点w2的乘积，在第1加法器中相加，得到第1数据；第3像素点a3与第3权重数据点w3的乘积，与第4像素点a4与第4权重数据点w4的乘积，在第3加法器中相加，得到第2数据；第1数据与第2数据在第2加法器中相加，得到的第3数据输入第一数据选择器的输入端，第一数据选择器的一个输出端连接第4加法器的第一输入端，另一个输出端作为动态可重构pe计算单元的第一输出；第6像素点a6与第6权重数据点w6的乘积，与第7像素点a7与第7权重数
据点w7的乘积，在第6加法器中相加，得到第4数据；第5像素点a5与第5权重数据点w5的乘积，与第4数据在第5加法器中相加，得到第5数据；第5数据与第一数据选择器输出的数据在第4加法器中相加，得到第6数据；第8像素点a8与第8权重数据点w8的乘积，与第9像素点a9与第9权重数据点w9的乘积，在第8加法器中相加，得到第7数据；得到的第7数据输入第二数据选择器的输入端，第二数据选择器的一个输出端的数据与第6数据在第7加法器中相加，得到动态可重构pe计算单元的第二输出；第二数据选择器的另一个输出端的数据作为动态可重构pe计算单元的第三输出。
23.其中，缩放因子设置为4，可实现16个大小为9
×
9的反卷积的并行运算，所述数据重分配电路和卷积计算块的处理过程具体为：1）卷积压缩：对输入的y通道数据和权重数据进行压缩，得到1个大小为3
×
3的卷积、3个大小为3
×
2的卷积、3个大小为2
×
3的卷积、9个大小为2
×
2的卷积；2）卷积分解：将1个大小为3
×
3的卷积分解为1个长度为9的卷积；3个大小为3
×
2的卷积分解为6个长度为3的卷积；3个大小为2
×
3的卷积分解为2个长度为3的卷积和6个长度为2的卷积；9个大小为2
×
2的卷积分解为8个长度为4的卷积和2个长度为2的卷积；3）pe重映射：将长度为4的卷积、长度为3的卷积和长度为2的卷积组合，得到8个长度为9的卷积，然后与剩余的1个长度为9的卷积一起输入卷积计算块；4）反卷积运算：输入的9个卷积送入卷积计算块中进行卷积计算，得到9个卷积运算结果；其中卷积计算块包括3
×
3排列的9个动态可重构pe计算单元。
24.以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例展示如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。