技术特征：
1.基于轻量化驱动和三尺度编码的视频帧插值方法，其特征是，包括：获取待插值视频的第i帧原始图像和第i+1帧原始图像；分别对第i帧原始图像和第i+1帧原始图像进行尺度缩放，得到第i帧缩小尺度的图像、第i+1帧缩小尺度的图像、第i帧放大尺度的图像、第i+1帧放大尺度的图像；将原始图像和尺度缩放后的图像均输入到训练后的视频帧插值模型中，输出插值图像；其中，训练后的视频帧插值模型，对原始图像和尺度缩放后的图像，分别进行三个尺度的特征提取，采用通道注意力机制模块对三个尺度的特征进行融合，采用双重注意力机制模块对融合后的特征进行增强；再对增强后的特征进行帧扭曲操作，得到插值图像。2.如权利要求1所述的基于轻量化驱动和三尺度编码的视频帧插值方法，其特征是，训练后的视频帧插值模型，其网络结构包括：依次连接的编码器、解码器和帧扭曲模块；所述编码器，包括：三个并列的分支；所述三个并列的分支分别为第一分支、第二分支和第三分支；每个分支均包括三个依次连接的循环残差卷积单元；相邻分支的循环残差卷积单元之间通过通道注意力机制模块进行连接。3.如权利要求2所述的基于轻量化驱动和三尺度编码的视频帧插值方法，其特征是，所述通道注意力机制模块，内部结构包括：并列的分支r1和分支r2；所述分支r1，包括依次连接的平均池化层、二维卷积层、线性整流函数层、二维卷积层和sigmoid激活函数层；平均池化层的输入端，作为通道注意力机制模块的输入端；所述分支r2，包括：加法器j1；加法器j1的输入端与平均池化层的输入端连接，加法器j1的输入端还与sigmoid激活函数层的输出端连接；加法器j1的输出端作为通道注意力模块的输出端；所述通道注意力机制模块，其工作原理包括：两个二维卷积层获得非线性的通道间关系，平均池化层用以聚合通道的统计信息，得到特征图的各个通道的权重，通过各个通道的权重赋予每个通道权重值。4.如权利要求2所述的基于轻量化驱动和三尺度编码的视频帧插值方法，其特征是，所述循环残差卷积单元，包括：并列的分支a1和分支a2；所述分支a1，包括：依次连接的第一循环卷积层和第二循环卷积层；所述分支a2，包括：加法器j2；所述第一循环卷积层的输入端作为循环残差卷积单元的输入端；所述加法器j2的输入端与循环残差卷积单元的输入端连接；所述加法器j2的输入端还与第二循环卷积层的输出端连接；所述加法器j2的输出端作为循环残差卷积单元的输出端；所述循环残差卷积单元，其工作原理包括：将经过两个循环卷积层处理的特征与原始特征执行像素级加法，进行特征积累，以实现特征提取。5.如权利要求2所述的基于轻量化驱动和三尺度编码的视频帧插值方法，其特征是，所述解码器，包括：依次连接的两个可分离循环残差卷积单元和两个循环残差卷积单元；所述解码器的各个层与所述编码器的对应层之间通过双重注意力机制模块cbam进行连接。6.如权利要求5所述的基于轻量化驱动和三尺度编码的视频帧插值方法，其特征是，所述双重注意力机制模块cbam，包括：并列的分支b1和分支b2；所述分支b1，包括：并联的分支c1和分支c2；分支c1包括：依次连接的最大池化层z1、二维卷积层e1、线性整流函数层、二维卷积层e2；
分支c2包括：依次连接的平均池化层p1、二维卷积层e3、线性整流函数层、二维卷积层e4；分支c1的最大池化层的输入端作为双重注意力机制模块cbam的输入端；平均池化层的输入端与最大池化层的输入端连接；二维卷积层e2的输出端与加法器j5的输入端连接；二维卷积层e4的输出端与加法器j5的输入端连接；加法器j5的输出端与sigmoid激活函数层s1的输入端连接；sigmoid激活函数层s1的输出端与加法器j3的输入端连接；所述分支b2，包括：依次连接的加法器j3和加法器j4；加法器j3的输出端分别与最大池化层z2的输入端和平均池化层p2的输入端连接，最大池化层z2的输出端和平均池化层p2的输出端与通道拼接单元的输入端进行连接；通道拼接单元的输出端与二维卷积层e5的输入端连接，二维卷积层e5的输出端与sigmoid激活函数层s2的输入端连接，sigmoid激活函数层s2的输出端与加法器j4的输入端连接，加法器j4的输出端作为双重注意力机制模块cbam的输出端。7.如权利要求5所述的基于轻量化驱动和三尺度编码的视频帧插值方法，其特征是，所述可分离循环残差卷积单元，内部结构包括：并列的分支d1和分支d2；所述分支d1，包括：依次连接的可分离循环卷积层k1和可分离循环卷积层k2；所述分支d2，包括：加法器j5；可分离循环卷积层k1的输入端作为可分离循环残差卷积单元的输入端；可分离循环卷积层k2的输出端与加法器j5的输入端连接；加法器j5的输入端与可分离循环卷积层k1的输入端连接，加法器j5的输出端作为可分离循环残差卷积单元的输出端。8.基于轻量化驱动和三尺度编码的视频帧插值系统，其特征是，包括：获取模块，其被配置为：获取待插值视频的第i帧原始图像和第i+1帧原始图像；分别对第i帧原始图像和第i+1帧原始图像进行尺度缩放，得到第i帧缩小尺度的图像、第i+1帧缩小尺度的图像、第i帧放大尺度的图像、第i+1帧放大尺度的图像；处理模块，其被配置为：将原始图像和尺度缩放后的图像均输入到训练后的视频帧插值模型中，输出插值图像；其中，训练后的视频帧插值模型，对原始图像和尺度缩放后的图像，分别进行三个尺度的特征提取，采用通道注意力机制模块对三个尺度的特征进行融合，采用双重注意力机制模块对融合后的特征进行增强；再对增强后的特征进行帧扭曲操作，得到插值图像。9.一种电子设备，其特征是，包括：存储器，用于非暂时性存储计算机可读指令；以及处理器，用于运行所述计算机可读指令，其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-7任一项所述的方法。10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。
技术总结
本发明公开了基于轻量化驱动和三尺度编码的视频帧插值方法及系统，获取待插值视频的第i帧原始图像和第i+1帧原始图像；分别对第i帧原始图像和第i+1帧原始图像进行尺度缩放，得到第i帧缩小尺度的图像、第i+1帧缩小尺度的图像、第i帧放大尺度的图像、第i+1帧放大尺度的图像；将原始图像和尺度缩放后的图像均输入到训练后的视频帧插值模型中，输出插值图像；其中，训练后的视频帧插值模型，对原始图像和尺度缩放后的图像，分别进行三个尺度的特征提取，采用通道注意力机制模块对三个尺度的特征进行融合，采用双重注意力机制模块对融合后的特征进行增强；再对增强后的特征进行帧扭曲操作，得到插值图像。得到插值图像。得到插值图像。
技术研发人员：杨晓晖 刘维靖 冯志全 徐涛 郭庆北
受保护的技术使用者：济南大学
技术研发日：2022.11.25
技术公布日：2023/3/30