提到视频压缩就不得不说第一篇端到端的视频压缩方案：DVC: An End-to-end Deep Video Compression Framework

github地址：https://github.com/GuoLusjtu/DVC

论文地址：https://arxiv.org/pdf/1812.00101.pdf

但是这个github里没有训练代码，只有前向推理代码，于是有大牛复现了下这篇文章，并作了些改动出了篇技术报告

OpenDVC: An Open Source Implementation of the DVC Video Compression Method

github地址：https://github.com/RenYang-home/OpenDVC

论文地址：https://arxiv.org/pdf/2006.15862.pdf

感谢开源作者们！！

1. 简介

本文是基于开源Tensorflow的技术报告，DVC是第一篇端到端的视频压缩方案，相比X265 LDP faset更优的MS-SSIM性能，PSNR相当的性能，相比原文只有PSNR优化模型，本文给出了基于PSNR和MS-SSIM优化模型。

2. 实现

本节详细记录了OpenDVC的实现细节，DVC框架如图1，DVC顶层实际结构思路来源于H264 H265，比如采用运动补偿来减少时序冗余并且使用两个压缩网络来分别压缩运动信息和残差信息，下面介绍图1每个小模块的OpenDVC实现

 

运动估计：DVC使用金字塔网络[11]来估计当前帧和前序压缩帧的运动，对应到图1就是"Optical flow net"，金字塔结构大的感知野可以使DVC处理大的运动信息，OpenDVC中运动估计网络在motion.py中，遵循论文[11]中使用5层的金字塔，每层都有5个7*7卷积核的卷积层，filter个数分别为32，64，32，16和2，如图1估计运动向量 就是金字塔网络的输出，对应OpenDVC_test_video.py的flow_tensor.