就是GAN-萌新使用PaddlePaddle论文复现初探索之First-Order
先来科普一下
- 萌新
自然就是我啦-只看过机器学习入门课程的菜鸟。如果你也是这样，那就可以放心的向下看了
欢迎大家一起交流~~~
- PaddlePaddle
国货之光–类似Tensorflow,pytorch的机器学习框架。没听过？不要疑惑，这里有免费Tesla V100显卡可以撸，对于没算力的小白真的香，大可一试，框架一通百通，提升实战能力！！！
传送门>>撸算力请入
- “GAN”
人工智能领域内，当下机器学习中热门的深度学习中的艺术家算法鼻祖。
G >> generative 生成！ 它可以像人类艺术家一样，创造出新的图片，视频，而不仅仅是分猫狗。
创造才是智能，这一点是最吸引我的地方(✪ω✪)
First-Order
大佬们在GAN算法的思想下提出的新算法–来自2019NIPS顶会的一篇论文
本次就让我带大家来感受一下大佬的思想吧(σﾟ∀ﾟ)σ…:*☆哎哟不错哦
paper原文分享：
链接: https://pan.baidu.com/s/1ie7dLLvOJgBOzIlbowGBCw 提取码: kckg
论文带读
任务与功能–万物皆可动
举个例子：
给一个源图像，给一个驱动视频，就可以让图像动起来啦
主要功能：表情迁移，虚拟换衣，动作迁移，虚拟头像等
前置知识
算法知识–生成对抗网络
- GAN : Generative Adversarial Nets cGAN : Conditional Generative
- Adversarial Nets Pixel2pixel : Image-to-lmage Translation with
- Conditional Adversarial Net-works
数学知识–微积分，泰勒展开公式
对于小白，我们今天的任务就是总体感受一下该算法的功能，算法知识没有可以后续补，掌握这些能更好的理解算法，不知道的话有GAN基础认知也可以读，只不过体验有点差/(ㄒoㄒ)/~~
优势对比
以前的工作：
- 是为特定领域设计的(人脸,人体轮廓,手势)
- 需要冗长的语义标签与标签检测器
- 需要大量的图片对象的先验知识
总结一下，就是设计的模型只能用在特定领域，对于新场景又需要训练新的模型。
同时对训练所需的数据集数量要求很大，同时需要语义标注，这大大增加了获取数据集的难度。
本算法的优化点：
- 该模型使用与多个领域
- 不需要源图片的先验信息和标签信息
- 相较于Monkey-net 对于无法通过图像扭曲的到的采用image inpainting得到。
对于第一点：一次训练，就可以在多个相似场景下使用。
传统算法：以上虚拟试衣场景需要训练7个模型 NO
本论文算法：只需训练一个模型即可 YES
对于第二点：First-Order会自己提取信息，降低了对训练集的要求。
对于第三点：Monkey-net是和First-Order模型相近的一种模型
实现方法
评判标准Metrics
- L1距离。计算了生成图片和ground-truth的1距离。
Average Keypoint Distance (AKD)平均关键点距离。
对于Tai-Chi-HD, VoxCeleb and Nemo数据集,采用了 第三方预训练的关键点检测器来进行评估。
AKD是通过计算ground truth检测关键点与生成视频的平均距离得到的。 - Missing Keypoint Rate (MKR)关键点缺失率。
在Tai-Chi-HD数据集中,姿态估计器为每个关键点返回一个额外的二进制标签,以指示是否成功地检测到关键点。这个度量评估每个生成帧的外观质量。 - Average Euclidean Distance (AED)平均欧式距离。
计算了ground truth和生成的帧表示之间的平均欧式距离。
代码整体把握
代码框架
- demo.py为测试的入口文件
- run.py为训练的入口文件 (训练的基础配置 和模型定义)
- train.py为训练的入口文件 (配置训练/更新策略 )
- frames_ _dataset.py完成对数据读入的定义
- generator.py中完成对生成模块中的生成器的定义
- discriminator.py中完成对生 成模块中判别器的定义
- keypoint_ detector.py中完成对动作运动估计模 块中的骨骼关键点提取的定义
- dense_ motion.py将关键点转换为D到S的映射，在生成器种使用
- model.py是为了将所以与生成器/判别器有关的更新合并到同一个模型中,方便多机训练。
详细代码可以查看GitHub哦~
总结
是不是有点晕，正常，我也是晕晕的，哈哈!
本次是对First-Order的初体验，大家只需要知道这个论文能干啥，自己对这个方向感不感兴趣即可，毕竟兴趣是最好的老师。对于小白，没有什么论文是必读不可，关键是我们先选择感兴趣的读下去！！！
下次让我们聚焦代码，完成复现吧，下次见~
*✧⁺˚⁺ପ(๑･ω･)੭ु⁾⁾ 好好学习天天向上