五色栗 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

△ 输入黑白，生成色彩

谷歌培育了一只AI，是一只自动给视频上色的AI。

从彩色视频里，截取某一帧作参考。再把所有帧都变成黑白，AI仅仅依靠参考帧的颜色，便可以还原整段视频的色彩了。

把影像从灰暗变到新鲜，只用了下面这一张图。



并且，没有人告诉AI，哪里是人，哪里是柜子。

走到哪，都认识你

这是一个自我监督 (Self-Supervised) 的物体追踪模型。


所以，研究人员喂给神经网络的是，大量的无标记视频数据。

模型要学会预测，黑白视频中，物体的颜色。

最关键的步骤，就是物体跟踪。



比如，AI看到了一辆汽车，没有人告诉它那是汽车。

但在黑白的图像里，它还是要准确找到这辆车所在的区域，把参考帧里相应区域的红色填过去。



虽然，模型没有用参考标准标记 (Ground Truth Labels) 训练过。但从结果上看，神经网络依然学成了人类喜闻乐见的样子。

面包上的奶油，即便涂好的样子不同了，AI也依然记得。



姿势也可以追踪

另外，研究人员发现，这个模型还可以用来追踪人类的姿势。

对于主角是人类的视频，神经网络只有了解他们的一举一动，才能更顺畅地为人类上色。

毕竟，他们动作比较多，还喜欢给自己加戏。你看——

你让我坐下？



我就不坐下。



我很厉害吧。



再不鼓掌我…



只要输入一帧带有骨架的图。



AI就可以推断出，视频里其他帧的姿势了。



那么，追踪功夫姿势的话，一定会更燃吧。

然而，并没有，可能只会更佛系，因为——

△ 你的黄色，不，是你的黄色

这是太极的上色效果。

注意，二者清晰度不同，不是AI的问题，是微信动图只支持2MB以内，的后果。

论文传送门：
https://arxiv.org/pdf/1806.09594.pdf

— 完 —

实习生招聘

量子位正在招募市场运营实习生，策划执行AI明星公司CEO、高管等参与的线上/线下活动，有机会与AI行业大牛直接交流。一份丰富的实习经历等你解锁~

工作地点在北京中关村。简历欢迎投递到[email protected]

具体细节，请在量子位公众号(QbitAI)对话界面，回复“实习生”三个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态