千年一瞬,他们眨眼的瞬间,仿佛历史重演。前不久,外国博主Panagiotis Constantinou用AI修复了秦代兵马俑。
更令人惊艳的是,他还让古人做出了细微的动态表情。
快看,兵马俑在向你眨眼、微笑。
去过兵马俑后,大家都会对这些泥塑真人古迹的感到震撼。再看用AI复原后的兵马俑,竟变成了有血有肉的大叔。
每个兵马俑的表情都是千奇百态,几千年过去了,我们很难想象出他们当时的样子。
这位外国小哥让这些兵俑重新焕发了生机,穿越千年来和你对话。
此前,B站UP主大谷也对兵马俑进行了修复,让其嘴巴也动了起来。
其实,除了兵马俑,Panagiotis Constantinou还对埃及帝王敌后、古希腊哲学家、英国女王等做了一系列动态修复。
凭借这一系列修复,外国博主也爆火出圈,也引来许多人的关注。
修复技术
那么AI修复工作一般都是如何实现的呢?
大多都会用到这三个技术:第一个是负责做补帧的DAIN,第二个是做分辨率扩增的ESRGAN,第三个是上色的DeOldify。
DAIN:深度感知视频帧插值(DAIN)模型,通过探索深度信息来显式地检测遮挡。该项目开发了一个深度感知流动投影层,优选取样更近的物体,以合成中间流插补视频帧。
ESRGAN:ESRGAN改进自SRGAN ,主要用来做视频超分辨率。
与SRGAN的深层模型越来越难以训练相反,更深层次的 ESRGAN 模型通过简单的训练就能达到卓越的性能,核心点在于平衡视觉质量和峰值信噪比的网络插值策略。
DeOldify:DeOldify 使用了NoGAN 进行训练,NoGAN对于获得稳定和丰富多彩的图像是至关重要的。
NoGAN 训练结合了 GAN (美妙的着色)的好处,同时消除了副作用(如视频中的闪烁对象)。
不论是图像还是视频,AI能够将其修复得栩栩如生,最主要的是归功于它强大的学习能力。
这里我们再简单了解一下AI修复离不开的「灵魂GAN」。
还记得马和斑马相互转换的图像吗?这便是GAN的应用之一。
和其他经典的机器学习算法相比,GAN算法最大的创新点便是它结合了生成器(Generator)和判别器(Discriminator),以二者的相互对抗进而实现相互优化,最后达到一个「势均力敌」的状态。
以图像为例,判别器D经过反复训练,最后希望可以准确分辨出哪一个是真实的数据分布,哪一个是生成器的数据分布;同时,生成器G也不断地训练,最后希望能够以假乱真,让判别器判断不出到底哪个是真的图像,哪个是假的图像。
现在越来越多的技术像是AI修复、AI换脸等都离不开GAN网络,曾经困扰GAN的难题,比如难以收敛等也都渐渐得到了改善,而且基于GAN也衍生出了越来越多的更优秀的网络,比如CycleGAN、StackGAN等,愈加逼真、生动的图像逐一呈现在大众眼前。
现在大抵是「万物皆可AI」的时代了!
AI还会继续给我们带来何种视觉惊喜,我们拭目以待~~~