基于深度学习的老旧人物照片修复与实现

杨山坡  王裙

山东协和学院  山东济南 250109）

1 引言

人脸图像修复的研究在不断的发展，属机器视觉领域范畴，基于GAN的图像修复的具体实现也是花样百出，GAN的变种有很多，主要应用领域包括图像生成(如：Stylegan2能够生成人脸且生成效果能达到以假乱真的地步)、图像转换(如：Cyclegan 斑马和马的转换)和图像编辑(如：人脸化妆\换衣服)。根据上一章节有关技术的介绍，在2和3中分别进行U-Net人脸语义分割和StyleGAN2自动生成人脸实例，本章节4将给出本文使用的U-Net和StyleGAN2结合来修复老旧人物照片的具体实现，并在5分析实际修复结果的优劣，6并做出总结。

2 U-Net人脸语义分割实例

采用多通道的方式进行训练U-Net网络，本文使用2016年发布的Flickr的肖像图作为数据集，该数据集的图像分辨率为600×800且拍摄清晰，多以上半身肖像为主，人物背景也相对简单。

将数据集放至程序根目录data文件夹后，运行train.py文件开始训练，训练结束后开始测试，命令窗口程序根目录下使用命python predict.py -i test/00002.png -o output.png -v运行predict.py文件，运行结果如图1所示。

图1 人脸语义分割输出结果

从图1可以看出训练后的U-Net网络能够精准地分割出人脸与背景图像，这就为本文的老旧人物照片修复系统做了很好的支撑。

3 StyleGAN2自动生成人脸实例

使用StyleGAN2生成人脸图像所需配置如表5：

表5 StyleGAN2运行环境配置

配置项	配置
操作系统	Windows 10 家庭中文版
CPU	Intel(R) Core(TM)_i5-8300H CPU_2.30GHz
内存	16G 双通道DDR4 2667MHz
硬盘	HFM128GDHTNG-8310A 128G
显卡	NVIDIA GeForce GTX 1050 Ti (4095 MB)
Python	V3.6.0
CUDA	V10.0
cuDNN	V7.5
TensorFlow	V1.14

配置好环境后开始运行代码生成图像，这里测试生成20张图象，设置generate_num=20，生成结果放在results文件夹下。

这里图像生成主要用到了开源的Generator_yellow-stylegan2-config-f.pkl模型，根据模型随机生成20张人脸图像，从结果可以看出生成的人脸图像接近于真实图像。进而说明StyleGAN2有很好的人脸生成效果，进而结合U-Net网络进行老旧人物照片的修复是可行的，并预期会有良好的修复效果。

4 老旧人物照片修复结果分析

本小节将对基于深度学习的老旧人物照片修复系统的修复结果做简要分析，从修复结果来看，图像模糊基本消除能够保证较好的清晰度，人脸五官的修复效果较好，嘴巴、鼻子、眼睛、头发等部位的修复符合原人物照片的特征并没有产生较大的偏差。

但是在某些条件因素的影响下修复效果还存在一定得到偏差，比如：佩戴眼镜的人物照片经修复后，眼睛位置的图像处理不够自然，存在一定的扭曲，透过镜片眼睛的修复难以实现精准修复，实际修复效果不够理想。

纸上得来终觉浅，觉知此事须躬行。经过算法的设计与实现以及对修复结果的分析发现，该算法还存在不足，比如说带有划痕的照不能有效的去除划痕，反而会将部分的划痕特征作为了先验特征进行图像的生成，从而导致修复结果中部分区域的不自然，具体效果如图2所示。

 

图2 带眼镜和划痕的人物照片修复前后对比

对于模糊程度较大的人物照片修复后眼睛、鼻子、嘴巴等处理效果还可以，但面部整体的纹理结构处理效果不理想，并没达到修复结果全部高分辨率的效果。

通过对本文算法的修复结果分析发现，在优化划痕修复、高分辨率图像生成、眼镜遮挡部位修复等方面还存在不足，有待改进。

5总结

本文采用U-Net网络作为移除退化网络，一方面可以增加感受眼来实现更大模糊的消除，另一方面由于U-Net是Encode—Decode结构那么就可以在Decode部分获得更多的人脸特征图，此外在重建的过程中，每一层都进行了重建损失（Restoration Loss）的计算，由此就增强了从老旧人物照片上提取干净特征的效果，为后边StyleGAN2的生成也减轻了负担，大大提升了老旧人物照片的修复效果，但在高模糊修复、划痕处理以及眼镜佩戴修复方面仍有不足，后续会将对该方面修复问题继续改进优化。

项目名称：基于深度学习的老旧修复系统人物照片

项目编号：S202313324219

作者简介：杨山坡（2003-），男，山东协和学院 计算机学院 人工智能2021级学生。

指导老师：王裙（1986-），女，硕士，山东协和学院 软件工程教研室教师。