DeepPrivacy

arXiv
提出了一种新的架构，能够自动将图像中的人脸匿名化并同时保留原始的数据分布。通过基于信息隐私安全生成图像，确保图像中所有的面孔完全匿名化。模型以条件生成对抗网络为基础，生成图像考虑原始姿态和图像背景。条件信息有助于我们能够生成高度真实的人脸，实现生成人脸和存在背景的无缝连接。引入了一个新的多样性人脸数据集，包含非常规姿态、遮挡人脸和多变的背景信息。

• 基于条件生成对抗网络提出一种新的架构，能够自动将人脸匿名化并保留原始的数据分布。
• 发布了新的多样性人脸数据集

现有的解决方案无法在不降低图像质量的前提下对图像匿名化。为了高效匿名化图像，我们需要一个鲁棒性模型能够替换原始人脸，不改变原有的数据分布。即输出符合给定情况的真实性人脸。模型要求：

1. 移除隐私敏感信息
2. 生成高度真实性人脸
3. 实现原背景与匿名化区域的无缝衔接

这需要模型能够执行复杂的语义推理来生成一张新的匿名化人脸。

DeepPrivacy模型以条件生成对抗网络为基础，考虑已有背景和一个稀疏姿态标注来生成真实性匿名化人脸。模型采用U-net架构，生成图像分辨率为$128\times 128$，采用渐进增长训练方法从$8\times 8$到$128\times 128$，能够改善最终图像生成质量和训练时间。模型不接触原始人脸，确保有效移除所有的隐私敏感信息。

模型输入标注包含两方面：

• 一个注释边界框用于区分隐私敏感区域
• 一个人脸稀疏姿态标注，包含耳朵、眼睛、鼻子和肩膀，共七个关键点

提出了新的人脸数据集Flicker Diverse Face (FDF)，包含1.47M张标注有边界框和关键点的人脸，人脸姿态、遮挡、背景多样。

最后使用人脸检测器对模型编辑后的人脸进行检测，以此衡量模型保留原始数据分布的能力。

模型以ProgressiveGAN为基础并添加条件信息。使用人脸的七个关键点，为了降低网络参数，将这七个关键点姿态信息转换为$K\times M\times M$张0-1编码图像，其中K为关键数目，M为目标图像分辨率。对生成器和判别器同时使用渐进增长训练方式，从分辨率为8开始，以2为倍数，最终达到128。

网络以U-net架构为基础，输入背景信息，编码器和解码器在每一层卷积层有相同数量的卷积核，解码器在每一个跳跃连接层都有一个额外的$1\times 1$瓶颈卷积层，目的是降低参数量。在解码器的每一个上采样层之后，将前向输出与姿态信息和对应的跳跃连接进行拼接。上采样使用像素复制，在每个卷积层之后使用像素标准化和LeakyReLU激活函数，相同的学习率。每次增长分辨率时，在编码器起始处和解码器终止处添加两个$3\times 3$的卷积层，使用过渡阶段来稳定训练。

判别器与原架构相似，主要改动两点，一是将背景信息与输出图像共同作为输入，变为六通道图像；二是将姿态信息添加到每一个分辨率。

不足之处：

• 高度遮挡、复杂背景以及非常规姿态会降低生成图像质量，模型依赖于人脸关键点检测器
• 评价指标欠缺，仅使用人脸检测器来衡量模型保留图像原始分布的能力
• 过于复杂，训练时间过长，在两张Nvidia V100-32G上训练17天。