proface
第30届ACM国际多媒体会议论文集
KEYWORDS: 隐私保护 人脸混淆 人脸识别 图像融合
关联领域：计算机视觉表示 生物识别技术 计算方法→计算机视觉
1. Abstract & Introductuon
-
在保留机器识别能力的同时，生成人无法识别的图片
-
现存方法多致力于将图像中的视觉信息抹除，这样处理后机器也无法识别人脸。
这种牺牲了效用来达到隐私保护目的的方法，没有实现隐私与效用之间的权衡。
-
人脸首先被任意方法模糊处理(如图像模糊、像素化和面部变形)，使用孪生神经网络（一种共享权值，左右对称，用于衡量输入相似性的神经网络）通过融合原始图像和模糊图像生成与模糊照片相似但仍然保留机器识别特征的人脸图像。
-
PRO-Face的设计灵感来自于图像加密和对抗样本，图像融合将原始图像的基本信息隐式地嵌入到其模糊的形式中，结果图像试图“误导”预先训练过的人脸识别器，使其对原始身份做出“错误”的决定，尽管它看起来并不原始。（骗过了人，也骗过了机器，赢两次）
应用场景广泛性：
- 不对模糊方法提出要求，支持不同类型的视觉模糊
- 不对原本人脸检测提出要求，可以作为现有面部识别系统的附加功能
- 匿名面孔和普通面孔可以混合识别
主要贡献：
- 提出了一种新颖、通用、有效且轻量级的框架，能够生成视觉模糊但机器可识别的人脸图像，该框架可以在隐私和实用之间实现良好的平衡。
- 受最先进的深度隐写术启发，研究了一种用于图像融合的更新的暹罗网络，以及基于专业三重身份和感知损失的有效训练策略。
- 提供了广泛的客观和主观评估，证明拟议框架的隐私保护和实用保存能力。
1. Adversarial approaches 神经网络对抗方法
神经网路容易受到对抗样本的影响，产生人难以感知到的误分类。利用这种特征，我们可以反过来用人难以穿测出身份的模糊图像"攻击"神经网络，让其将模糊图像正确分类为图像的真实身份。因此，对抗性方法可以很好地解决针对机器识别的隐私风险。
Related Work:
- Oh et al. [29]：基于博弈论的框架来生成可能混淆机器身份识别的对抗性扰动人脸图像
- Shan et al. [34] ：Fawkes算法，通过细微的扰动改变人脸，使人脸表征更接近具有不同身份的目标人脸
- Yang et al. [40]：一种有针对性的身份保护迭代方法(TIP-IM)，能够生成对抗性面具，覆盖在面部图像上，以隐藏身份信息以对抗面部识别器。
- 最近，Hu et al. [13]：提出了AMT-GAN，利用GAN合成从参考图像中转移的妆容的对抗性人脸图像。
2. Facial appearance anonymization 容貌匿名化
利用GAN编辑面部外观以实现匿名化。这类方法主要关注匿名化的任务，而没有考虑识别的效用。
Related Work:
- Sun等人[35]提出了头部嵌入生成匿名人脸的方法，以确保去除原始人脸的敏感信息。
- Gafni等人[10]提出了一种编码器-解码器架构，能够通过操纵解纠缠的特征表示来匿名化实时视频中的人脸。
- deeprivacy[16]利用条件GAN (CGAN)[31]和背景和姿态注释作为输入，指导生成真实的匿名面孔。
- CIAGAN[24]利用身份控制向量和面部关键点指导CGAN模型生成具有匿名视觉身份的人脸，同时保持原始姿势。
- Gu等人[11]提出了一个具有密码条件的面部身份转换器，它对二进制值的密码向量执行匿名化和反匿名化。
- 最近，Cao等人[2]提出了一种个性化、可逆的身份识别框架，其中使用特定于用户的密码和可调节的参数来控制身份变化的方向和程度。
3. Identity-preserving facial anonymization 身份保留匿名化
对面部外观(人眼)进行匿名化，即身份保留面部匿名化。但很少有研究关注这一问题，没有一项研究能达到切实可行的识别精度。
- Li等人[21]提出了一种保留身份的面部伪装方法，该方法利用编码器-解码器网络将面部特征分离为一个外观代码和一个识别代码，其中根据另一个目标图像替换外观代码。
- 最近，同一作者[20]提出了一种更高级的解决方案，即自适应面部属性混淆。该方法首先依靠识别区域发现模块确定人眼敏感的人脸属性，然后以原始人脸和属性指标为输入，通过条件GAN模型进行匿名化处理。
3. 框架的详细描述(有问题)
模型的由来—启发：
-
来自对抗样本：
Fawkes[34]算法生成了在人脸看来相同，但机器看来不同的图像。这启发我们设计一种相反的机制，图像看起来不同（模糊处理），但机器看来相同。
-
来自图像加密：
光场消息(Light Field Messaging, LFM)[39]通过一个深度神经网络将消息图像隐式地嵌入到载体图像中，然后通过另一个网络从编码的图像中检测出消息图像。它启发了我们将人脸图像的关键信息嵌入到它模糊的形式中，这样身份信息仍然可以被检测到。
过程：
- 给定一个输入的人脸图像
1 ，它首先允许使用任何首选操作预先模糊它，如模糊、像素化和面部变形。预模糊的图像被标记为 2 。
- 然后，将原始的
1 和经过模糊处理的 2 都输入到深度融合网络的work中，生成最终的模糊脸3，它非常像经过模糊处理的2。同时，经过训练的人脸识别器仍然可以从2（是否改为3）中提取与原始的1相似的身份表示，从而对模糊化后的图像2（是否改为3）进行准确的人脸识别。
- 这样，该框架既保护了图像中个体的面部隐私不被人类视觉感知，又保留了自动人脸识别的实用性。
模型设计
组件和训练策略：
- 采用[39]中提出的架构进行设计，它遵循Siamese network[17]的结构，由两个子网组成，分别接收原始图像和预模糊图像。不同的是，虽然这两个子网的结构相同，但权重不同。
- 每个子网都具有U-Net[32]架构，其中编码器和解码器都由多个Dense blocks[14]组成，从不同比例上对图像进行映射。
- 在U-Net的解码阶段进行图像融合，在这一阶段，来自两个子网的每个块(包括底层)的输出被相加后发送到后续的块。这是与[39]相比的一个关键区别，[39]在编码和解码阶段都进行此操作。这种变化直觉上使融合过程中从原始图像中尽可能少地提取视觉信息。（编码阶段去除了模糊图像与原图像的接触，使得模糊图像仅在解码阶段与原图像融合）
训练策略和损失函数
对于同一种人脸识别模型，我们每次训练都使用一种特定的模糊方法来训练融合网络。该训练通过优化网络参数，使输出图像在感知上与预模糊图像相似，同时识别模型提取的人脸嵌入更接近原始图像。
因此，训练采用了两种损失：
-
Identity损失，用于优化人脸嵌入。
锚点与正样本越近越好，与负样本越远越好。
-
Image损失，用于优化人脸外观。
生成图像与模糊图像越像越好，与原图像越不像越好。
为了改进模型的泛化，我们在训练批次中改变模糊强度/变量，例如改变模糊核、像素化块大小和变形的目标面。
4. 实验结果（略）
5. 潜在应用和已知的局限性
优点:
- 首先，该框架支持多种模糊效果以保证视觉隐私，包括但不限于图像模糊、像素化和人脸变形，我们的实验验证了这一点。优点:首先，该框架支持多种模糊效果以保证视觉隐私，包括但不限于图像模糊、像素化和人脸变形，我们的实验验证了这一点。
- 其次，在该框架下保留的识别实用程序仅依赖于现有的预先训练的人脸识别器，并具有一定的可移植性。这使得可以将该框架作为现有面部识别系统的一个简单的附加功能来使用，从而将系统工程的负担降到最低。
- 第三，精确的人脸识别不仅可以在匿名域(受保护图像之间的人脸匹配)中实现，也可以在跨域(普通和受保护图像之间的人脸匹配)中实现。这允许在更广泛的场景中保护隐私的面部识别。
- 最后，该模型只有0.2M的参数(比最小人脸识别器MobileFaceNet小5倍)，在应用中不会对实时性造成太大的开销。
PRO-Face的潜在应用：
我们想描述两种情况:
- 第一种是视频监控，在这种情况下，监控摄像头捕捉到的所有个人的面部部分都可以通过拟议的方法得到保护，这样未经授权的人只能看到匿名的脸。但是，监控系统仍然可以实时识别每个人，执行关键任务，如统计、安全警报或取证。
- 另一个场景是人脸认证系统，所有被捕获、显示和存储的人脸都可以以受保护的形式保存。同时，由于保留了识别效用，被保护的人脸仍然可以正确地完成认证任务。此外，无论模板面是什么形式，都可以进行身份验证，因为我们的框架下的识别适用于匿名和跨域场景。此外，无论模板面是什么形式，都可以进行身份验证，因为我们的框架下的识别适用于匿名和跨域场景。
局限性：
坦率地说，所提议的方法仍然存在一些局限性，也是我们未来的工作。
- 例如，具有融合机制的受保护图像在视觉上处于原始图像和被模糊处理前的图像之间，仍然暴露出一定数量的原始视觉特征，可能威胁隐私。
- 隐私保护能力高度依赖于所使用的模糊处理，例如像素化的保护能力最强，而人脸变形的保护能力则取决于所选择的目标图像。这就需要更复杂的机制来选择令人满意的混淆。
- 受保护图像对常用图像退化(滤波、压缩等)的识别鲁棒性在本文中没有讨论，尽管它非常重要，因为它极大地影响了所提方法的效用。
- 此外，与大多数其他面部匿名化方法一样，仅模糊面部区域可能无法保证严格的隐私保护，因为非面部特征(如肤色、发型和服装)仍然可以提供透露隐私的视觉线索。