如何通过阅读论文了解图片防御与lvlm攻击的防御策略?

摘要:Anti-Tamper Protection for Unauthorized Individual Image Generation 图1.(a)伪造攻击者通过从社交媒体上拍照生成数据所有者的虚假个人图像,并将其提交给服务提供商。(b)数
Anti-Tamper Protection for Unauthorized Individual Image Generation 图1.(a)伪造攻击者通过从社交媒体上拍照生成数据所有者的虚假个人图像,并将其提交给服务提供商。(b)数据所有者可以在服务提供商的协助下,向其图像中注入保护性扰动,这样当攻击者试图生成虚假个人图像时,会得到质量低下的结果。然而,如果攻击者对受保护的图像进行净化处理,这种保护就可能失效。(c)我们的解决方案:我们提出了带有防篡改机制的防篡改扰动。如果未进行净化处理,该扰动会通过降低生成图像的质量来保护数据所有者的肖像权和隐私权。相反,如果伪造攻击者进行了净化处理,图像就会变为未授权状态,服务提供商将拒绝生成请求。 图2. 防篡改扰动流程。原始图像首先通过块离散余弦变换(BDCT)转换到频域。在二进制掩码的引导下,授权扰动和保护扰动在频域中独立应用,以获得受保护且经过授权的图像。 掩码引导的扰动融合 保护扰动和授权扰动都是通过改变图像信息来工作的。它们可能会因为改变相同的图像像素而相互干扰。为了解决这个问题,我们建议通过如下掩码来区分扰动: \[P_{A P}(I)=M \odot P_{A u t h}(I)+(1-M) \odot P_{Prot }(I) \] 其中,I表示图像,M表示掩码,由0和1组成。\(P_{A P}(\cdot)\)、\(P_{Auth }(\cdot)\)、\(P_{Prot }(\cdot)\)分别指防篡改扰动、授权扰动和保护扰动。掩码使两种扰动能够独立发挥作用,确保它们不会相互干扰。 局限性:扰动在像素空间中变得可区分,这可能会使净化方法能够有选择地针对保护扰动。 为了解决这个问题,我们可以采用一种变换函数,将图像映射到频域,在频域中施加扰动: \[P_{A P}(I)=F^{-1}\left[M \odot P_{A u t h}(F(I))+(1-M) \odot P_{Prot }(F(I))\right] \] 其中,\(F(\cdot)\)和\(F^{-1}(\cdot)\)分别表示将图像从像素域投影到频域的函数及其逆函数。由于每个像素值都是频域系数的线性组合,因此这两种扰动在像素域内均呈均匀分布。这种方法确保了授权扰动和保护扰动在像素域中无法区分。扰动的均匀分布还提高了授权扰动对净化尝试的敏感性。 块离散余弦变换(F) 我们采用BDCT函数作为变换函数F,这比直接对整个图像采用离散余弦变换(DCT)更高效。 具体来说,我们首先在像素域中将图像I划分为不重叠的块。我们记录块在像素域中的位置,对每个块,我们按如下方式应用DCT: \[C_{u, v}=\alpha(u) \alpha(v) \sum_{i=0}^{N-1} \sum_{j=0}^{N-1} I_{i, j} \phi(u, i, N) \phi(v, j, N), (3) \] 其中\(\phi(u, i, N)=cos (\frac{\pi(2 u+1) i}{2 N})\)。当\(i=0\)时,\(\alpha(i)=\sqrt{\frac{2}{N}}\);否则为\(\alpha(i)=\sqrt{\frac{1}{N}}\)。N表示块的高度和宽度。C表示频率系数。然后,我们根据块在像素域中的位置对其进行合并。这样,我们就能得到一个与原始图像尺度相同的频率系数张量。我们对该张量进行掩码引导的授权和保护扰动。为了将图像从频域转换回图像域,我们应用块逆离散余弦变换(BIDCT)。我们按照与BDCT相同的方式将张量分割成块,并应用逆离散余弦变换(Inverse-DCT)以获得像素域中的扰动图像: \[I_{i, j}=\sum_{u=0}^{N-1} \sum_{v=0}^{N-1} \alpha(u) \alpha(v) C_{u, v} \phi(u, i, N) \phi(v, j, N) . (4) \] 授权扰动 我们考虑将授权消息嵌入频域,作为一种可行的授权扰动方法。参考已被证明在像素域隐藏信息方面有效的研究,我们使用卷积自编码器\(f_{\theta}(\cdot)\)来完成授权扰动。如图2所示,编码器从经过掩码处理的输入频率系数中提取中间特征图。授权消息m表示为由{0,1}组成的长度为L的二进制字符串,它在空间上被复制并与中间特征图连接。然后,解码器从这些修改后的特征图中重建系数。同时,还训练了一个消息解码器\(D_{m}\),用于从重建的系数中检索编码信息。
阅读全文