本发明属于计算机视觉处理,具体涉及一种高隐蔽性的对抗攻击方法。
背景技术:
1、随着深度学习技术的发展,计算机视觉在图像识别、物体检测、场景理解等方面应用广泛。深度学习模型,尤其是卷积神经网络,成为实现这些任务的主要技术手段。尽管深度学习模型在多个任务上具有较好的性能,但却异常脆弱,易受到对抗样本的攻击。对抗样本通过精心设计的扰动,可以误导深度学习模型做出错误判断。这些样本在视觉上与原始样本几乎无异,难以察觉,它们的存在对深度学习模型在安全应用(支付人脸识别、自动驾驶等)中构成了潜在威胁。
2、目前对神经网络鲁棒性的研究分为对抗与防御两个方面,对抗攻击的研究可以揭示神经网络的潜在弱点,提升模型鲁棒性,并促进攻防技术的共同发展。目前的攻击方法主要分为白盒攻击与黑盒攻击两种。在白盒攻击的场景中,攻击者了解攻击模型的知识,可以在目标模型上直接制作对抗样本。黑盒模型场景下,攻击者只能依据查询结果生成对抗样本。在实际应用中,黑盒场景更具有实用价值。
3、现阶段大多数对抗样本生成方法都集中在空间域,通过直接修改图像的像素值来生成对抗性扰动。该方法可以有效误导深度学习模型,但所生成对抗样本上往往有明显的噪声波纹,隐蔽性较差,易被检测到。此外,空间域的方法易受到图像压缩、图像滤波等技术的影响,降低攻击的有效性。为了解决此问题,现有技术在特征空间中进行攻击,但在特征空间中难以得到扰动的确定方向,且泛化性较低,无法应用在黑盒场景中。如何在提升对抗样本隐蔽性的同时,提升对抗样本的泛化性,仍然值得探索。
技术实现思路
1、为了解决上述问题,本发明提供一种高隐蔽性的对抗攻击方法,其解决了对抗样本泛化性不足、扰动明显的问题。
2、本发明所采用的技术方案为:
3、在第一个方面,本技术公开了一种高隐蔽性的对抗攻击方法,包括以下步骤:
4、获取t+1个输入样本图像xr(r=1,2,3…,t+1),其中,所述输入样本图像xr中包含初始样本图像x;
5、利用第一扰动梯度优化所述初始样本图像x,获得中间对抗样本xd1;
6、利用第二扰动梯度优化所述中间对抗样本xd1,获得中间对抗样本xd2,
7、其中,所述第一扰动梯度是根据所述输入样本图像xr在特征空间的特征相似度计算获得;所述第二扰动梯度是在所述第一扰动梯度中引入全局低频约束而得,所述全局低频约束是所述中间对抗样本xd1与初始样本图像x的全局低频约束;xd表示中间对抗样本,xd1表示第一中间对抗样本,xd2表示第二中间对抗样本…以此类推。
8、作为一种可选的技术方案,所述输入样本图像xr的获取包括:对初始样本图像x进行频域变换,获得t个副本图像xt(t=1,2,3…,t),由所述初始样本图像x与副本图像xt(t=1,2,3…,t)构成所述输入样本图像xr(r=1,2,3…,t+1)。
9、作为一种可选的技术方案,所述频域变换包括:
10、使用dct变换将初始样本图像x从空间域变换到频域,变换的计算公式为:
11、d(x)=axat
12、其中,dct变换即离散余弦变换,a为正交矩阵,aat相当于单位矩阵i;
13、通过随机频谱变换产生不同的频谱图,用于替代不同的攻击模型,再使用逆离散余弦变换idct将频谱图变换回空间域,计算公式为:
14、t(x)=di((d(x)+d(ξ))⊙m)
15、其中⊙为阿达玛乘积,ξ~ν(0,δ2i)是从高斯分布中采样的随机变量,m~μ(1-ρ,1+ρ)是从均匀分布中采样的随机变量。
16、作为一种可选的技术方案,所述第一扰动梯度的计算包括:
17、从所述输入样本图像xr(r=1,2,3…,t+1)中选取一个样本xr(r=i),即xi,输入到分类模型f(·)中,得到特征向量f(xi);
18、计算所选取样本xi与其他样本xj之间的特征相似度,特征相似度采用余弦相似度函数进行衡量,其中1≤i,j≤t+1,i≠j,具体计算公式如下:
19、
20、选取特征相似度最大的样本作为扰动更新方向参考,计算第一扰动梯度的公式为:
21、
22、其中xi′为优化变量,其初始值为xi,si′,i=~(f(xi′),f(xi))与si′,j=~(f(xi′),f(xj))为其特征相似性分数。
23、作为一种可选的技术方案,所述第二扰动梯度的计算包括:
24、利用快速傅立叶变换得到所有像素信息的频率值,对图像的频率分布具有全局预览,再根据频率信息建立中间对抗样本xd1与初始样本图像x的低频重建损失,快速傅立叶变换表示为:
25、
26、该公式可以将图像x从像素空间映射到傅立叶频谱空间,其中,a=0,……,h-1,b=0,……,w-1;
27、再将傅立叶的计算结果从复数域变为实数域,计算公式为:
28、
29、其中,ε=1×10-8是为数值稳定性添加的项,re、im分别为f(i)(a,b)的实部和虚部;
30、利用高斯核过滤图像保留图像的局部低频特征,采用低频掩码进行计算,高斯核的表达公式为:
31、
32、其中[i,j]表示图像内的空间位置,δ2表示高斯函数的方差;利用高斯核在图像x上进行卷积,计算公式为:
33、
34、其中m,n为2d高斯核的索引,
35、将傅立叶与高斯核的低频约束组合起来,得到中间对抗样本xd1与初始样本图像x的全局低频约束:
36、λdftt(xi,xi′)+βdgauss(xi,xi′)
37、将该全局低频约束引入到所述第一扰动梯度中进一步缩小扰动的生成范围,获得第二扰动梯度:
38、
39、其中,si′,t表示选取样本与目标样本之间的特征相似度。
40、作为一种可选的技术方案,所述高隐蔽性的对抗攻击方法还包括:利用副本图像与对应的中间对抗样本xd之间的全局低频约束,缩小扰动梯度的生成范围,包括如下过程:
41、计算副本图像xt(t=1)与中间对抗样本xd2之间的全局低频约束,并将该全局低频约束引入所述第二扰动梯度中,获得第三扰动梯度,利用第三扰动梯度优化中间对抗样本xd2,获得中间对抗样本xd3;
42、计算副本图像xt(t=2)与中间对抗样本xd3之间的全局低频约束,并将该全局低频约束引入所述第三扰动梯度中,获得第四扰动梯度,利用第四扰动梯度优化中间对抗样本xd3,获得中间对抗样本xd4;
43、……;
44、以此类推;
45、计算副本图像xt(t=t)与中间对抗样本xdt+1之间的全局低频约束,并将该全局低频约束引入第t+1扰动梯度中,获得第t+2扰动梯度,利用第t+2扰动梯度优化中间对抗样本xdt+1,获得中间对抗样本xdt+2;
46、最后,计算所有副本图像对应的扰动梯度的平均值,即所述第二扰动梯度、第三扰动梯度、…、第t+2扰动梯度的平均值,将该平均值添加至初始样本图像x中,获得最终对抗样本。
47、在第二个方面,本技术还公开了一种高隐蔽性的对抗攻击装置,包括:
48、获取模块,用于获取t+1个输入样本图像xr(r=1,2,3…,t+1),其中,所述输入样本图像xr中包含初始样本图像x;
49、第一扰动梯度模块,用于利用第一扰动梯度优化所述初始样本图像x,获得中间对抗样本xd1;
50、第二扰动梯度模块,用于利用第二扰动梯度优化所述中间对抗样本xd1,获得中间对抗样本xd2,
51、其中,所述第一扰动梯度是根据所述输入样本图像xr在特征空间的特征相似度计算获得;所述第二扰动梯度是在所述第一扰动梯度中引入全局低频约束而得,所述全局低频约束是所述中间对抗样本xd1与初始样本图像x的全局低频约束;xd表示中间对抗样本,xd1表示第一中间对抗样本,xd2表示第二中间对抗样本…以此类推。
52、作为一种可选的技术方案,所述获取模块还用于:对初始样本图像x进行频域变换,获得t个副本图像xt(t=1,2,3…,t),由所述初始样本图像x与副本图像xt(t=1,2,3…,t)构成所述输入样本图像xr(r=1,2,3…,t+1);
53、所述获取模块还用于:
54、使用dct变换将初始样本图像x从空间域变换到频域,变换的计算公式为:
55、d(x)=axat
56、其中,dct变换即离散余弦变换,a为正交矩阵,aat相当于单位矩阵i;
57、通过随机频谱变换产生不同的频谱图,用于替代不同的攻击模型,再使用逆离散余弦变换idct将频谱图变换回空间域,计算公式为:
58、t(x)=di((d(x)+d(ξ))⊙m)
59、其中⊙为阿达玛乘积,ξ~ν(0,δ2i)是从高斯分布中采样的随机变量,m~μ(1-ρ,1+ρ)是从均匀分布中采样的随机变量。
60、作为一种可选的技术方案,所述第一扰动梯度模块还用于:
61、从所述输入样本图像xr(r=1,2,3…,t+1)中选取一个样本xr(r=i),即xi,输入到分类模型f(·)中,得到特征向量f(xi);
62、计算所选取样本xi与其他样本xj之间的特征相似度,特征相似度采用余弦相似度函数进行衡量,其中1≤i,j≤t+1,i≠j,具体计算公式如下:
63、
64、选取特征相似度最大的样本作为扰动更新方向参考,计算第一扰动梯度的公式为:
65、
66、其中xi′为优化变量,其初始值为xi,si′,i=~(f(xi′),f(xi))与si′,j=~(f(xi′),f(xj))为其特征相似性分数。
67、作为一种可选的技术方案,所述第二扰动梯度模块还用于:
68、利用快速傅立叶变换得到所有像素信息的频率值,对图像的频率分布具有全局预览,再根据频率信息建立中间对抗样本xd1与初始样本图像x的低频重建损失,快速傅立叶变换表示为:
69、
70、该公式可以将图像x从像素空间映射到傅立叶频谱空间,其中,a=0,……,h-1,b=0,……,w-1;
71、再将傅立叶的计算结果从复数域变为实数域,计算公式为:
72、
73、其中,ε=1×10-8是为数值稳定性添加的项,re、im分别为的实部和虚部;
74、利用高斯核过滤图像保留图像的局部低频特征,采用低频掩码进行计算,高斯核的表达公式为:
75、
76、其中[i,j]表示图像内的空间位置,δ2表示高斯函数的方差;利用高斯核在图像x上进行卷积,计算公式为:
77、
78、其中m,n为2d高斯核的索引,
79、将傅立叶与高斯核的低频约束组合起来,得到中间对抗样本xd1与初始样本图像x的全局低频约束:
80、λdftt(xi,xi′)+βdgauss(xi,xi′)
81、将该全局低频约束引入到所述第一扰动梯度中进一步缩小扰动的生成范围,获得第二扰动梯度:
82、
83、其中,si′,t表示选取样本与目标样本之间的特征相似度。
84、作为一种可选的技术方案,所述装置还包括副本缩小梯度模块,用于利用副本图像与对应的中间对抗样本xd之间的全局低频约束,缩小扰动梯度的生成范围,还用于:
85、计算副本图像xt(t=1)与中间对抗样本xd2之间的全局低频约束,并将该全局低频约束引入所述第二扰动梯度中,获得第三扰动梯度,利用第三扰动梯度优化中间对抗样本xd2,获得中间对抗样本xd3;
86、计算副本图像xt(t=2)与中间对抗样本xd3之间的全局低频约束,并将该全局低频约束引入所述第三扰动梯度中,获得第四扰动梯度,利用第四扰动梯度优化中间对抗样本xd3,获得中间对抗样本xd4;
87、……;
88、以此类推;
89、计算副本图像xt(t=t)与中间对抗样本xdt+1之间的全局低频约束,并将该全局低频约束引入第t+1扰动梯度中,获得第t+2扰动梯度,利用第t+2扰动梯度优化中间对抗样本xdt+1,获得中间对抗样本xdt+2;
90、最后,计算所有副本图像对应的扰动梯度的平均值,即所述第二扰动梯度、第三扰动梯度、…、第t+2扰动梯度的平均值,将该平均值添加至初始样本图像x中,获得最终对抗样本。
91、本发明的有益效果为:
92、1、本发明通过在特征空间中引入全局频域约束,进一步将对抗样本的扰动限制在图像的高频范围内,使扰动难以被人眼察觉,减少传统对样本生成方法所产生的噪声波纹明显的问题。
93、2、本发明引入了频域变换对输入图像进行处理,提高了分类模型的输入随机性和多样性。并对梯度进行平均处理进一步细化扰动,这样能够保留扰动的泛化性,提升其在不同模型上的攻击成功率。
1.一种高隐蔽性的对抗攻击方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的高隐蔽性的对抗攻击方法,其特征在于,所述输入样本图像xr的获取包括:对初始样本图像x进行频域变换,获得t个副本图像xt(t=1,2,3…,t),由所述初始样本图像x与副本图像xt(t=1,2,3…,t)构成所述输入样本图像xr(r=1,2,3…,t+1)。
3.根据权利要求2所述的高隐蔽性的对抗攻击方法,其特征在于,所述频域变换包括:
4.根据权利要求1-3任一项所述的高隐蔽性的对抗攻击方法,其特征在于,所述第一扰动梯度的计算包括:
5.根据权利要求4所述的高隐蔽性的对抗攻击方法,其特征在于,所述第二扰动梯度的计算包括:
6.根据权利要求5所述的高隐蔽性的对抗攻击方法,其特征在于,所述方法还包括利用副本图像与对应的中间对抗样本xd之间的全局低频约束,缩小扰动梯度的生成范围,包括如下过程:
7.一种高隐蔽性的对抗攻击装置,其特征在于,包括:
8.根据权利要求7所述的高隐蔽性的对抗攻击装置,其特征在于:
9.根据权利要求7或8所述的高隐蔽性的对抗攻击装置,其特征在于,所述第一扰动梯度模块还用于:
10.根据权利要求9所述的高隐蔽性的对抗攻击装置,其特征在于,所述装置还包括副本缩小梯度模块,用于利用副本图像与对应的中间对抗样本xd之间的全局低频约束,缩小扰动梯度的生成范围,还用于: