论文笔记：Weighted-Sampling Audio Adversarial Example Attack, AAAI 2020

Contents

1. 1. Introduction
2. 2. Related Work
3. 3. Background
4. 4. Methodology
   1. 4.1. Sampling perturbation technology
   2. 4.2. Weighted perturbation technology

论文发表在AAAI 2020阅读笔记，暂时没有官方的代码。

论文主要提出了SPT(Sampling Perturbation Technology)和WPT(Weighted Perturbation Technology)两种方法，使得生成的音频对抗样本更低噪声、鲁棒、快速生成（分钟级）。

没有复现和实验（没找到作者的代码），属于纸上谈兵。

Introduction

生成音频对抗样本的三大困难：

• 计算资源多、计算时间长，花费时间以小时计；
• 录音再重放会引入噪声，现有方法生成的对抗样本鲁棒性不强；
• 适合作为音频对抗样本loss函数的度量方法，缺乏研究（图像一般用lp范数）

作者的工作：

• 使用SPT和WPT两种方法，控制扰动的样本点数量和更新权重，以提高鲁棒性和生成效率；
• 研究了loss函数使用不同度量方法的效果；
• 生成对抗样本只需4-5min（相较于以前的>1h）；

CTC介绍：https://distill.pub/2017/ctc/
样本：https://sites.google.com/view/audio-adversarial-examples/
代码：无

Related Work

两种类型的攻击：

• speech-to-label：分类问题
• speech-to-text：语言转文字

论文讨论第二种，更具现实意义。

• Carlini and Wagner 2018实现让ASR将一段话语识别为另一目标文字
• CommanderSong实现在音乐中嵌入扰动，让ASR识别为目标文字，且是物理攻击

待优化方向：低噪声、鲁棒性、生成速度

Background

威胁模型，攻击的目标ASR满足的条件：

• 核心构件是RNN
• 易被对抗样本攻击，攻击的结果作为下面测试的baseline
• 开源，以作白盒攻击

文章中的攻击：

• 威胁模型是：Deepspeech
• 只测试了白盒攻击

设是ASR模型，是添加的扰动，是输入的语言，是恶意信息（即攻击目标是使得），则语言对抗攻击的目标函数可以写为：

$$l(x,\delta,t)=l_{model}(f(x+\delta),t)+c\cdot l_{metric}(x,x+\delta)$$

其中，是ASR训练时候的损失函数，常用CTC loss；而在论文中探讨了下面几种：

• SNR(Signal-to-Noise Ratio)，即
• WER(Word Error Rate)，即
• Success Rate，即，其中是攻击成功的样本
• Robustness Rate，即，其中指添加噪声的映射，即添加噪声后的success rate

Methodology

Sampling perturbation technology

这里，以CTC loss为例：

• 是输入的语音（向量），是的语义信息（即phrase），是概率分布（采用CTC的ASR的输出结果）
• 和表示的第帧（向量值）及其概率分布（字符概率分布）
• 表示去除重复字符和空字符之前的tokens，有一个，有其对应的text输出结果，的长度和相同
• 有一个概率分布，对应于不同的，有这个的概率值，这个值就是，即每帧对应的概率相乘
• 有一个概率分布，再有一个phrase记为，则有一组
• 对于一个概率分布，语义信息为的概率为所有对应的tokens概率相加，即

以前的工作是通过扰动每个位置上的值，来使得目标phrase的概率最大，在这里，固定一部分，扰动其余部分。

设被扰动后的tokens为，对应的概率分布为，则最大化下面这个式子：

$$\begin{aligned} t &=\text{argmax}_p Pr(p|y)\\ &=\text{argmax}_p \sum_{\pi \in \Pi(p|y)}\prod_{i=0}^n y^i_{\pi^i}\\ &=\text{argmax}_p \sum_{\pi'\in\Pi(p|y')}\prod_{j=0}^{n-m} y^j_{\pi^j} \prod_k^m y_{\pi'^k}^{'k} \end{aligned}$$

（看起来是把的前个和的前个直接乘起来？）没找到作者的代码。

Weighted perturbation technology

实验发现，在将语音原来的phrase调整到目标phrase的时候，超过一半的时候花在了两者Levenshtein距离在3-0的时候。

使用ASL(Audio Sequence Location)模型去寻找目前结果的phrase和target phrase之间的区别，给出tokens中个关键的key tokens（改变这些token使得输出为target phrase），然后在这个集合中的token，给予大于1的权重。

$$l(x,\delta,t)=l_{model}(f(x+\alpha\cdot t),t)+c\cdot l_{metric}(x,x+\delta)$$ $$\alpha_i=\begin{cases} \omega,if i\in \chi^k,\omega>1\\ 1,else \end{cases}$$

同时在levenshtein距离从1到0的时候，降低learning rate。