论文精读：Prototypical Residual Networks for Anomaly Detection and Localization

问题描述：

1、异常十分罕见，难收集到可见的异常并且容易对少数的可见异常过拟和。
2、异常区域小，外观差异大，难以识别。

主要贡献：

1、提出了一种新的用于异常检测和定位的原型残差网络(PRN)。PRN利用多尺度原型和多尺度自注意机制，学习多尺度特征图之间和每个尺度多尺度感受野内的残差表征。
2、提出了多种综合考虑可见和不可见外观差异的异常生成策略，以扩大和多样化异常。
3、在四个数据集上进行了大量的实验，结果表明我们的方法实现了新的SOTA异常检测性能，并且在异常定位性能上大大优于当前的SOTA。

模型框架：

模组组件：

1、Multi-scale Prototypes：

Prototype Initialization：

随机选择一部分正常样本进行初始化，在此基础上进行聚类确定下来每个簇的中心，在之后的迭代中聚类中心不再改变，这些聚类中心作为prototypes。
多尺度的prototypes体现将多个block的输出特征图都考虑了prototypes。

Residual Representation：

将样本在某个block的输出与最近的prototype相减得到残差表征。

2、Multi-scale Fusion：

将多个block输出的特征图融合，有利于多个block之间的信息交互。

$f_{rj}$ :Transfom function,如图：

可以看到要保证输出维度一致，需要对不同的block的输出进行上采样和下采样。

3、Multi-size Self-Attention(MSA):

MSA将$C_{i,j}^*$ 分割成不同大小的patch，其中$C_{i,j}^*$是将各个block的特征图和残差图分别融合再concatenated后得到的。

4、Anomaly Generation:

Extended Anomaly：通过已知异常的异常区域与正常样本生成异常。

Simulated Anomaly：去仿造unseen的异常

Heterologous anomaly：异常部分由纹理数据集中(DTD dataset)随机抽取变换得到。
Homology anomaly：一场部分由增强(将图片分为几个patch，然后打乱patch的顺序)的正常样本得到。

5、Train:

$$
\mathcal{L}{total} = Smooth{\mathcal{L}1}(\mathcal{M}{o},\mathcal{M}) + \lambda \mathcal{L}{focal}(\mathcal{M}_{o},\mathcal{M})
$$

其中 $Smooth_{\mathcal{L}1}$ 使得在0处可微，在保持L1范数稀疏性的同时，使目标函数更加光滑，有利于训练的稳定;$\mathcal{L}_{focal}$解决损失函数中类别不平衡的问题。

6、Experiment：

评价指标：

Image-AUROC
Pixel-AUROC
Per Region Overlap(PRO):平等地对待不同大小的异常区域。
Average Precision(AP):适用于高度不平衡的类别。

实验结果：

从实验中可以看到无监督的方法效果要好于有监督的方法，对此产生疑问。