Abstract

背景

少样本学习致力于在每个种类的训练样本数量非常少的情况下识别出新的样本的种类，前人的工作主要是用元学习或者数据扩充来缓解极度缺乏数据的问题。

创新点

这篇文章提出了一个新的统计方法：实例可信度推断（Instance Credibility Inference），亦即 ICL。

首先使用有标签的数据训练一个线性分类器，然后用该分类器去推断没有标签的数据的伪标签。之后对这些生成的伪标签的可信度进行度量，选取其中具有较高可信度的伪标签对应的实例 / 样本，之后结合这些具有伪标签的实例我们重新训练线性分类器，像这样迭代下去，直到所有的没有标签的样本都有了较高可信度的伪标签。

效果

在少样本学习常用的四个测试训练集（miniImageNet, tieredImageNet, CIFAR-FS 以及 CUB）上都取得了 state of the art。

相关链接

https://github.com/Yikai-Wang/ICI-FSL

https://zhuanlan.zhihu.com/p/120354934

https://arxiv.org/pdf/2003.11853.pdf

Introduction

Selft-taught learning 是一种使用未标记的数据的方法，其思想是使用一个训练过的分类器对未标记的数据进行推断，即赋予其伪标签，之后拿这些具有伪标签的数据去更新我们之前的分类器。

但是有一个问题：由我们训练的分类器推断出的伪标签未必是充分可信的，且错误分类的标签可能会严重影响分类器的性能。因此衡量伪标签的可信度就很关键了。

因此作者结合自己提出的 ICL 对 self-taught learning 做出了改进：

Methodology

首先使用一个 feature extractor 对原输入样本进行特征提取并使用 PCA 进行降维，对于样本 i，处理之后即得到其特征向量 xi。

对于具有标签的数据，yi 表示其标签；对于没有标签的数据，yi 表示其伪标签，这里我们使用一个线性回归模型来预测该伪标签：

其中:

1. β 是用于分类的参数矩阵，称之为结构化参数；
2. ε 是均值为 0 的高斯噪声；
3. γi 是一个与样本 i 相关的参数，称之为偶发参数，可以视为对回归模型的修正，其范数越大，说明模型对该样本的拟合程度越差，当该样本的标签为伪标签时，本文认为其可以反映该样本的伪标签的可信程度。

在小样本学习的推断阶段，我们利用有标签的小样本训练一个线性分类器，利用该线性分类器对无标签样本进行推断赋予伪标签，之后我们对有标签样本和伪标签样本构建含偶发参数的线性回归模型，并求解相关的结构化参数和偶发参数。https://zhuanlan.zhihu.com/p/120354934

因此可以将我们的优化问题表达如下：

（注意是矩阵形式的表达）

求出该方程对 β 的偏导，令其为 0，解得：

将其代入原方程，有：

其中：

惩罚项 λR 中的 R：

进一步进行简化：

其中：

现在我们已经将问题转换为一个以 γ 为系数的线性回归模型，但是其解与惩罚项系数 γ 相关。

这里引入一个假设：我们假设一个可信度较高的样本在不同的 λ 的取值下相较于可信度较低的样本其鲁棒性更好。

之后采用 Glmnet 实现的算法求解该问题的解路径。

大致思想是随着 λ 的增大，矩阵 γ 中的项逐渐变为 0，表明我们的线性回归模型此时无需修正就可以拟合对应的样本点。

因此，我们可以根据 γi 变为 0 时对应的 λ 值对所有的伪标签样本进行排序，并从中选取最可信的子集与我们的有标签样本集合一起重新训练我们的线性分类器。

实验结果：