基于张量特征的小样本图像快速分类方法

图1 小样本数据集的划分

Fig.1 Division of few⁃shot datasets

1.2　基于数据增强的小样本图像分类

小样本学习的根本问题在于样本量太少，导致样本的多样性变低.面对小样本学习问题时深度学习模型会出现性能差和过拟合问题，解决小样本学习问题最直接的方法是进行数据增强来提高样本的多样性，传统的数据增强方法，如移位（translation）、旋转（rotation）、缩放（scale）、裁剪（crop）、翻转（flip）等转换规则不具有一般性，当数据集图像为不规则形状时表现效果不佳.比如，当一个数据集的图像不是正方形时，采用旋转可能丢失图像尺寸，这一问题又需要额外的工作来解决.因此，采用传统的数据增强规则的方式不能很好地解决小样本图像分类问题^［17］.

适用于小样本图像分类的数据增强方法大都借助辅助数据或辅助信息对原有的小样本数据集进行数据扩充或特征增强，这对小样本图像分类器的准确性起到至关重要的作用.目前，从数据增强的角度出发解决小样本图像分类问题已引起国内外学者的关注，GAN （Generative Adversarial Networks）能生成与真实样本分布相同的模拟样本，作为生成器被广泛应用于小样本图像分类.Mehrotra and Dukkipati^［5］利用GAN生成器为输入的支持集样本生成假的查询样本，提出一种用于单样本学习的生成对抗残差成对网络.Antoniou et al^［6］也在GAN网络的基础上为小样本学习问题提出数据增强生成对抗网络（Data Augmentation GAN，DAGAN）.Zhang et al^［7］提出Meta⁃GAN，进一步为特定任务生成虚假样本以补充训练样本，在Meta⁃GAN中，GAN和少数分类网络的组合训练使生成的示例更适合于小样本学习任务.Zhang et al^［12］提出基于条件Wasserstein生成对抗网络（cWGAN）的对抗性特征幻觉网络（Adversarial Feature Hallucination Network，AFHN），并运用两个新颖的正则化器对模型进行限制.但这些方法都比较复杂，训练时需要消耗较多的资源和较长的时间，并且由于GAN网络容易出现模型崩塌，进一步加大了这些模型的训练难度.对此，Wu et al^［13］假设基集中每个类别都服从高斯分布，使用最大后验概率（Maximum A Posteriori，MAP）来估计即使只有一个例子的新类别的分布，提出一种简单有效的方法来生成样本较少的新类别模型.不同于前面的工作，蔡奇和李凡长^［18］在特征的层面上对图像进行增强，提出一种类特征增强模块（Class Feature Augmentation，CFA），将其与原型网络结合得到类特征增强原型网络（CFA⁃PN）.Chen et al^［19］利用语义来直接合成实例特征.Cho and Kim^［20］提出一种自动选择最优增强策略的方法（Efficient Data Augmentation，EDANet），从候选的数据增强策略中自动选择最优的组合对数据进行增强.Lazarou et al^［15］提出一个简单的张量特征幻觉器模型TFH，通过利用张量特征而不是向量特征来提升小样本分类性能，但在该模型的张量特征生成过程中，得到原型张量特征后，通过卷积、全连接层等操作将其变为向量特征，再结合随机产生的噪声向量经过相应的操作得到需要的张量特征.从张量特征过渡到向量特征再转变为张量特征这一过程，使模型复杂繁琐，增加了模型的规模和推理时间.

综上，尽管不少学者对基于数据增强的小样本图像分类进行了研究，但在该研究领域仍存在很多未能很好解决的问题，如数据增强模型复杂、推理时间过长等.本文对TFH模型进行改进，利用张量特征直接生成需要的张量特征，无需用向量特征过渡，能在分类准确率损失较小的情况下缩减模型的规模，使模型能更快地完成小样本图像分类任务.

2 算法描述

2.1　TFH模型介绍

TFH模型在特征空间生成张量特征来增强小样本支持集特征，然后利用增强后的特征训练得到一个满意的分类器，它主要由特征提取器、张量特征幻觉器和分类器组成.支持集图像首先经过特征提取器得到相应的张量特征，随后对每一类的张量特征相加求平均得到类原型张量特征；接着将类原型张量特征输入张量特征幻觉器，得到新生成的张量特征对支持集图像特征进行增强；最后利用增强后的特征对分类器进行训练.TFH模型的网络概览如图2所示.

图2

图2 TFH模型概览图

Fig.2 Overview of TFH model

TFH模型中，张量特征幻觉器由一个条件器和生成器组成.类原型张量特征首先输入条件器，经过卷积、flatten和全连接的操作变为类条件向量，然后和服从标准正态分布的噪声向量一起输入生成器，经过拼接、转置卷积等操作得到想要的张量特征.但是，从张量特征转变为向量特征再生成张量特征的过程，会使模型的规模增大，推理时间变长.

2.2　张量特征生成器

针对TFH模型在生成张量特征的过程中存在从张量特征到向量特征再到张量特征的冗余过渡阶段，导致模型复杂、推理时间长的问题，对其中的张量特征幻觉器进行改进，将原有的条件器和生成器简化为一个张量特征生成器 $g$ .在张量特征幻觉器中，使用flatten层和全连接层将张量特征转换为向量特征，两者参数量庞大；利用转置卷积进行上采样，计算量也较大.对此，在张量特征生成器 $g$ 中不再运用flatten、全连接等操作将张量特征过渡到向量特征，并使用只有较少计算量的双线性插值（Bilincar Interpolation）来代替转置卷积上采样的作用，这大大简化了模型结构.在张量特征生成器 $g$ 中，输入为原型张量特征 $P_{j}$ ，即每一类支持集图像经过特征提取器 $f$ 后变为张量特征，然后使用式（1）将同一类支持集图像所有的张量特征相加求平均，输出为与原型张量特征标签一致且大小维度一样的张量特征.

P_{j} = \frac{1}{K} \sum_{i = 1}^{K} f_{θ^{'}} (x_{i}^{j})

(1)

其中， $i = 1,2, \dots, K$ 表示每类支持集图像有 $i$ 个样本， $j = 1,2, \dots, N$ 表示第 $j$ 类支持集图像， $x_{i}^{j}$ 表示第 $j$ 类支持集图像的第 $i$ 个样本， $θ^{'}$ 表示特征提取器 $f$ 的参数.

张量特征生成器的网络结构依赖于主干网络，如图3所示，左边是主干网络为ResNet18时张量特征生成器的网络结构，右边是主干网络为ResNet12时张量特征生成器的网络结构.

图3

图3 以ResNet18（左）和以ResNet12（右）为网络主干的张量生成器g

Fig.3 Tensor generator with ResNet18 (left) and ResNet12 (right) as the network backbone

原型张量特征 $P_{j}$ 首先经过两层卷积核大小为3×3、步长为1的卷积得到一个张量特征 $P_{j}^{'}$ ，然后将 $P_{j}^{'}$ 和随机产生的服从标准正态分布的张量噪声 $Z_{b}$ 相加，再进入双线性插值操作对输入的张量特征进行上采样，最后通过一层卷积核大小为3×3、步长为1的卷积和一个sigmoid激活层，输出生成的张量特征 $g (Z_{b}; P_{j}^{'})$ ，生成的新的张量特征 $g (Z_{b}; P_{j}^{'})$ 与输入的原型张量特征 $P_{j}$ 的类别标签是相同的，且大小和维度均相等.由图3的张量特征生成器的网络架构可知，对于主干网络ResNet18，张量特征生成器的张量维度变化为 $[512 \times 7 \times 7], [512 \times 7 \times 7], [256 \times 5 \times 5],$ $[256 \times 5 \times 5], [256 \times 7 \times 7]$ 和 $[512 \times 7 \times 7]$ ；对于主干网络ResNet12，张量特征生成器的张量维度变化为 $[640 \times 5 \times 5], [640 \times 5 \times 5], [320 \times$

3 \times 3], [320 \times 3 \times 3], [320 \times 5 \times 5] 和 [640 \times 5 \times 5] .

张量特征生成器 $g$ 不再将原型张量特征转化为向量特征，而是直接对原型张量特征进行卷积后加入服从标准正态分布的张量噪声 $Z_{b}$ ，利用双线性插值、卷积和激活函数等操作得到想要的张量特征.这大大简化了模型规模，减少了模型的参数量和计算量，使模型更简单，加快了模型的推理速度，能有效解决模型推理时间长的问题，并且它生成的张量特征使下游的分类任务性能只有较小的损失.使用没有经过全局平均池化（Global Average Pooling，GAP）的张量特征训练张量特征生成器 $g$ ，损失函数使用均方误差（Mean Square Error，MSE）^［21-22］，如式（2）所示：

J (g) = \frac{1}{B N} \sum_{j = 1}^{N} \sum_{b = 1}^{B} {‖g (Z_{b}; P_{j}^{'}) - P_{j}‖}^{2}

(2)

其中， $B$ 表示每一类支持集生成的张量特征数.

2.3　小样本图像快速分类网络

针对适用于小样本图像分类的数据增强方法存在模型复杂、推理时间长的问题，基于张量特征生成器 $g$ 提出一种小样本图像快速分类网络（Tensor Feature⁃based Faster Classification Network，TFFCN）.它以ResNet18为主干网络，利用张量特征生成器 $g$ 在特征空间生成张量特征去增强小样本支持集图像特征，使用增强后的特征去训练得到一个满意的分类器，然后对查询集图像进行分类.该模型主要由特征提取器 $f$ 、张量特征生成器 $g$ 和分类器三部分组成.特征提取器对支持集图像和查询集图像特征进行提取，张量特征生成器利用特征提取器得到的特征生成新的张量特征对支持集图像特征进行增强，分类器使用增强后的图像特征进行训练，最后对查询集图像进行分类.TFFCN模型的概览如图4所示.

图4

图4 TFFCN模型概览图

Fig.4 Overview of TFFCN model

在TFFCN模型中，支持集图像 $x_{i}^{j}$ 首先经过特征提取器 $f$ 得到图像的张量特征.这里为了得到一个较好的特征提取器，采用两阶段策略来训练特征提取器^［23］：第一阶段，在元训练集上对残差神经网络ResNet18进行训练，采用标准交叉熵作为损失函数，如式（3）所示.第二阶段，运用自蒸馏（self⁃distillation）操作.自蒸馏指老师模型和学生模型是同一个模型，即将第一阶段得到的模型看作老师模型，蒸馏自己的知识来指导自己得到的模型为学生模型（StudentNet），运用的损失函数如式（4）所示.

J (θ, ϕ) = \sum_{i = 1}^{D} L_{c e} (c_{ϕ} ({\bar{f}}_{θ} (x_{i})), y_{i}) + R (ϕ)

(3)

\begin{array}{l} J_{K D} (θ^{'}, ϕ^{'}) = \\ α J (θ^{'}, ϕ^{'}) + β K L (c_{ϕ^{'}} ({\bar{f}}_{θ^{'}} (x_{i})), c_{ϕ} ({\bar{f}}_{θ^{'}} (x_{i}))) \end{array}

(4)

其中， $θ$ 表示特征提取器的参数，即老师模型 $f_{θ}$ 的参数， $ϕ$ 表示残差神经网络最后一层全连接层构成的分类器的参数， $c_{ϕ}$ 表示残差神经网络最后一层全连接层构成的分类器， $D$ 表示元训练集中有标签的样本总数， $L_{c e}$ 表示交叉熵， ${\bar{f}}_{θ}$ 表示对老师模型 $f_{θ}$ 提取的特征进行全局平均池化， $y_{i}$ 表示支持集样本 $x_{i}$ 对应的类别标签， $R$ 是一个正则项.同理，带有上标“ $'$ ”的符号分别表示自蒸馏后的参数， $α, β$ 表示标量权重， $K L$ 表示老师模型和学生模型之间的Kullback⁃Leibler散度.

通过特征提取器 $f$ 得到支持集图像的张量特征后使用式（1）计算求得每一类的原型张量特征 $P_{j}$ ，将其作为输入进入生成器 $g$ 后先经过两层卷积，再与随机抽取的服从标准正态分布的张量噪声 $Z_{b}$ 一起生成新的张量特征 $g (Z_{b}; P_{j}^{'})$ .经过合理的训练，TFFCN模型可以为支持集图像特征生成足够的张量特征用于分类器的训练，使分类器能更好地分类查询集图像.其中，默认的分类器为原型分类器（Prototypical Classifier）^［24］，即将增强后的张量特征进行全局平均池化，用式（5）得到一个新的类原型向量 ${\bar{P}}_{j}$ . 查询集图像 $q$ 经过特征提取器后，对得到的张量特征进行全局平均池化，运用式（6）将其分配给最近的类原型向量.

{\bar{P}}_{j} = \frac{1}{K + B} (\sum_{i = 1}^{K} {\bar{f}}_{θ'} (x_{i}^{j}) + \sum_{b = 1}^{B} \bar{g} (Z_{b}; P_{j}^{'}))

(5)

d = \sqrt[]{\sum_{n = 1}^{512} ({\bar{P}}_{n}^{j} - \bar{f} (q_{i}))}

(6)

其中， $B$ 表示为每一类支持集生成的张量特征数， $i = 1,2, \dots, K$ 表示每类支持集有 $i$ 个样本， $j = 1,2, \dots, N$ 表示第 $j$ 类支持集图像， $x_{i}^{j}$ 表示第 $j$ 类支持集图像的第 $i$ 个样本， $n = 1,2, 3, \dots, 512$ 表示全局平均池化后向量的维度为512， ${\bar{f}}_{θ^{'}}$ 表示对学生模型 $f_{θ^{'}}$ 提取得到的特征进行全局平均池化， $\bar{g}$ 表示对生成的新的张量特征进行全局平均池化， ${\bar{P}}_{n}^{j}$ 表示增强后的图像特征中第 $j$ 类图像特征经过全局平均池化后得到的向量特征的第 $n$ 维， $\bar{f} (q_{i})$ 表示查询集图像经过特征提取器得到的张量特征 $f (q_{i})$ 经过全局平均池化操作后得到的向量特征.

3 实验结果与分析

3.1　实验设置

所有实验都使用Python为编程语言，以深度学习框架Pytorch 1.11.0为基础，硬件配置为Intel（R） Xeon（R） CPU @ 2.20 GHz Tesla T4 GPU 16 G内存.实验所用模型及测试代码在https：∥github.com/1997zys/zys_study/tree/master下载.使用学习率为0.05、动量为0.9、权重衰减系数为0.0005的SGD优化器对特征提取器进行训练，训练迭代次数为100.对于张量特征生成器，设置 $N = 5$ 个类别， $K = 20$ 表示每类支持集有20个样本， $B = 50$ 表示为每一类支持集生成50个新的张量特征，训练迭代50次，每次迭代包含600个小样本图像分类任务.分别进行了5⁃way 1⁃shot和5⁃way 5⁃shot的相关实验，其中，分类准确率是重复600个小样本图像分类任务求得的平均值，推理时间是模型完成600个小样本图像分类任务花费的总时间.

为了评估TFFCN模型的性能，在小样本学习的公开数据集miniImageNet，CUB，CIFAR⁃FS上分别进行相关实验.首先，在以上数据集上与目前较流行的一些算法进行分类性能的比较，并对比TFFCN模型与TFH模型的推理时间；其次进行了消融实验，分别与没有进行数据增强、直接利用ResNet18提取的特征和经过自蒸馏训练后得到的特征提取器提取的特征进行分类的方法进行对比，前者叫作Baseline（1），后者叫作Baseline⁃KD（2），证明提出的张量特征生成器的有效性.具体数据集的划分如下.

miniImageNet是从ImageNet^［25］分割得到的，是ImageNet的一个精缩版本，包含100个类别，每个类别含有600张图像.根据Chen et al^［26］的划分，64类作为基类用于训练，16类用于验证，20类作为新类用于测试.

CUB是一个鸟类图像数据集，包含200种鸟类，共11788张图像.遵循Hilliard et al^［27］划分为100，50和50类分别用于训练、验证和测试.

CIFAR⁃FS共有100个类，每个类包含600张图像，总计60000张图像.根据Chen et al^［28］的划分，使用64类作为训练基类，16类用于验证，20类作为新类用于测试.

3.2　模型分类性能与推理时间对比

通过比较模型的分类性能来判断该模型是否适用于小样本图像分类任务.表1展示了TFFCN模型在原型分类器下和一些流行方法在95%的置信区间^［29］的分类性能对比结果.选取流行的小样本数据增强方法 $[9,12,14,18,19,20]$ ，分别在miniImage⁃Net，CUB以及CIFAR⁃FS数据集上进行5⁃way 1⁃shot和5⁃way 5⁃shot的任务.由表可见，TFFCN模型适用于小样本图像分类，在1⁃shot和5⁃shot分类任务上的分类准确率均高于目前流行的小样本数据增强方法.

表1 小样本图像分类算法的对比

Table 1 Comparison of few⁃shot image classification algorithms

Method	Backbone	miniImageNet		CUB		CIFAR⁃FS
Method	Backbone	1⁃shot	5⁃shot	1⁃shot	5⁃shot	1⁃shot	5⁃shot
IDeMet⁃Net^[9]	ResNet⁃18	59.14±_0.86	74.63±_0.74	-	-	-	-
AFHN^[12]	ResNet⁃18	62.38±_0.72	78.16±_0.56	70.53±_1.01	83.95±_0.63	68.32±_0.93	81.45±_0.87
VI⁃Net^[14]	ResNet⁃18	61.05	78.60	74.76	86.84	-	-
CFA⁃PN^[18]	ResNet⁃12	60.47±_0.61	77.82±_0.44
Dual TriNet^[19]	ResNet⁃18	58.80±_1.37	76.71±_0.69	69.61	84.10	63.41±_0.64	78.43±_0.64
EDANet+ PrototypicalNet^[20]	ResNet⁃50	63.35	79.74	-	-	-	-
TFFCN	ResNet⁃18	63.99±_0.80	79.95±_0.61	75.13±_0.86	88.08±_0.47	73.00±_0.95	86.52±_0.62

表2展示了当TFFCN模型与TFH模型的主干网络都为ResNet18时，为元测试集中的支持集样本生成不同数量的张量特征用于小样本图像分类时的推理时间与分类准确率对比结果，其中，括号内为模型TFH所需的推理时间和得到的分类准确率，括号外为TFFCN模型在相同设置下得到的推理时间和分类准确率，推理时间的单位是秒（s），黑体字为两者所需推理时间的最大差距.由表可知，TFFCN模型在为每一类支持集生成不同数量的张量特征时，分类准确率相对较稳定.为每类支持集生成1000个张量特征时，和只为每一类生成一个张量特征相比，其分类性能变好，虽然此时真实样本占比较少.另外，TFFCN模型的分类准确率比TFH模型最多降低0.94%，但所需推理时间却远远少于TFH模型.在5⁃way 1⁃shot分类任务上TFFCN模型比TFH模型可减少高达49%的推理时间，在5⁃way 5⁃shot分类任务上TFFCN模型比TFH模型可减少高达47%的推理时间.

表2 推理时间和分类准确率的对比

Table 2 Comparison of inference time and classification accuracy

Generate B tensor feature per class	Inference times (s)		Classification accuracy
Generate B tensor feature per class	1⁃shot	5⁃shot	1⁃shot	5⁃shot
$B = 1$	179 s (214 s)	218 s (242 s)	62.65±_0.84 (62.43±_0.85)	78.97±_0.64 (79.33±_0.62)
$B = 2$	177 s (215 s)	218 s (244 s)	63.25±_0.83 (63.57±_0.87)	79.00±_0.64 (79.94±_0.60)
$B = 5$	181 s (215 s)	219 s (244 s)	63.59±_0.83 (64.42±_0.83)	79.34±_0.64 (79.77±_0.61)
$B = 10$	179 s (216 s)	219 s (263 s)	63.66±_0.83 (63.90±_0.81)	79.21±_0.64 (79.64±_0.60)
$B = 50$	182 s (223 s)	221 s (249 s)	63.60±_0.83 (63.44±_0.86)	79.08±_0.63 (79.43±_0.63)
$B = 100$	186 s (239 s)	223 s (267 s)	63.99±_0.80 (64.49±_0.84)	79.95±_0.61 (79.27±_0.60)
$B = 500$	238 s (426 s)	268 s (443 s)	63.59±_0.83 (64.25±_0.85)	79.32±_0.63 (79.71±_0.62)
$B = 1000$	354 s (694 s)	376 s (715 s)	63.60±_0.83 (63.76±_0.87)	79.10±_0.63 (79.52±_0.62)

表3显示了TFFCN模型与TFH模型的主干网络都为ResNet12^［30］时，为元测试集中的支持集样本生成不同数量的张量特征用于小样本图像分类时的推理时间与分类准确率对比结果.其中，括号外是TFFCN模型得到的结果，括号内是TFH模型得到的结果，推理时间的单位是秒（s），黑体字为两者所需推理时间的最大差距.由表可见，TFFCN模型和TFH模型相比，分类准确率最高损失0.82%，但大幅缩减了需要的推理时间. $B = 1000$ 时在5⁃way 1⁃shot分类任务上TF⁃FCN模型的推理时间比TFH模型减少24%，在5⁃way 5⁃shot分类任务上TFFCN模型的推理时间比TFH模型减少22%.

表3 推理时间和分类准确率的对比

Table 3 Comparison of inference time and classification accuracy

Generate B tensor feature per class	Inference times (s)		Classification accuracy
Generate B tensor feature per class	1⁃shot	5⁃shot	1⁃shot	5⁃shot
$B = 1$	165 s (184 s)	188 s (204 s)	63.45±_0.77 (63.88±_0.85)	79.13±_0.56 (79.58±_0.59)
$B = 2$	166 s (184 s)	189 s (204 s)	63.72±_.79 (64.01±_0.83)	79.10±_0.56 (79.44±_0.61)
$B = 5$	166 s (189 s)	193 s (207 s)	63.79±_0.78 (64.12±_0.83)	79.11±_0.56 (79.49±_0.61)
$B = 10$	169 s (189 s)	195 s (209 s)	63.83±_0.79 (64.01±_0.85)	79.09±_0.56 (79.56±_0.63)
$B = 50$	172 s (194 s)	200 s (215 s)	63.31±_0.78 (63.67±_0.84)	78.88±_0.56 (79.18±_0.65)
$B = 100$	177 s (206 s)	204 s (227 s)	62.84±_0.78 (63.66±_0.86)	78.53±_0.55 (78.89±_0.65)
$B = 500$	244 s (304 s)	268 s (319 s)	63.84±_0.79 (64.11±_0.86)	78.74±_0.55 (79.38±_0.65)
$B = 1000$	334 s (442 s)	356 s (455 s)	64.34±_0.79 (64.69±_0.83)	78.70±_0.55 (79.48±_0.60)

3.3　消融实验

为了验证本文提出的张量特征生成器的有效性和鲁棒性，进行了消融实验.表4展示了在三种数据集上，不对支持集数据集进行增强的分类效果与TFFCN模型的分类效果的对比结果，使用的分类器为原型分类器.表5展示了在不同分类器上TFFCN模型与不对支持集数据进行增强的基线方法的分类效果对比.

表4 在不同数据集上的实验结果对比

Table 4 Experimental results on various datasets

Method	Backbone	miniImageNet		CUB		CIFAR⁃FS
Method	Backbone	1⁃shot	5⁃shot	1⁃shot	5⁃shot	1⁃shot	5⁃shot
Baseline(1)	ResNet⁃18	56.81±_0.81	78.31±_0.59	67.14±_0.89	86.22±_0.50	65.71±_0.95	84.68±_0.61
Baseline⁃KD(2)	ResNet⁃18	59.62±_0.85	79.31±_0.62	70.85±_0.90	87.64±_0.48	69.15±_0.94	85.89±_0.59
TFFCN	ResNet⁃18	63.99±_0.80	79.95±_0.61	75.13±_0.86	88.08±_0.47	73.00±_0.95	86.52±_0.62

表5 在不同分类器上的实验结果对比

Table 5 Experimental results by various classifiers

Method	Backbone	Logistic Regression				Support Vector Machine
		miniImageNet		CUB		miniImageNet		CUB
		1⁃shot	5⁃shot	1⁃shot	5⁃shot	1⁃shot	5⁃shot	1⁃shot	5⁃shot
Baseline(1)	ResNet⁃18	59.20±_0.82	77.71±_0.61	69.44±_0.86	86.19±_0.49	57.12±_0.84	76.45±_0.62	67.24±_0.87	84.72±_0.52
Baseline⁃KD(2)	ResNet⁃18	61.83±_0.82	79.27±_0.61	72.74±_0.88	87.71±_0.49	60.21±_0.84	78.28±_0.61	71.23±_0.89	86.34±_0.52
TFFCN	ResNet⁃18	63.92±_0.81	79.84±_0.61	74.82±_0.87	88.43±_0.47	64.01±_0.80	79.50±_0.60	75.40±_0.85	88.44±_0.47

由表4可见，在三种公开数据集上Baseline⁃KD（2）的分类性能都优于Baseline（1），证明对特征提取器进行自蒸馏操作能增强其特征提取能力，提升分类准确率.更重要的，无论是1⁃shot还是5⁃shot分类任务，TFFCN模型的分类性能均优于未进行数据增强直接进行小样本图像分类的基线.针对5⁃way 1⁃shot 分类任务，在三种数据集上TFFCN模型的分类准确率比Baseline⁃KD（2）分别提高4.37%，4.28%，3.85%；针对5⁃way 5⁃shot 分类任务，在三种数据集上TFFCN模型的分类准确率比Baseline⁃KD（2）分别提高0.64%，0.44%，0.63%.证明提出的张量特征生成器是有效的，它可以通过为支持集图像特征生成新的张量特征来达到对小样本图像进行数据增强的目的，从而训练得到一个更好的分类器，提高分类准确率.

结合表4和表5可以看出，在Prototypical Classifier，Logistic Regression （LR），Support Vector Machine （SVM）三个不同的分类器上，TF⁃FCN模型都表现出最高的分类性能.其中，在LR分类器和SVM分类器下的5⁃way 1⁃shot分类准确率，在miniImageNet数据集上TFFCN模型分别比Baseline⁃KD（2）提高2.09%和3.8%，在CUB数据集上TFFCN模型分别比Baseline⁃KD（2）提高2.08%和4.17%.因此，张量特征生成器有助于小样本图像分类，同时其可以与不同分类器进行结合使用，具有较好的鲁棒性.

表6为TFFCN模型中张量特征生成器和TFH模型中张量特征幻觉器的参数量和计算量的对比.首先通过python的 thop库得到FLOPs和Params，然后利用 $1 G F L O P s = 10^{9} F L O P s$ 将计算量的单位转换为G，利用 $1 P a r a m s = 10^{- 6} M$ 将参数量的单位转换为M.

表6 计算量和参数量对比

Table 6 Comparison of calculation amounts and parameter quantities

Method	计算量 (G)	参数量 (M)
TFH	20.56	24.25
TFFCN	10.15	4.72

由表可见，张量特征生成器的计算量不到张量特征幻觉器计算量的50%，参数量的缩减幅度更大，仅为张量特征幻觉器参数量的19%.这表明提出的张量特征生成器直接用张量特征生成新的张量特征，不再过渡为向量特征，可以有效缩减模型的规模，减小模型的参数量和计算量，使网络结构更加简单，这也间接体现了TFFCN模型所需推理时间更少的原因.

4 结论

针对适用于小样本图像分类的数据增强方法复杂、推理时间长的问题，本文提出一个结构简单的张量特征生成器，为小样本图像进行数据增强.并基于张量特征生成器提出一个小样本图像快速分类方法TFFCN，能有效解决模型推理时间长的问题.通过与目前流行的基于数据增强的小样本图像分类方法进行分类性能对比分析，证明提出的TFFCN模型的小样本图像分类性能优于目前流行的基于数据增强的小样本图像分类方法.另外，分别对模型的主干特征提取网络为ResNet18和ResNet12时的推理时间进行实验对比，证明和TFH模型相比，TFFCN模型在分类准确率损失较小的情况下，大幅减少了模型的推理时间，特别是生成的张量特征数量越多，推理时间的缩减越明显.同时，也证明TFFCN模型在不同主干网络下都能更快地完成小样本图像分类任务.

最后，通过消融实验证明了提出的张量特征生成器的有效性和鲁棒性，它不仅能有效改善小样本图像分类任务的性能，还能与多种分类器结合使用，具有较好的鲁棒性.并且，张量特征生成器的结构简单，计算量和参数量都较小，大大缩减了模型的规模.但TFFCN模型仍存在不足，如原型张量特征的表征性不高，未来的工作主要是集中提高原型张量特征的代表性，使模型更加完善，取得更好的效果.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

鲜维富

. 基于深度学习的小样本图像分类与检测算法研究与实现. 硕士学位论文. 成都：电子科技大学，2021.

Xian

W F

Research and implementation of few⁃shot classification and object detection algorithm based on deep learning

Master Dissertation. Chengdu：University of Electronic Science and Technology of China，2021.

[2]

Jankowski

， Duch

， Grąbczewski

Meta⁃learning in computational intelligence

Springer Berlin Heidelberg，2011，97-115.

[3]

Lake

B M

， Salakhutdinov

， Tenenbaum

J B

One⁃shot learning by inverting a compositional causal process

∥Proceedings of the 26th International Conference on Neural Information Processing Systems. Lake Tahoe，NV，USA：Curran Associates Inc.，2015：2526-2534.

[4]

卢锦亮，吴广潮，冯夫健等.

基于联合轨迹特征的徘徊行为识别方法

南京大学学报(自然科学)，2021，57(5)：724-734.

J L

， Wu

G C

， Feng

F J

，et al.

Wandering recognition method based on joint trajectory features

Journal of Nanjing University (Natural Science)，2021，57(5)：724-734.

[5]

Mehrotra

， Dukkipati

Generative adversarial residual pairwise networks for one shot learning

2017，arXiv:.

[6]

Antoniou

， Storkey

， Edwards

Data augmentation generative adversarial networks

2018，arXiv:.

[7]

Zhang

R X

， Che

， Ghahramani

，et al.

MetaGAN：An adversarial approach to few⁃shot learning

∥Proceedings of the 32nd International Conference on Neural Information Processing Systems. Montréal，Canada： Curran Associates Inc.，2018：2371-2380.

[8]

Liu

Y F

， Zhou

， Liu

，et al.

Wasserstein GAN⁃based small⁃sample augmentation for new⁃generation artificial intelligence：A case study of cancer⁃staging data in biology

Engineering，2019，5(1)：156-163.

[9]

Chen

Z T

， Fu

Y W

， Wang

Y X

，et al.

Image deformation meta⁃networks for one⁃shot learning

∥Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach，CA，USA：IEEE，2019：8672-8681.

[10]

Wang

Y X

， Girshick

， Hebert

，et al.

Low⁃shot learning from imaginary data

∥Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City，UT，USA：IEEE，2018：7278-7286.

[11]

Hariharan

， Girshick

Low⁃shot visual recognition by shrinking and hallucinating features

∥Proceedings of 2017 IEEE International Conference on Computer Vision. Venice，Italy：IEEE，2017：3037-3046.

[12]

， Zhang

Y L

， Li

K P

，et al.

Adversarial feature hallucination networks for few⁃shot learning

∥Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle，WA，USA：IEEE，2020：13467-13476.

[13]

J Y

， Dong

， Liu

，et al.

Feature hallucination via maximum a posteriori for few⁃shot learning

Knowledge⁃Based Systems，2021(225)：107129，DOI：10.1016/j.knosys.2021.107129 .

[14]

Luo

Q X

， Wang

L F

， Lv

J G

，et al.

Few⁃shot learning via feature hallucination with variational inference

∥Proceedings of 2021 IEEE Winter Conference on Applications of Computer Vision. Waikoloa，HI，USA：IEEE，2021：3962-3971.

[15]

Lazarou

， Stathaki

， Avrithis

Tensor feature hallucination for few⁃shot learning

∥Proceedings of 2022 IEEE/CVF Winter Conference on Applications of Computer Vision. Waikoloa，HI，USA：IEEE，2022：2050-2060.

[16]

赵凯琳，靳小龙，王元卓.

小样本学习研究综述

软件学报，2021，32(2)：349-369.

Zhao

K L

， Jin

X L

， Wang

Y Z

Survey on few⁃shot learning

Journal of Software，2021，32(2)：349-369.

[17]

祝钧桃，姚光乐，张葛祥,等.

深度神经网络的小样本学习综述

计算机工程与应用，2021，57(7)：22-33.

Zhu

J T

， Yao

G L

， Zhang

G X

，et al.

Survey of few shot learning of deep neural network

Computer Engineering and Applications，2021，57(7)：22-33.

[18]

蔡奇，李凡长.

类特征增强元学习算法

小型微型计算机系统，2022，43(2)：225-230.

Cai

， Li

F C

Meta⁃learning with class feature augmentation

Journal of Chinese Computer Systems，2022，43(2)：225-230.

[19]

Chen

Z T

， Fu

Y W

， Zhang

Y D

，et al.

Multi⁃Level semantic feature augmentation for one⁃shot learning

IEEE Transactions on Image Processing，2019，28(9)：4594-4605.

[20]

Cho

， Kim

Improving augmentation efficiency for few⁃shot learning

IEEE Access，2022(10)：17697-17706.

[21]

Huang

， Feng

F J

， Huang

S Q

，et al.

Microscale searching algorithm for coupling matrix optimization of automated microwave filter tuning

IEEE Transactions on Cybernetics，2022，DOI：10.1109/TCYB.2022.3166225 .

[22]

Feng

F J

， Huang

， Liu

，et al.

Local complexity difference matting based on weight map and alpha mattes

Multimedia Tools and Applications，2022，DOI：10.1007/s11042-022-13223-1 .

[23]

Tian

Y L

， Wang

， Krishnan

，et al.

Rethinking few⁃shot image classification：A good embedding is all you need?

∥European Conference on Computer Vision (Online). Springer Cham，2020：266-282.

[24]

Snell

， Swersky

， Zemel

R S

Prototypical networks for few⁃shot learning

2017，arXiv:1703. 05175.

[25]

Deng

， Dong

， Socher

，et al.

ImageNet：A large⁃scale hierarchical image database

∥2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami，FL，USA：IEEE，2009：248-255.

[26]

Chen

Y B

， Liu

， Xu

H J

，et al.

Meta⁃baseline: Exploring simple meta⁃learning for few⁃shot learning

∥Proceedings of the IEEE/CVF Inter⁃national Conference on Computer Vision. Montreal，Canada：CVPR，2021：9062-9071.

[27]

Hilliard

， Phillips

， Howland

，et al.

Few⁃shot learning with metric⁃agnostic conditional embeddings

2018，arXiv:.

[28]

Chen

W Y

， Liu

Y C

， Kira

，et al.

A closer look at few⁃shot classification

2020，arXiv:.

[29]

冯夫健，黄翰，吴秋霞,等. 基于群体协同优化的高清图像前景遮罩提取算法. 中国科学：信息科学，2020，50(3)：424-437.

Feng

F J

， Huang

， Wu

Q X

，et al.

An alpha matting algorithm based on collaborative swarm optimization for high⁃resolution images

Sci Sin Inform，2020, 50(3):424-437.

[30]

Zhang

， Cai

Y J

， Lin

G S

，et al.

DeepEMD：Few⁃shot image classification with differentiable earth mover's distance and structured classifiers

∥Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle，WA，USA：IEEE，2020：12200-12210.