【飞桨论文复现赛-小样本学习】MatchingNet

本文是百度论文复现赛中《Matching Networks for One Shot Learning》的复现代码说明。基于paddlepaddle-gpu2.2.2和python3.7环境，在miniImageNet数据集上完成。复现的5-way 1-shot和5-shot准确率分别为48.3%、62.2%，超论文原结果。介绍了模型背景、数据集、运行步骤、对比试验及复现心得。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜ 一、前言 本项目为 百度 论文复现赛《Matching Networks for One Shot Learning》论文复现代码。 依赖环境： paddlepaddle-gpu2.2.2 python 3.7 在miniImageNet数据集下训练和测试。 5-way Acc： 1-shot5-shot论文46.6%60.0%复现48.3%62.2% 二、模型背景及其介绍 参考论文：《Matching Networks for One Shot Learning》论文链接 在这项工作中，论文采用了基于深度神经特征的度量学习和利用外部记忆增强神经网络的最新进展。论文中框架学习了一个网络，它将一个小的带标签的support set和一个未带标签的示例映射到本身的标签上，从而避免了调整以适应new class类型的需要。然后我们定义了视觉(使用Omniglot, ImageNet)和语言任务的one-shot学习问题。与其他方法相比，论文算法在ImageNet上的one-shot精度从87.6%提高到93.2%，在Omniglot上从88.0%提高到93.8%。 模型结构如下： 论文主要解决：基于小样本去学习归类（或别的任务），并且这个训练好的模型不需要经过调整，也可以用在对训练过程中未出现过的类别进行归类。 MatchingNet的训练对象如下公式： 其中，一个 batch 有多个任务，一个任务有一个支持集合一个测试样本，一个支持集有多个样本对。模型应用到新的类别时不需要进行微调，是因为模型学到的是一种映射的方法， 参考论文博客 参考项目地址 复现 git hub地址 三、数据集 2016年google DeepMind团队从Imagnet数据集中抽取的一小部分（大小约3GB）制作了Mini-Imagenet数据集，共有100个类别，每个类别都有600张图片，共60000张（都是.jpg结尾的文件）。 Mini-Imagenet数据集中还包含了train.csv、val.csv以及test.csv三个文件。 Python 3.14.3 微软官方的 Python 扩展，是 VS Code 安装量最高的扩展（209M+）。集成 IntelliSense（通过 Pylance）、调试（通过 Python Debugger）、代码检查、格式化、重构和单元测试等功能。支持 Jupyter Notebook、虚拟环境管理和多 Python 版本切换。 下载 train.csv包含38400张图片，共64个类别。 val.csv包含9600张图片，共16个类别。 test.csv包含12000张图片，共20个类别。 每个 csv文件 之间的图像以及类别都是相互独立的，即共60000张图片，100个类。 四、运行 本项目5-way分类可设1-shot和5-shot。如果用5-shot可设置--n_shot 5，用1-shot可设置--n_shot 1。下面以5-shot为例。 解压miniImagenet数据集到./filelists目录下用于训练 In [1] 1、训练 训练的模型保存在./record目录下 训练的日志保存在./logs目录下 In [ ] 2、保存特征 将提取的特征保存在分类层之前，以提高测试速度。 加载./record目录下的模型进行特征保存 In [ ] In [ ] 3、测试 测试之前执行!python3 save_features.py预先提取特征 这里展示5-shot测试结果 In [15] 五、代码结构 六、对比试验 原论文中没有对miniImageNet做数据增强，本次复现也默认未做数据增强。本项目对是否采用数据增强做了对比实验。 结果如下： task未扩增扩增1-shot48.3%45.3%5-shot62.2%60.1% 发现做数据增强的MatchingNet出现了精度下降的情况，可参考论文复现ProtoNet的分析，项目中有设置train_aug是否做数据增强，可自行测试。 七、复现心得 本项目参照小样本方向论文baseline给出的repo代码复现。复现过程中遇到一个比较大的问题是dataloader的设计编写，原repo设计dataloader采用了iter迭代方式，每次next的是一个sub_dataloader()。我用相同的方式使用paddle复现后，发现内存无限的增长。这个问题一直困扰，最后放弃了原repo使用sub_dataloader()的方式，采用普通的dataloader()的方法。下面给出部分实现SetDataset()的方案代码：