初识卷积神经网络——手写数字识别

本文先介绍卷积神经网络相关知识，包括其概念、原理、计算方式等，如卷积操作、池化层、激活函数等。接着用飞桨高级API，以LeNet-5网络为例，完成手写数字识别，涵盖数据准备、模型选择开发、训练优化、评估、预测及部署上线等流程，最终模型评估准确率达0.9857。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜ 从手写识别了解卷积神经网络 简介： 本项目通过简介卷积神经网络（什么是卷积神经网络，怎么样理解，怎么样计算）然后使用飞桨高级API完成卷积神经网络的手写数字识别来带大家一起学习神经网络 1、图像分类原理 计算机的视角： 一张彩色的图片涉及到了一个通道的问题，彩色的是三通道，代表着这个图里面的c（相对应第三维度的值） 这里面的w，h相对应图片的宽度和高度，就是传说中的像素比如（2828）（800800） 白话： 这个东西这么理解呢，说实话很抽象， 大家看一个平面像不像是长方形，w和h对应的是长方形的长和宽，c相对应长方体的高， 假设该图的像素是28*28的那么我们就可以理解为是长，宽，高分别是28 * 28 * 3的立方体（只是举例） 那么用paddleTensor表示就是(3, 28, 28)（依次是高维度到底维度）（相对应高，宽，长） 计算机的工作： 计算机对上面的数据进行分析，查看里面的一些特征，然后通过特征分析各种东西的比例。 可以理解为你在玩猜猜猜的游戏，通过一些特征猜到一个结果。 深度学习万能公式 手写数字识别——卷积神经网络 ① 问题定义 图像分类，使用LeNet-5网络完成手写数字识别图片的分类。 In [1] ② 数据准备 继续应用框架中封装好的手写数字识别数据集。 书写数字识别数据集官网 是通过0-9的数据对手写数字的一个识别 在paddle中已经被封装到paddle.vision.datasets.MNIST查看api 2.1 数据集加载和预处理 这里的处理方式和昨天的是一样，先定义transform（一个归一化处理，把数据归一到（-1,1）的区间） In [2] 2.2 数据查看 这里和第一天的数据也是一样的，就是解释了train_dataset和昨天理解的其实是一样的，一个[0]取的是整个生成器的第一个值，第二个[0]取的是image In [6] ③ 模型选择和开发 我们选用LeNet-5网络结构。 LeNet-5模型源于论文“LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.”， 论文地址：https://ieeexplore.ieee.org/document/726791 3.1 网络结构定义 3.1.1 模型介绍 每个阶段用到的Layer 3.1.2卷积神经网络 从原始信号—>发现边缘和方向—>不断抽象—>不断抽象 发展史 3.1.4网络详解 卷积操作 单通道卷积 y = w * x + b （x是输入，y是输出，w是卷积核，b是贝叶斯） 在这里面涉及连个概念，计算和步长 计算： 大家找找规律就ok 步长： 以上图为例：步长就是1，他的间隔就是一个像素（单位），以此类推 经过计算以后就得到了一个特征提取以后得到的特征核 得到的结果大小 以上面例子为例： w=3(xw)+0(2 * 0)-2(f-w)/1+1=2 h=3(xh)+0(2 * 0)-2(f-h)/1+1=2 Python 3.14.3 微软官方的 Python 扩展，是 VS Code 安装量最高的扩展（209M+）。集成 IntelliSense（通过 Pylance）、调试（通过 Python Debugger）、代码检查、格式化、重构和单元测试等功能。支持 Jupyter Notebook、虚拟环境管理和多 Python 版本切换。 下载 所以得到的结果是2 * 2的结果 多通道卷积 这里多通道对应的卷积核也是相应维度的，分别计算出对应维度的结果如何把对应位置的加起来就是最后输出的降维结果 1101 = 805 + 271 + 25 这里三通道的数据经过一个卷积核得到了一个单通道的表示 多通道输出 通过多个卷积核得到多个特征然后再堆叠得到一个多通道的输出 Batch 卷积核信息不变，卷积操作会多一定的倍数（和样本数有关）。 这个和上面的一样多个输入和多个卷积核通过卷积生成图 填充操作（ Padding的由来）： 角落边缘的像素，只被一个过滤器输出所使用，因为它位于这个3×3的区域的一角。但如果是在中间的像素点，就会有许多3×3的区域与之重叠。 所以那些在角落或者边缘区域的像素点在输出中采用较少，意味着你丢掉了图像边缘位置的许多信息。 那么出现的一个解决办法就是填充操作，在原图像外围以0进行填充，在不影响特征提取的同时，增加了对边缘信息的特征提取。 另外一个好处是，我们在做卷积操作时，每经过一次卷积我们的输入图像大小就会变小，最后经过多次卷积可能我们的图像会变得特别小，我们不希望图像变小的话就可以通过填充操作。 白话：就是边缘的一些内容有可能就只被收集了一次特征，但是中心的确有多次，那么边上的信息数据就会丢失或者木有那么的清晰，这个是如果填充空白的数据那么就可以比较好的解决问题， 同时可以解决图像变小带来的某些时候不必要的麻烦 3.1.5池化层 池化是使用某一位置的相邻输出的总体统计特征代替网络在该位置的输出，其好处是当输入数据做出少量平移时，经过池化函数后的大多数输出还能保持不变。比如：当识别一张图像是否是人脸时，我们需要知道人脸左边有一只眼睛，右边也有一只眼睛，而不需要知道眼睛的精确位置，这时候通过池化某一片区域的像素点来得到总体统计特征会显得很有用。由于池化之后特征图会变得更小，如果后面连接的是全连接层，能有效的减小神经元的个数，节省存储空间并提高计算效率。 池化的作用 池化层是特征选择和信息过滤的过程，过程中会损失一部分信息，但是会同时会减少参数和计算量，在模型效果和计算性能之间寻找平衡，随着运算速度的不断提高，慢慢可能会有一些设计上的变化，现在有些网络已经开始少用或者不用池化层。 池化的步长和卷积核的大小有关，默认长度为2 平均池化(Avg Pooling) 对邻域内特征点求平均 优缺点：能很好的保留背景，但容易使得图片变模糊 正向传播：邻域内取平均 反向传播：特征值根据领域大小被平均，然后传给每个索引位置 最大池化(Max Pooling) 对邻域内特征点取最大 优缺点：能很好的保留一些关键的纹理特征，现在更多的再使用Max Pooling而很少用Avg Pooling 正向传播：取邻域内最大，并记住最大值的索引位置，以方便反向传播 反向传播：将特征值填充到正向传播中，值最大的索引位置，其他位置补0 计算结果的大小公示 3.1.6激活函数 Sigmoid Tanh Sigmoid和Tanh激活函数有共同的缺点：即在z很大或很小时，梯度几乎为零，因此使用梯度下降优化算法更新网络很慢。 ReLU Relu目前是选用比较多的激活函数，但是也存在一些缺点，在z小于0时，斜率即导数为0。 为了解决这个问题，后来也提出来了Leaky Relu激活函数，不过目前使用的不是特别多。 3.1.2 网络结构代码实现1 理解原论文进行的复现实现，因为模型论文出现在1998年，很多技术还不是最新。 In [39] 模型可视化 In [41] 3.1.3 网络结构代码实现2 应用了截止到现在为止新的技术点实现后的模型，用Sequential写法。 In [45] 模型可视化 In [46] 3.1.4 网络结构代码实现3 应用了截止到现在为止新的技术点实现后的模型，模型结构和【网络结构代码实现2】一致，用Sub Class写法。 In [47] 模型可视化 In [48] 3.1.4 网络结构代码实现4 直接应用高层API中封装好的LeNet网络接口。 paddle.vision.models.LeNet():LeNet模型 In [50] 3.1.4 模型可视化 通过summary接口来查看搭建的网络结构，查看输入和输出形状，以及需要训练的参数信息。 In [52] ④ 模型训练和优化 模型配置 优化器：随机梯度下滑（SGD） 损失函数：交叉熵（cross entropy） 评估指标：Accuracy In [53] ⑤ 模型评估 5.1 模型评估 In [26] 5.2 模型预测 5.2.1 批量预测 使用model.predict接口来完成对大量数据集的批量预测。 In [27] In [28] ⑥ 部署上线 6.1 保存模型 In [29] 6.2 继续调优训练 In [33] 6.3 保存预测模型 In [34]