大数跨境

菜鸟深度学习教程:识别手写数字

菜鸟深度学习教程:识别手写数字 Python程序员
2016-10-08
0
导读:欢迎来到快速学习"深度学习"系列教程第一篇,其中既包括基本原理,又包括复杂细节.MNIST(手写数字分类)和CIFAR-10(飞机,汽车,鸟,猫,鹿,狗,蛙,马,船,卡车十种不同小图片分类)是已制定的


Python部落(python.freelycode.com)组织翻译,禁止转载,欢迎转发。

引言

欢迎来到快速学习"深度学习"系列教程第一篇,其中既包括基本原理,又包括复杂细节.MNIST(手写数字分类)和CIFAR-10(飞机,汽车,鸟,猫,鹿,狗,蛙,马,船,卡车十种不同小图片分类)是已制定的机器学习标准,本文会尽量达到这些标准.


深度学习的快速发展导致了多个方便的框架的出现,这些框架能使我们快速构建模型并建立原型,且方便地进行标准测定.在此,我们使用Keras框架.该框架方便,直观;它具有足够的表现力,能按需对模型细节进行补充.

在本教程结束时,你将能理解并制作一个简单的多层感知器深度学习模型,能在MNIST标准方面达到不错的准确率.在下一个教程我们将探讨处理图片分类(例如:CIFAR-10).

(人工)神经元

尽管术语"深度学习"具有更宽泛的解释,实际上在大多数情况下,它被用于(人工)神经元网络模型.这些受生物学启发的结构,试图模拟大脑神经元处理环境感知和驱动决策的方式.实际上,一个单一的神经元(有时也称一个感知器/感知机)有一个简单的运算模式---它计算所有输入的加权总和,使用权重矢量(以及一个偏移项),接着应用一个激励函数(或者称为激活函数,activation function),得到结果:


一些比较流行的激活函数选择:


注释:上图中,激活函数sigmoid中前者是逻辑斯蒂函数,后者双曲正切函数.ReLU代表修正线性单元


原始感知器模型(1950s)是完全线性的.例如:他们只使用了identity激活函数.很显然,实际中很多任务都是非线性的,也就导致了其他激活函数的使用.sigmoid函数(由于它的像字符"S"形的绘图),提供了一种编码二值神经元不确定性的方式,将当z接近于零时和当z在不同方向移动时快速饱和联系起来.这儿给出的两个函数很相似,双曲正切函数的输出范围是[-1,1],函数的输出范围是[0,1](因此在表示可能性时特别有用).

近年来,在深度学习方面,ReLU函数(它的变种函数)已经无处不在.工程师开始使用它们,作为一个给模型注入非线性误差(如果是负数,就设为零)的简单方式,事实证明比以前流行的sigmoid函数更加成功,并把它们和物理神经元传输电能的方式联系起来.本教程我们将专门讨论ReLU函数.

一个神经元完全由它的权重向量指定,学习算法的关键目的是:基于已知输入输出对的一个训练集,分配适当的权重,以致于当应用在训练集中的输入到神经元时,预测误差和预测损失将会最小化.梯度下降算法是一个典型地例子,对于一个损失函数,将会在损失函数最陡的下降方向修正权重矢量,通过学习速率参数进行缩放:


损失函数代表我们认为,在当前的参数值情况下,神经元的预测的不准确的程度.一个损失函数(适用于大多数情况)的最简单的这类选择是误差损失的平方.对于一个特定的训练例子,它被定为:和作为输入时神经元的输入的差值的平方:


网上有很多更深度的梯度下降算法的教程,本网站也有.在此,框架会为我们处理好优化工作,我不会在此深究.

进入神经网络(和深度学习)

一旦我们能够表示神经元,就能够将神经元的输出和其他神经元的输入连接起来,形成神经网络.通常我们主要关注前馈神经网络,这种网络中神经元以层的方式组织,因此单层中的神经元能处理前一层的输出.这种层次结构最有效地将一层的所有输出和下一层所有的神经元连接起来,如下图:


通过在一个给定损失函数上,直接应用先前提到的下降梯度算法,可以修正输出神经元的权重.对于其他神经元,这些损失需要反向传播(通过利用偏微分法的链式法则),因此形成反向传播算法.和基础的梯度下降算法类似,我不会关注算法的数学推演,因为框架会替我们搞定.

Cybenko的万能逼近定理:对于任何闭区间内的一个连续函数f,都可以用含有一个隐含层的BP网络来逼近;然而,这个定理的证明并不是建设性的,因此总的来说,没有给学习这种结构提供有效的训练算法.深度学习对这种情况做出回应:不增加宽度,增加深度;按照定义,任何具有一层以上的隐含层的神经网络都是深度的.

深度的改变,能使我们直接将原始的输入数据加入网络当中.过去,通过精心设计的特征函数从输入提取出特征,单层的神经网络运行其上.这意味着,对于像计算机视觉,语音识别,自然语言处理这些问题,阻碍科学跨领域合作,我们需要明显不同的方法.然而,当一个网络具有多个隐含层的时候,它自身就能够学会最佳的描述原始数据的特征函数,因此可应用于端对端学习,并且可以在多种多样的任务中使用同一个网络,从流程中去除特征函数设计.当我们探索卷积神经网络(CNNs),我将在本教程的第二部分展示图示证据.

对MNIST应用深度多层感知器(MLP)

本教程的目标:实现一个简单可能的深度神经网络---具有两层隐藏层的多层感知器---并将其用于识别手写数字任务.只需要导入下列库:


接下来,我们将给模型定义一些参数.这些参数通常称为超参数,因为它们在训练开始之前假设是固定的.鉴于本教程的目的,我们将坚持使用一些合理的值,但是请注意:适当的训练它们是一个重大问题,在以后的教程中这些问题将被适当地解决.

特别的,我们将定义:

-批尺寸(batch size):代表在梯度下降算法的一次迭代期间,同时使用的训练实例的数目

-历元的数目(number of epochs):终止前,训练算法在整个训练集上迭代的次数

-神经元的数目(number of neurons):多层感知器任意隐含层中的神经元数目


现在是时候加载和预处理MNIST数据集了.Keras让这项工作变得十分简单,通过一个固定接口从远程服务器获取和抽取数据,直接填充进Numpy数组.

为了预处理输入数据,首先,我们将图像扁平化一维(因为我们将每一个像素视作一个单独的输入特征),通过除以255将像素强度值限制在[0,1]范围内.这是一种非常简单的常态化数据的方式,我们会在这个系列的以后教程中讨论其他的方式.

一个很好的分类问题解决途径就是使用概率分类,例如,对于每个类有单一的输出神经元,输出一个数值---对应于输入属于那个类的可能性.这意味需要将训练输出数据转换为一个独热编码(one-hot encoding):例如,如果期望的输出类是"3",总共有5类(编号0到4),那么一个适当独热编码是:[0 0 0 1 0].对于这个任务,Keras再一次为我们提供了开箱即用的功能.


现在是时候真正定义我们的模型了.我们将使用一个由三层紧密层(dense layers)构成的堆栈,对应于完全不受限制的MLP结构,链接所有前一层的输出和下一层的输入.对于前两层的神经元,我们将使用ReLU激活函数,最后一层使用softmax激活函数.这个激活函数设计为将实值向量转化为表示概率向量,定义如下,对于第J个的神经元:


Keras一个优秀的特性是:形状的自动推测(automatic inference of shapes),将它和TensorFlow框架区别开来;我们只需指定输入层的形状,接着Keras将会用不同形状初始化权重变量.一旦所有的层被定义后,为了定义模型,我们只需要区分输入和输出.如下:


为完成指定模型,我们需要指定损失函数,要使用的优化算法,要记录的指标.

当处理概率分类时,最好使用互熵损失,而不使用先前定义的均方误差.对于一个特定的输出概率向量,和地面真值(ground truth)独热(one-hot)向量,损失(对于K-class分类)定义如下:


这种损失对概率任务更好(具有logistic和softmax输出神经元),这主要是因为推导方式的关系---它旨在最大化正确类(correct class)的模型置信度,不关心其他类的概率分布(尽管误差损失的平方会让所有其他类可能性尽可能接近"0").这是因为不正确类(incorrect classes),例如,对于类,,除去了来自损失函数的各个的神经元输出.

优化算法通常围绕不同形式的梯度下降;它们关键区别---围绕我们先前提到的学习速率,学习速率在训练过程中不断地选择和采用.这个博客中有一份对这些方法的很好的概览.在此,我们将使用Adam优化器,效果不错.

当我们的类平衡时(在十个类中有等量的手写数字),一个适当的记录指标是:准确率---输入分类正确的比率:


最后,根据决定的批尺寸(batch size)和历元计数(epoch count),我们将调用训练算法.留出一小部分训练数据---通常被称为验证集(validation set)用作验证是个好习惯,确保我们的算法正确地总结;在此我们将留出10%的训练数据.

Keras一个很好即用的特性是详细(verbosity),能提供一个详细的漂亮的算法训练过程.




如你所见,我们的模型在测试集上的准确率是98.2%.对于一个简单模型,这是一个很不错的结果,尽管与在此列举的最高端的相比,有一定差距.

我建议你你通过尝试不同超参数,优化算法,激活函数,增加隐含层等措施,来捣鼓一下这个模型,最终你应该能得到99%的准确率.

结语

本篇博客,我们介绍深度学习的要点,实现了一个两层深度的MLP,并将其应用于MNIST,总共不到30行代码.

Show me the code



英文原文:http://online.cambridgecoding.com/notebooks/cca_admin/deep-learning-for-complete-beginners-recognising-handwritten-digits
译者:baijiale


【声明】内容源于网络
0
0
Python程序员
1234
内容 2525
粉丝 0
Python程序员 1234
总阅读0
粉丝0
内容2.5k