
Python部落(python.freelycode.com)组织翻译,禁止转载,欢迎转发。
上几篇文章中,我们讨论了不同的分类算法,学习了每一种分类算法的背景概念。随后的文章中,我们利用这些概念建立了分类模型,然后使用这些模式实现了回归分析和分类任务。
同样地在这篇文章中,我们将基于python实现逻辑回归分析模型解决二元分类任务。我们主要集中于逻辑回归分析的实现,其背景概念在《深入剖析逻辑回归分析模型》这篇文章进行了阐明。
泡一杯咖啡或者茶,在我们继续深入前先认真了解下面背景知识:
深入剖析逻辑回归分析
深入剖析多项式逻辑回归分析算法
Softmax和S型函数的重要区别
现在看一下这篇文章中的主要脉路。
内容表
什么是二元分类
逻辑回归分析简介
基于python建立逻辑回归分析模型
二元分类问题
数据集描述
生成用于建模和测试的数据
要素选择
分割训练数据并测试数据集
理解训练数据
基于Python采用机器学习实现逻辑回归分析
逻辑回归分析模型准确度计算
什么是二元分类
二元分类是采用监督分类算法实现二元目标分类,二元目标是指仅有2个或2类目标。为了对二元分类有个清晰的认识,我们首先考虑一下以下几种二元分类问题:
识别图像中的动物是否是猫
目标:是否为猫
预测选民会投票给比尔?克林顿或者鲍勃?多尔
目标:比尔?克林顿或者鲍勃?多尔
预测明天是否会下雨
目标:明天是雨天还是晴天
希望通过上述的分类问题,读者们对二元分类问题已经有了清楚的认识。
逻辑回归简介
二元分类是采用监督分类算法实现二元目标分类,二元目标是指仅有2个或2类目标。逻辑回归算法是用于二元分类问题的最简单的分类算法,同时它也可以用于解决多类分类问题。简而言之,逻辑回归模型主要通过Softmax和S型函数选取要素并计算概率。S型函数主要用于二元分类问题,而Softmax函数主要用于多类分类问题。
然后,通过计算概率可以找到目标类。总之,我们将高概率类当作最后目标类。
通过上面的描述,读者们应该已经了解逻辑回归分析算法。如果你是初次接触逻辑回归算法,请先阅读《深入剖析逻辑回归分析模型》这篇文章。
基于Python建立逻辑回归分析模型
采用Python建立逻辑回归模型,我们将会使用Python包Scikit-learn。我们会遵循下面的工作流来实现逻辑回归模型:
加载数据集
分析数据
分割训练数据并测试数据集
使用训练数据集模拟逻辑回归模型
基于训练数据计算训练模型准确度
基于测试数据计算模型准确度
我们将会按照上述的流程来建立回归分析模型,从而解决二元分类问题,先看看我们需要解决的问题。
二元分类问题

我们将要建立逻辑回归模型,来预测选民将会选谁。考虑到具体细节:
选民会投票给比尔·克林顿么?
选民会投票给鲍勃·多尔?
数据集描述
这里使用的数据集是1996年美国总统选举数据,稍后我们会浏览数据集中的所有要素。在这之前,我先对这次选举做一个简短的总结。
1996年美国总统大选简介
美国第53届总统选举在1996年12月5日举行
候选人:
1.比尔·克林顿
2.鲍勃·多尔
3.罗斯·佩罗
比尔?克林顿以49.2%的得票率赢得此次选举
想要对此次选举有更多了解么?你可以阅读维基百科中《美国总统选举》这篇文章。
在建模之前,首先导入必要的python包


Pandas是用于数据分析的python包。在逻辑回归分类器的建模处理过程中,我们首先要将数据集(CSV格式)导入至pandas数据框架中,然后就可以轻松对数据集进行处理。
Numpy主要用于矩阵计算
Plotly用于数据集的可视化
我们需要sign_in导入你的plotly凭据,当创建一个账户后就可以在你的plotly账户中找到你的凭据
Sklearn用于机器学习算法建模
1.train_test_split函数可以分割训练数据并测试数据集
2.LogisticRegression函数用于逻辑回归分类器建模
3.metrics函数用于计算分类器准确度
现在我们导入数据集,并浏览所有可用要素,并基于python模拟逻辑分析模型,所用数据集可以在Github上下载。
导入数据集


建立主函数导入选举数据至pandas数据框架,由于数据集为CSV格式,这里调用read_csv函数以数据集路径作为参数。
为了得到数据集的行数,这里调用len()函数。
输出:

从代码输出可以看到,该数据集的观测数是944,我们将处理这些观测数据来模拟逻辑回归模型。
由于已经知道了数据集的大小,现在我们核实一下数据集中的要素。

这里可以采用pandas的head函数获取数据集的顶部观测数据。
输出:

这里我们写一个函数来获取数据集的列名,然后存储这些头名,主要用于后面的逻辑回归建模。

这个dataset_headers函数需要将数据集传入,并返回数据集的header names。由于该函数需要导入的数据,所以我们将这儿函数写在主函数里面。

输出:

1. popul:
居民普查点的人口,单位为1000
2. TVnews:
选民每周看电视新闻的次数
3.selfLR:
此人自我报告的政治倾向
4.ClinLR
此人对比尔·克林顿的政治印象
5. DoleLR
此人对鲍勃·多尔的政治印象
6.PID
政党倾向
0代表民主党
1代表共和党
2代表独立政党
7.age
选民年龄
8.edu
选民受教育程度
9.income
选民收入
10.选票
选票是我们训练逻辑回归模型要预测的目标
有2种结果:0代表克林顿,1代表多尔
生成用于建模和测试的数据
选取要素
在上面的要素中,我们主要需要使用下面图片中的要素,它们是我们从所有可用的要素中选取最佳的要素。
由于要素的工程概念解释起来太宽泛,因此我们将使用下面的要素,具体见下图,它们让我们从逻辑上有比较高的机会来预测选民的选择。

在逻辑回归模型的训练中,我们主要侧重于training_fearures和target两个要素。
分割训练数据并测试数据集

在上面的要素中,我们主要需要下图中的要素,它们是我们从所有可用的要素中选取最佳的要素。
分割训练数据并测试数据集,文中将使用scikit-learn(sk-learn)包中的train_test_split函数调用选定的训练要素数据和目标。
我们将train_size设置为0.7,意思是70%的数据用于训练,30%用于测试。
train_test_split有4个输出参数,分别为rain_x, test_x, train_y ,test_y。
我们将打印四个参数的形状,从而得到四个输出参数的大小。
输出:

理解训练数据
为了理解训练数据要素,先看看每个要素数据的所有可能值,以及其与目标类的关系(0代表克林顿,1代表多尔)。
我们可以从一个柱状图中发现要素和目标之间的关系,为了创建该图,我们需要计算要素的每个可能值与目标类的频率计数。
这里用一个例子说明上述方法。
例子
假设我们有2个要素建立分类模型,通过考虑着两个要素来预测一个学生在测试中是否得A。这两个要素分别为一个学生一天参加的课程和它的性别。要创建一个柱状图确定性别和成绩得A是否有关系,我们需要下面的频率。
性别要素有男孩或女孩两种可能性,目标要素也有两种可能取值A或者不是A。
男孩和得A的出现的次数
男孩和没有得A出现的次数
女孩和得A出现的次数
女孩和没有得A出现的次数
因此,我们写一个函数来获取数据集的要素头和目标之间的频率关系。
要素和目标关系出现的频率计数

为了获取目标和要素之间频率关系,这里写了2个函数unique_observations 和feature_target_frequency_relation。
unique_observations函数以数据集和数据头为输入参数,返回数据集中头的唯一值。假设数据是[1, 2, 1, 2, 3, 5, 1, 4],那么输出就是[1, 2, 3, 4, 5]。
feature_target_frequency_relation函数以数据集、数据头、和目标头为输入参数,返回出现的频率。
我们以要素头(“educ”)和目标要素(“vote”)为输入参数运行feature_target_frequency_relation函数。
输出:

这里的训练数据很有趣,要素学历(educ)值为1时出现了13票,其中10票投给了克林顿,只有3票给多尔。这给我们的分类器一个很强的信号来预测选民到底会投票给谁。
目前频率数已经获取,我们需要再写一个函数以计算得到的频率值为输入参数存储为柱状图。

对于上述代码不要畏惧,它只是plotly包中柱状图模板,我们仅需要少量修正模板就可以达到需求,一旦修正完成就只需要以合适的输入参数调用相应函数。
由于目标有2个可能结果,我们需要用柱状图与关系进行作对比。因此,我们将对于要素(educ)的结果存储在keys, y0, y1三个变量中。

如果你观察了edu_target_frequencies 和 keys, y0, y1这四个值,就可以清楚理解我们这里的意图。
现在对所有训练要素调用feature_target_histogram函数,并检查结果。
下图为运行上述代码得到的柱状图。
电视新闻和目标(选票)的柱状图

政治倾向和目标(选票)的柱状图

年龄和目标(选票)的柱状图

学历和目标(选票)的柱状图

收入和目标(选票)的柱状图

请在理解每个柱状图,以及其与目标之间关系上花费一些时间。现在开始基于Python用选定的要素和目标类实现逻辑回归模型。
用scikit-learn包实现逻辑回归模型

为了实现逻辑回归模型,我们创建了train_logistic_regression函数,它以train_x和train_y两个参数为输入参数。当逻辑回归模型创建并且以训练数据进行训练后,我们来检查一下模型的准确度。
逻辑回归模型准确度计算
这里写一个函数,通过逻辑回归模型要素值(train_x或者test_x)和目标值(train_y或者 test_y)计算模型准确度。

这个函数以训练模型,要素,目标为输入参数,使用训练模型和要素值预测目标值,并与正确结果进行对比,最后返回准确度。
现在用训练数据的train_x和train_y调用上述的函数计算模型准确度,随后用测试数据调用同样地函数模型准确度。
基于训练数据计算得到逻辑回归模型准确度

输出:


基于测试数据计算得到逻辑回归模型准确度

输出:

我们选定的要素测试准确度为91%,读者们可以用其它要素来进行测试,将你们的准确度写在评论中。
我们可以保存这个训练逻辑回归模型,再次使用时就不需要再导入主要库文件,认真学习《如何释放和导入训练分类器》这篇文章。
读者们可以使用scikit learn库的函数来预测选民会投票给谁,考虑选民的因素并在评论中写出你们的预测结果。如果在使用预测函数中有什么困难,请认真学习《在Python中实现决策树分类器》这篇文章就可以知道我是如何使用这些函数的。
逻辑回归模型完整代码






完整代码详见Dataaspirant Github.
英文原文:http://dataaspirant.com/2017/04/15/implement-logistic-regression-model-python-binary-classification/
译者:zfzf1236

