机器学习入门之泰坦尼克号预测存活情况（Taggle）

前言：

本文中的项目是Taggle的入门比赛项目，旨在让大家对Taggle的比赛有一个大致的了解和一些基本的操作。在参考了一些资料进行整理的情况下，总结出了这篇入门教学案例。
本文就是就一个机器学习的整个过程进行了大致分析，帮助大家对机器学习有一个实践上的认识。最后，因为是入门案例，所有最后的正确率并没有太高—75%左右，在Taggle排在倒数，给我一点时间，后面会更新百分比正确率的方法。
所需数据和代码：提取码：iiyk

项目背景：
泰坦尼克号的沉没是历史上最臭名昭著的沉船之一。
1912年4月15日，人们普遍认为“永不沉没”的皇家邮轮“泰坦尼克”号在处女航中撞上冰山后沉没。不幸的是，船上没有足够的救生艇供所有人使用，导致2224名乘客和船员中有1502人死亡。
虽然生存中有一些运气因素，但似乎有些人比其他人更有可能生存下来。
在这个挑战中，我们要求你建立一个预测模型来回答这个问题:“什么样的人更适合存活下来？

介绍：

机器学习三层架构：

机器学习的本质：机器取代人直接做决策。

云计算：用低成本存储和计算海量数据

机器学习算法：人类思考决策的过程抽象成数学模型，用数学的方法给这个模型找到最优化的解，然后把这个解转换成代码命令，让机器可以去执行，完成机器大脑的构建。模型靠海量数据不断学习来优化自己的决策。

机器学习的步骤：

过程：

提出问题：

什么人在泰坦尼克号上更适合生存？

泰坦尼克号的沉没是历史上最臭名昭著的沉船之一。

1912年4月15日，人们普遍认为“永不沉没”的皇家邮轮“泰坦尼克”号在处女航中撞上冰山后沉没。不幸的是，船上没有足够的救生艇供所有人使用，导致2224名乘客和船员中有1502人死亡。

虽然生存中有一些运气因素，但似乎有些人比其他人更有可能生存下来。

在这个挑战中，我们要求你建立一个预测模型来回答这个问题:“什么样的人更容易存活下来。使用乘客数据(如姓名、年龄、性别、社会经济阶层等)。

理解数据：

1、导入查看数据所需要的包

import numpy as np
import pandas as pd

2、导入数据文件

#训练数据集
train = pd.read_csv('./train.csv')
#测试数据集
test = pd.read_csv('./test.csv')

注：数据文件可以在这个地址下载 百度网盘 提取码：62jt

3、查看数据结构

print('训练数据集：',train.shape,'测试数据集：',test.shape)

训练数据集有891行，12列；测试数据集有418行，11列；

测试数据集比训练数据集少了存活（Survived）这一列一列

4、合并数据

#合并数据集，方便同时对两个数据集进行清洗
full = train.append(test,True)
print('合并后的数据:',full.shape)

5、查看数据

用head()函数，可以返回前5行的数据

#查看数据
full.head()
#Passengerld:顾客编号
#Survived:1：存活，0：死亡
#Plcass:一等舱，二等舱，三等舱
#name:姓名
#Sex: 性别
#Age:年龄
#SibSP:船上同代亲属数
#Parch:船上不同代亲属数
#Ticket:船票编号
#Fare:船票价格
#Cabin:客舱号
#Embarked:登船港口 S:Southampton英国南安普顿 C:Cherbourg法国 瑟堡市 Q:Queenstowm爱尔兰 昆士敦

6、获得数据描述信息

describe()函数只能返回数字数据类型，不能查看字符串数据类型

#获取数据类型列的描述统计信息
full.describe()
#count数据总数
#mean平均值
#std标准值
#min最小值
#25%下四份位数
#50%中位数
#75%上四分位数
#max最大值

其实在这里就可以看出问题，Fare的最小值为0。船票的价钱是不可能为0的，所以我们要注意数据的正确性。

7、查看每一列数据类型

#查看每一列的数据类型和数据总数
full.info()

在这里我们注意到，Survived、Age、Fare、Cabin、Embarked都存在数据缺失现象。
我们发现数据总共有1309行。
其中数据类型列：年龄（Age）、船票价格（Fare）里面有缺失数据：
1）年龄（Age）里面数据总数是1046条，缺失了1309-1046=263，缺失率263/1309=20%
2）船票价格（Fare）里面数据总数是1308条，缺失了1条数据

字符串列：
1）登船港口（Embarked）里面数据总数是1307，只缺失了2条数据，缺失比较少
2）船舱号（Cabin）里面数据总数是295，缺失了1309-295=1014，缺失率=1014/1309=77.5%，缺失比较大
这为我们下一步数据清洗指明了方向，只有知道哪些数据缺失数据，我们才能有针对性的处理。所以接下来我们要进行数据清洗。

数据清洗：

1、数据预处理

在这个案例中，我们只需要进行第三步缺失数据处理和异常值进行处理

缺失值进行处理

机器学习算法为了训练模型，要求所传入的特征中不能有空值。

1. 如果是数值类型，用平均值取代
2. 如果是分类数据，用最常见的类别取代
3. 使用模型预测缺失值，例如：K-NN

#Age,Fare
#对于缺失数字数据类型处理，使用平均值进行填充
print('处理前：')
full.info()
#年龄(Age)
full['Age']=full['Age'].fillna( full['Age'].mean() )
#船票价格(Fare)
full['Fare'] = full['Fare'].fillna( full['Fare'].mean() )
print('处理红后：')
full.info()

'''
Embarked
字符串数据，用最常见的类别取代
Embarked里的字符串类型：缺失较少
出发地点：S=英国南安普顿Southampton
途径地点1：C=法国 瑟堡市Cherbourg
途径地点2：Q=爱尔兰 昆士敦Queenstown
'''
full['Embarked'].value_counts()

S是最多次出现的字符串类型

'''
从结果来看，S类别最常见。我们将缺失值填充为最频繁出现的值：
S=英国南安普顿Southampton
'''
full['Embarked'] = full['Embarked'].fillna( 'S' )

查看Cabin

#船舱号（Cabin）：查看数据
full['Cabin'