python数据分析一

python数据分析 一：python数据分析工具

python本身的数据分析分析功能并不强，需要第三方库Numpy、Scipy、Matplotilib、Pandas、Scrikit-Learn、Keras、Gensim

1.1：Numpy 提供数组支持、以及相应的高效的处理函数 1.1.1:numpy的安装 pip install numpy 1.1.2:nmupy的基本操作 import numpy as np # 导入numpy模块、一般以np作为numpy的别名 # 创建数组 a = np.array([2,3,2,1]) # 输出数组 print(a) # --> [2 3 2 1] print(type(a)) # --> <class \'numpy.ndarray\'> # 数组切片 print(a[:3]) # 数组最小值 print(a.max()) # 数组排序 c = a.sort() print(c) # 创建二维数组 b = np.array([[1,3,2],[4,6,5]]) print(b) 1.2：scipy 提供矩阵支持，以及矩阵相关的数值计算模块 1.2.1:scipy的安装 pip install scipy 1.2.2:scipy求解非线性方程组和数值积分 from scipy.optimize import fsolve # 导入求解方程组的函数 from scipy import integrate # 导入积分函数 # 求解非线性方程组 2x1-x22=1,x12-x2=2 def f(x): x1 = x[0] x2 = x[1] return [2*x1 - x2**2 -1 ,x1**2 - x2 -2] result = fsolve(f,[1,1]) print(result) # --> [1.91963957 1.68501606] # 数值积分 def g(x): # 定义被积函数 return (1-x**2)**0.5 pi_2,err = integrate.quad(g,-1,1) # 积分结果和误差 print(pi_2*2) # 由微积分知识知道积分结果为圆周率的pi的一半 -->3.1415926535897967 1.3 Matplotlib 强大的数据可视化工具、做图库 1.3.1:作图基本代码 import matplotlib.pyplot as plt import numpy as np \'\'\' np.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None) start:序列的起始点 stop:序列的结束点 num:生成的样本数，默认是50 endpoint:是否包含结束点 restep:是否包含起始点 dtype: \'\'\' x = np.linspace(0,10,1000) y = np.sin(x)+1 # 因变量y z = np.cos(x**2) + 1 # 因变量z plt.figure(figsize=(8,4)) # 设置图像大小 plt.plot(x,y,label = \'$\sin x+1$\',color =\'red\',linewidth = 2) # 作图、设置标签 plt.plot(x,z,\'b--\',label = \'$\cos x^2+1$\') # 作图、设置标签、线条类型 plt.xlabel(\'Time(s)\') # x轴名称 plt.ylabel(\'Volt\') # y轴名称 plt.title(\'A siimple Example\') # 显示标题 plt.ylim(0,2.2) # 显示y轴的范围 plt.legend() # 显示图例 plt.show() # 显示作图结果

1.4：Pandas pandas是强大、灵活的数据分析和探索工具 1.4.1：Pandas 的简单例子 import pandas as pd s = pd.Series([1,2,3],index=[\'a\',\'b\',\'c\']) # 创建一个序--维数组 d = pd.DataFrame([[1,2,3],[4,5,6]],columns=[\'a\',\'b\',\'c\']) # 创建一个表--相当于二维数组 d2 = pd.DataFrame(s) # 可以用已有的序列来创建表格 d.head() # 预览前5行数据 d.describe() # 数据基本统计量 # 读取文件，注意文件的存储路径不能带有中文，否则读取可能出错 pd.read_excel(\'data.xls\') # 读取excel文件，创建DataFrame pd.read_csv(\'data.csv\',encoding=\'uft-8\') # 读取文本格式的数据，一般用encoding指定编码 1.5：StatsModels 统计建模和计量经济学、包括描述统计、统计模型估计和推断 1.5.1 StatsModels 简单例子 from statsmodels.tsa.stattools import adfuller as ADF import numpy as np s = ADF(np.random.rand(100)) print(s) # (-8.84180868108183, 1.6606817977681762e-14, 0, 99, {\'1%\': -3.498198082189098, \'5%\': -2.891208211860468, \'10%\': -2.5825959973472097}, 28.779514386004934) 1.6 Scikit-Learn 支持回归、分类、聚类等的强大的机器学习库 1.6.1：Scikit-Learn的简单列子 from sklearn.linear_model import LinearRegression # 导入线性回归模型 from sklearn import datasets # 导入数据集 from sklearn import svm # d导入SVM模型 model = LinearRegression() # 建立线性回归模型 print(model) \'\'\' 所有模型提供的接口有 1：model.fit() 训练模型，对于监督模型来说是fit(X,y),对于非监督模型是fit(X) 2:监督模型提供的接口有 2.1:model.predict(X_new) 预测新样本 2.2:model.predict_proba(X_new) 预测概率，仅对某些模型有用（比如LR） 2.3:model.score():得分越高，fit越好 3：非监督模型提供的接口有 model.transform():从数据种学到新的“基空间” model.fit_transform():从数据种学到新的基并将这个数据按照这组‘基’进行转换 Scikit-Learn 本身提供了一些实例数据，比较常见的有安德森鸢尾花卉数据集、手写图像数据集等 \'\'\' iris = datasets.load_iris() # 加载数据集 print(iris.data.shape) clf = svm.LinearSVC() # 建立线性SVM分类器 clf.fit(iris.data,iris.target) # 用数据训练模型 clf.predict([[5.0,3.6,1.3,0.25]]) # 训练好模型之后，输入新的数据进行预测 ss = clf .coef_ # 查看训练好的模型参数 print(ss)

1.7:Keras 深度学习库、用于建立神经网络及深度学习模型 1.7.1：Keras的简单列子 from keras.models import Sequential from keras.layers.core import Dense,Dropout,Activation from keras.optimizers import SGD model = Sequential() # 模型初始化 model.add(Dense(20,64)) # 添加输入层（20节点）、第一隐藏层（64节点）的连接 model.add(Activation(\'tath\')) # 第一隐藏层用tanh作为激活函数 model.add(Dropout(0.5)) # 使用Dropout防止过拟合 model.add(Dense(64,64)) # 添加第一影藏层64节点，第一隐藏层64节点的连接 model.add(Activation(\'tath\')) # 第二隐藏层用tath作为激活函数 model.add(Dropout(0.5)) # 使用Dropout防止过拟合 model.add(Dense(64,1)) # 添加第二隐藏层64节点、输出层1节点的连接 model.add(Activation(\'sigmoid\')) # 输出层用sigmoid作为激活函数 \'\'\' SGD 随机梯度下降优化器，性价比***的算法 keras.optimizers.SGD(lr=0.1,decay=1e-6,momentum=0.9,nesterov=True) lr: float >= 0,学习速率 momentum: float >=0,参数更新的动量 decay：每次更新后学习速率的衰减量 netsterov:boolean 是否使用Netsterov动量项 \'\'\' sgd = SGD(lr=0.1,decay=1e-6,momentum=0.9,nesterov=True) # 定义求解算法 model.compile(loss=\'mean_sequared_error\',optimizer=sgd) # 编译生成模型，损失函数为平均误差平方和 model.fit(X_train,y_train,nb_epoch=20,batch_size=16) # 训练模型 score = model.evaluate(X_test,y_test,batch_size=16) # 测试模型 1.8:Gensim 用来做文本主题模型的库、文本挖掘可能用到 1.8.1：Gensim的简单列子 import gensim,logging logging.basicConfig(format=\'%(asctime)s:%(levelname)s:%(message)s\',level=logging.INFO) # logging用来输出训练日志 # 分好此的句子，每个句子一词列表的形式输出 sentences = [[\'first\',\'sentence\'],[\'second\',\'sentence\']] # 用以上句子训练词向量模型 model = gensim.models.Word2Vec(sentences,min_count=1) print(model[\'sentence\']) # 输出单词sentence的词向量 \'\'\' [ 2.0255086e-03 1.4354165e-03 4.1531306e-03 -2.4436247e-03 7.9498003e-04 -2.3921784e-03 1.8047908e-04 -6.5997639e-04 4.6689534e-03 2.9768234e-03 7.4920856e-04 -3.6216686e-03 4.1960198e-03 -1.1127638e-04 -2.9616000e-03 3.4305027e-03 1.6788821e-03 -4.5133010e-03 -1.5694526e-03 1.1396366e-03 6.2945927e-04 2.2802821e-03 -9.7226628e-05 1.8373540e-03 -3.2517842e-03 4.0304395e-03 3.0153790e-03 4.9641021e-03 -1.3667200e-03 -1.5136130e-03 -2.7600909e-03 -1.0979135e-03 -4.2943112e-03 2.1619755e-03 4.1683638e-03 -2.6924643e-03 -3.9239340e-03 1.4394275e-03 -3.7702043e-03 4.1737510e-03 4.3679657e-03 3.7233287e-04 4.8455340e-03 -3.0766593e-03 -3.3860814e-03 4.1146614e-03 1.1897747e-03 2.4295055e-04 -3.8672744e-03 1.6757190e-03 -4.8934245e-03 -2.1469339e-05 3.8065172e-03 3.0283716e-03 2.4289489e-03 4.0488594e-04 3.5402786e-03 -2.1330076e-03 -1.1819699e-03 1.3437602e-03 -4.6209120e-03 -1.9305869e-04 6.3677185e-04 -1.2286671e-03 -2.8576883e-03 3.0792976e-04 4.3145958e-03 -3.4873825e-03 -1.2855671e-03 5.6857680e-04 -1.5974524e-03 1.6169638e-03 -4.4753863e-03 -1.3934425e-03 2.5216275e-04 4.4940184e-03 1.1444967e-03 6.8825466e-04 -4.8798043e-03 3.7930966e-03 -3.6598800e-03 2.9519533e-03 2.4186759e-03 2.8739998e-03 -3.5608478e-03 -1.7704858e-03 4.8239161e-03 3.7756783e-03 4.1070357e-03 -5.3616066e-04 -1.6018059e-03 -1.6305518e-03 -2.4819584e-03 4.1905669e-03 -4.1932857e-04 2.3392378e-03 -4.8276852e-03 -9.7833597e-04 -8.5634517e-04 3.1401650e-03] \'\'\'