分类目录归档:数据分析

回归模型演示


实验四、回归模型演示

一、实验目的

  • 1.理解线性回归和对应参数调节。
  • 2.掌握使用任意公式进行广义线性回归拟合的方法。

二、实验内容

  • 1.调用 sklearn 的多项式特征 PolynomialFeatures 进行多项式拟合。
  • 2.调用逻辑斯蒂回归直线 LinearRegression 进行线性拟合。
  • 3.使用任意函数为 curve_fit 调用以拟合任意规律数据。

三、实验步骤

  • 1、线性回归 利用 sklearn 用于学习逻辑斯蒂回归直线的 LinearRegression 和...

Read more

数据预处理演示


实验六、数据预处理演示

一、实验目的

  • 1.了解数据集的 z-score 标准化。
  • 2.掌握数据集的不同降维方式。

二、实验内容

  • 1.调用 StandardScaler 进行数据集的 z-score 标准化。
  • 2.调用 PCA 和 LDA 进行数据集的降维。

三、实验步骤

  • 1、数据降维 关于数据降维,sklearn 库提供了常见的2种降维方式:PCA 和 LDA。若想要知 道数据的方差比,可直接在不降维的数据上使用 explained_variance_ratio_查 看方差比决定降多...

Read more

分类预测基本流程演示


实验五、分类预测基本流程演示

一、实验目的

1.了解在流水线上进行数据分类预测的方法。

二、实验内容

1.调用 pipeline 进行整个数据处理流程的调用。

2.调用 train_test_split 进行数据集的分割。

三、实验步骤

使用 train_test_split 可拆分数据,保留一部分数据进行测试,以尽量避免过 拟合,保留一部分数据做测试训练模型用,改变 random_state 还可以改变分离 数据的位置,test_size 默认是 0.25,可通过这个变量改变分离的数据量比例; 把常...

Read more

Pandas的透视表


透视表

  • 透视表是一种可以对数据动态排布并且分类汇总的表格格式。或许大多数人都在Excel使用过数据透视表,也体会到它的强大功能,而在pandas中它被称作pivot_table。

  • 透视表的优点:

    • 灵活性高,可以随意定制你的分析计算要求
    • 脉络清晰易于理解数据
    • 操作性强,报表神器
# 使用pivot_table创建透视表
pivot_table(data,         # DataFrame
      values=None,        # 值
      index=None,...

Read more

Pandas分组处理数据


数据分组聚合

import numpy as np
import pandas as pd
from pandas import DataFrame

替换操作

  • 替换操作可以同步作用于Series和DataFrame中
  • 单值替换

    • 普通替换: 替换所有符合要求的元素:to_replace=15,value='e'
    • 按列指定单值替换: to_replace={列标签:替换值} value='value'
  • 多值替换

    • 列表替换: to_replace=[] value=[]
    • 字典替换(推荐...

Read more

DataFrame的级联and合并操作


import pandas as pd
import numpy as np

级联操作

  • pd.concat, pd.append

pandas使用pd.concat函数,与np.concatenate函数类似,只是多了一些参数:

objs
axis=0
keys
join='outer' / 'inner':表示的是级联的方式,outer会将所有的项进行级联(忽略匹配和不匹配),而inner只会将匹配的项级联到一起,不匹配的不级联
ignore_index=Fa...

Read more

Matplotlib基础二


import matplotlib.pyplot as plt
import numpy as np

plt.plot()绘制线性图

  • 绘制单条线形图
  • 绘制多条线形图
  • 设置坐标系的比例plt.figure(figsize=(a,b))
  • 设置图例legend()
  • 设置轴的标识
  • 图例保存
    • fig = plt.figure()
    • plt.plot(x,y)
    • figure.savefig()

In [2]:

#绘制单条线形图
x = np.array([1,2,3,4,5])
y = x + 3

p...

Read more

数据可视化练习


#!/usr/bin/env python
# coding: utf-8

# In[1]:


import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
data = pd.read_csv('city_temperature.csv',dtype={'State':object})


# In[2]:


data['AvgTemperature'] = (dat...

Read more

数据分析练习之城市气温分析


数据分析练习之城市气温分析

数据分析的方法很多,参考答案仅供参考,你也可以使用更加简洁高效的方法实现相同的功能。

数据下载(提取码:1024)

【练习1】准备数据和转换格式

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
data = pd.read_csv('city_temperature.csv',dtype={'State':object})

# 温度转换
dat...

Read more