Series和DataFrame

学习目标

• 掌握Series的常用属性及方法
• 掌握DataFrame的常用属性及方法
• 掌握DataFrame行列标签的设置

1. Series 详解

Series是 pandas 中用来存储一维数据的容器。

1.1 创建 Series

1）创建 Series 的最简单方法是传入一个Python列表

• 如果传入的数据类型是统一的数字，那么最终的 dtype 类型是int64
• 如果传入的数据类型是统一的字符串，那么最终的 dtype 类型是object
• 如果传入的数据类型是多种类型，那么最终的 dtype 类型也是object

s = pd.Series(['banana', 42])
print(s)
print(type(s))

s = pd.Series(['banana', 'apple'])
print(s)
print(type(s))

s = pd.Series([50, 42])
print(s)
print(type(s))

注意：上面的结果中，左边显示的0，1是 Series 的行标签，默认为0，1，2，3...

2）创建 Series 时，也可以通过 index 参数来指定行标签

s = pd.Series(['smart', 18], index=['name', 'age'])
print(s)
print(type(s))

1.2 Series 常用操作

常用属性和方法：

示例演示：

1）加载 scientists.csv 数据集，并获取 Age 列的数据

scientists = pd.read_csv('./data/scientists.csv')
scientists

# 并获取 Age 列的数据
age_series = scientists['Age']
print(age_series)
print(type(age_series))

2）常用属性和方法演示

age_series.shape
age_series.size
age_series.index
age_series.values
age_series.keys()
age_series.loc[1]
age_series.iloc[1]
age_series.dtypes

常用统计方法：

示例演示：

1）mean、max、min、std统计方法演示

# 计算年龄的平均值
age_series.mean()

# 计算年龄的最大值
age_series.max()

# 计算年龄的最小值
age_series.min()

# 计算年龄的标准差
age_series.std()

2）value_counts 统计方法演示

# 获取职业这一列数据
occupation_series = scientists['Occupation']
print(occupation_series)
occupation_series.value_counts()

3）count 统计方法演示

# 统计 Born 这一列非空元素的个数
scientists['Born'].count()

4）describe 统计方法演示

# age_series 是数值型数据
age_series.describe()

# occupation_series 是非数值型数据
occupation_series.describe()

Series方法(备查)：

1.3 bool 索引

Series 支持 bool 索引，可以从 Series 获取 bool 索引为 True 的位置对应的数据。

bool_values = [False, True, True, True, False, False, False, True]
age_series[bool_values]

应用：从 age_series 中删选出年龄大于平均值的数据.

# 应用：从 age_series 中删选出年龄大于平均值的数据.
age_series[age_series>age_series.mean()]

1.4 Series 运算

Series 和 数值型数据运算：

# 加法
age_series + 100

# 乘法
age_series * 2

Series 和 另一 Series 运算：

# 加法
age_series + age_series
# 乘法
age_series * age_series

# 创建新的 Series 数据
new_series = pd.Series([1, 100])

注意：age_series 中的一些元素在 new_series 中不存在相同行标签的数据

# 两个 Series 相加
age_series + new_series

# 两个 Series 相乘
age_series * new_series

2. DataFrame 详解

2.1 创建 DataFrame

1）可以使用字典来创建DataFrame

peoples = pd.DataFrame({
    'Name': ['Smart', 'David'],
    'Occupation': ['Teacher', 'IT Engineer'],
    'Age': [18, 30]
})
peoples

2）创建 DataFrame 的时候可以使用colums参数指定列的顺序，也可以使用 index 参数来指定行标签

peoples = pd.DataFrame({
    'Occupation': ['Teacher', 'IT Engineer'],
    'Age': [18, 30]
}, columns=['Age', 'Occupation'], index=['Smart', 'David'])
peoples

3）也可以使用嵌套列表创建 DataFrame，并使用 columns 参数指定列标签，使用 index 参数来指定行标签

peoples = pd.DataFrame([
    ['Teacher', 18],
    ['IT Engineer', 30]
], columns=['Occupation', 'Age'], index=['Smart', 'David'])
peoples

2.2 DataFrame 常用操作

常用属性和方法：

1）常用属性和方法演示

scientists.shape
scientists.size
scientists.ndim
len(scientists)

scientists.index
scientists.columns

scientists.dtypes
scientists.info()

Pandas与Python常用数据类型对照：

Pandas类型	Python类型	说明
object	string	字符串类型
int64	int	整形
float64	float	浮点型
datetime64	datetime	日期时间类型，python中需要加载

scientists.head()
scientists.tail()

常用统计方法：

1）max、min、count 演示

scientists.max()
scientists.min()
scientists.count()
scientists.size()

2）describe 演示

scientists.describe()

注意：describe 方法默认只显示数值型列的统计信息，可以通过 include 参数设置显示非数值型列的统计信息

import numpy as np
scientists.describe(include=[np.object_])

2.3 bool 索引

DataFrame 支持 bool 索引，可以从 DataFrame 获取 bool 索引为 True 的对应行的数据。

bool_values = [False, True, True, True, False, False, False, True]
scientists[bool_values]

应用：获取 scientists 中 Age 大于平均值的科学家信息

# 应用：获取 scientists 中 Age 大于平均值的科学家信息
scientists[scientists['Age'] > scientists['Age'].mean()]

2.4 DataFrame 运算

DataFrame 和 数值型数据运算：

# DataFrame 和 数值型数据运算
scientists * 2

DataFrame 和 另一 DataFrame 运算：

# DataFrame 和 另一 DataFrame 运算
scientists + scientists

# DataFrame 和 另一 DataFrame 运算
scientists + scientists[:4]

2.5 行标签和列表签操作

2.5.1 加载数据后，指定某列数据作为行标签

加载数据文件时，如果不指定行标签，Pandas会自动加上从0开始的行标签；

可以通过df.set_index('列名')的方法重新将指定的列数据设置为行标签

scientists = pd.read_csv('./data/scientists.csv')
scientists

# 设置 Name 列的值作为行标签
scientists_df = scientists.set_index('Name')
scientists_df

设置行标签之后，可以通过 reset_index 方法重置行标签：

# 注意：reset_index返回的是一个新的 DataFrame
scientists_df.reset_index()

2.5.2 加载数据时，指定某列数据作为行标签

加载数据文件的时候，可以通过通过 index_col 参数，指定使用某一列数据作为行标签，index_col 参数可以指定列名或列位置

1）加载 scientists.csv数据时，将 Name 列设置为行标签

pd.read_csv('./data/scientists.csv', index_col='Name')
或
pd.read_csv('./data/scientists.csv', index_col=0)

2.5.3 加载数据后，修改行标签和列标签

1）加载 scientists.csv数据集

scientists = pd.read_csv('./data/scientists.csv', index_col='Name')
scientists

2）使用 rename 修改行标签和列标签

index_name = {'Rosaline Franklin': 'rosaline franklin', 'John Snow': 'john snow'}
columns_name = {'Born': 'born', 'Age': 'age'}
# 注意：rename 修改之后，返回的是一个新的 DataFrame
scientists.rename(index=index_name, columns=columns_name)

3）使用 df.index 和 df.columns 分别修改行标签和列标签

# 修改行标签
scientists.index = ['rosaline franklin', 'William Gosset', 'Florence Nightingale',
       'Marie Curie', 'Rachel Carson', 'john snow', 'Alan Turing',
       'Johann Gauss']
# 修改列标签
scientists.columns = ['born', 'Died', 'age', 'Occupation']
scientists

总结

• 掌握Series的常用属性及方法
• 掌握DataFrame的常用属性及方法
• 掌握DataFrame行列标签的设置
  • set_index、reset_index
  • rename
  • df.index、df.columns