Pandas 基础教程：Series、DataFrame 与文件读写
1 Pandas 简介
数据结构：
Series：类似一维数组，由一组数据和与之相关的数据标签组成；DataFrame：类似二维数组，由多个 Series 按列排列构成的表格（有行索引和列索引）。
1.1 Series
案例：
import pandas as pd
# 创建一个Series对象，指定名称为'A'，值分别为1, 2, 3, 4
# 默认索引为0, 1, 2, 3
series = pd.Series([1, 2, 3, 4], name='A')
# 如果你想要显式地设置索引，可以这样做：
custom_index = [1, 2, 3, 4] # 自定义索引
series_with_index = pd.Series([1, 2, 3, 4], index=custom_index, name='A')创建 Series：
pandas.Series(data=None, index=None, dtype=None, name=None, copy=False, fastpath=False)data：Series 的数据部分，可以是列表、数组、字典、标量值等。如果不提供此参数，则创建一个空的 Series。index：Series 的索引部分，用于对数据进行标记。可以是列表、数组、索引对象等。如果不提供此参数，则创建一个默认的整数索引。dtype：指定 Series 的数据类型。可以是 NumPy 的数据类型，例如np.int64、np.float64等。如果不提供此参数，则根据数据自动推断数据类型。name：Series 的名称，用于标识 Series 对象。如果提供了此参数，则创建的 Series 对象将具有指定的名称。copy：是否复制数据。默认为 False，表示不复制数据。如果设置为 True，则复制输入的数据。fastpath：是否启用快速路径。默认为 False。启用快速路径可能会在某些情况下提高性能。
# 自定义索引值
a = ["Google", "Runoob", "Wiki"]
myvar = pd.Series(a, index = ["x", "y", "z"])
print(myvar["y"])
# 使用字典创建 Series
sites = {1: "Google", 2: "Runoob", 3: "Wiki"}
myvar = pd.Series(sites)
myvar = pd.Series(sites, index = [1, 2]) # 我只需要字典中的一部分数据下面是 Series 中一些常用的方法：
1.1.1 创建 Series
# 使用列表创建 Series
s = pd.Series([1, 2, 3, 4])
# 使用 NumPy 数组创建 Series
s = pd.Series(np.array([1, 2, 3, 4]))
# 使用字典创建 Series
s = pd.Series({'a': 1, 'b': 2, 'c': 3, 'd': 4})1.1.2 基本操作
# 指定索引创建 Series
s = pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])
# 获取值
value = s[2] # 获取索引为2的值
print(s['a']) # 返回索引标签 'a' 对应的元素
# 获取多个值
subset = s[1:4] # 获取索引为1到3的值
# 使用自定义索引
value = s['b'] # 获取索引为'b'的值
# 索引和值的对应关系
for index, value in s.items():
print(f"Index: {index}, Value: {value}")
# 使用切片语法来访问 Series 的一部分
print(s['a':'c']) # 返回索引标签 'a' 到 'c' 之间的元素
print(s[:3]) # 返回前三个元素
# 为特定的索引标签赋值
s['a'] = 10 # 将索引标签 'a' 对应的元素修改为 10
# 通过赋值给新的索引标签来添加元素
s['e'] = 5 # 在 Series 中添加一个新的元素，索引标签为 'e'
# 使用 del 删除指定索引标签的元素。
del s['a'] # 删除索引标签 'a' 对应的元素
# 使用 drop 方法删除一个或多个索引标签，并返回一个新的 Series。
s_dropped = s.drop(['b']) # 返回一个删除了索引标签 'b' 的新 Series1.1.3 基本运算
# 算术运算
result = series * 2 # 所有元素乘以2
# 过滤
filtered_series = series[series > 2] # 选择大于2的元素
# 数学函数
import numpy as np
result = np.sqrt(series) # 对每个元素取平方根1.1.4 统计数据
print(s.sum()) # 输出 Series 的总和
print(s.mean()) # 输出 Series 的平均值
print(s.max()) # 输出 Series 的最大值
print(s.min()) # 输出 Series 的最小值
print(s.std()) # 输出 Series 的标准差1.1.5 属性和方法
# 获取索引
index = s.index
# 获取值数组
values = s.values
# 获取描述统计信息
stats = s.describe()
# 获取最大值和最小值的索引
max_index = s.idxmax()
min_index = s.idxmin()
# 其他属性和方法
print(s.dtype) # 数据类型
print(s.shape) # 形状
print(s.size) # 元素个数
print(s.head()) # 前几个元素，默认是前 5 个
print(s.tail()) # 后几个元素，默认是后 5 个
print(s.sum()) # 求和
print(s.mean()) # 平均值
print(s.std()) # 标准差
print(s.min()) # 最小值
print(s.max()) # 最大值1.1.6 其他
print(s > 2) # 返回一个布尔 Series，满足条件的位置会标记为 True，反之亦然
print(s.dtype) # 输出 Series 的数据类型
s = s.astype('float64') # 将 Series 中的所有元素转换为 float64 类型1.2 DataFrame
构造方法：
pandas.DataFrame(data=None, index=None, columns=None, dtype=None, copy=False)参数说明：
data：DataFrame 的数据部分，可以是字典、二维数组、Series、DataFrame 或其他可转换为 DataFrame 的对象。如果不提供此参数，则创建一个空的 DataFrame。index：DataFrame 的行索引，用于标识每行数据。可以是列表、数组、索引对象等。如果不提供此参数，则创建一个默认的整数索引。columns：DataFrame 的列索引，用于标识每列数据。可以是列表、数组、索引对象等。如果不提供此参数，则创建一个默认的整数索引。dtype：指定 DataFrame 的数据类型。可以是 NumPy 的数据类型，例如np.int64、np.float64等。如果不提供此参数，则根据数据自动推断数据类型。copy：是否复制数据。默认为 False，表示不复制数据。如果设置为 True，则复制输入的数据。
DataFrame 的常用操作和方法如下表所示：
1.2.1 创建 DataFrame
import pandas as pd
import numpy as np
# 通过字典创建 DataFrame
df = pd.DataFrame({'Column1': [1, 2, 3], 'Column2': [4, 5, 6]})
# 从列表的列表创建
df = pd.DataFrame([[1, 2, 3], [4, 5, 6], [7, 8, 9]],
columns=['Column1', 'Column2', 'Column3'])
# 通过 NumPy 数组创建 DataFrame
df = pd.DataFrame(np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]))
# 从 Series 创建 DataFrame
s1 = pd.Series(['Alice', 'Bob', 'Charlie'])
s2 = pd.Series([25, 30, 35])
s3 = pd.Series(['New York', 'Los Angeles', 'Chicago'])
df = pd.DataFrame({'Name': s1, 'Age': s2, 'City': s3})1.2.2 DataFrame 的属性和方法
# DataFrame 的属性和方法
print(df.shape) # 形状
print(df.columns) # 列名
print(df.index) # 索引
print(df.head()) # 前几行数据，默认是前 5 行
print(df.tail()) # 后几行数据，默认是后 5 行
print(df.info()) # 数据信息
print(df.describe())# 描述统计信息
print(df.mean()) # 求平均值
print(df.sum()) # 求和1.2.3 访问 DataFrame 元素
# --- 访问列 ---
# 通过列名访问
print(df['Column1'])
# 通过属性访问
print(df.Name)
# 通过 .loc[] 访问
print(df.loc[:, 'Column1'])
# 通过 .iloc[] 访问
print(df.iloc[:, 0]) # 假设 'Column1' 是第一列
# 访问单个元素
print(df['Name'][0])
# --- 访问行 ---
# 通过行标签访问
print(df.loc[0, 'Column1'])1.2.4 修改 DataFrame
df['Column1'] = [10, 11, 12] # 修改列数据
df['NewColumn'] = [100, 200, 300] # 添加新列
# 使用 loc 为特定索引添加新行
df.loc[3] = [13, 14, 15, 16]
# 使用 append 添加新行到末尾（注：已被弃用）
new_row = {'Column1': 13, 'Column2': 14, 'NewColumn': 16}
df = df.append(new_row, ignore_index=True)
# 使用concat添加新行
new_row = pd.DataFrame([[4, 7]], columns=['A', 'B']) # 创建一个只包含新行的DataFrame
df = pd.concat([df, new_row], ignore_index=True) # 将新行添加到原始DataFrame
print(df)1.2.5 删除 DataFrame 元素
df_dropped = df.drop('Column1', axis=1) # 删除列
df_dropped = df.drop(0) # 删除索引为 0 的行1.2.6 DataFrame 统计分析
# 描述性统计：使用 .describe() 查看数值列的统计摘要。
df.describe()
# 计算统计数据：使用聚合函数如 .sum()、.mean()、.max() 等。
df['Column1'].sum()
df.mean()1.2.7 DataFrame 的索引操作
# 重置索引：使用 .reset_index()。
df_reset = df.reset_index(drop=True)
# 设置索引：使用 .set_index()。
df_set = df.set_index('Column1')1.2.8 DataFrame 的布尔索引
# 使用布尔表达式：根据条件过滤 DataFrame。
df[df['Column1'] > 2]1.2.9 DataFrame 的数据类型
# 查看数据类型：使用 dtypes 属性。
df.dtypes
# 转换数据类型：使用 astype 方法。
df['Column1'] = df['Column1'].astype('float64')1.2.10 DataFrame 的合并与分割
# 合并：使用 concat 或 merge 方法。
# 纵向合并
pd.concat([df1, df2], ignore_index=True)
# 横向合并
pd.merge(df1, df2, on='Column1')
# 分割：使用 pivot、melt 或自定义函数。
# 长格式转宽格式
df_pivot = df.pivot(index='Column1', columns='Column2', values='Column3')
# 宽格式转长格式
df_melt = df.melt(id_vars='Column1', value_vars=['Column2', 'Column3'])1.2.11 索引和切片
# 索引和切片
print(df[['Name', 'Age']]) # 提取多列
print(df[1:3]) # 切片行
print(df.loc[:, 'Name']) # 提取单列
print(df.loc[1:2, ['Name', 'Age']]) # 标签索引提取指定行列
print(df.iloc[:, 1:]) # 位置索引提取指定列2 Pandas 文件
2.1 Pandas CSV 文件
2.1.1 读取 CSV 文件
import pandas as pd
# 读取 CSV 文件，并自定义列名和分隔符
df = pd.read_csv('data.csv', sep=';', header=0, names=['A', 'B', 'C'], dtype={'A': int, 'B': float})
print(df)read_csv 常用参数:
2.1.2 写入 CSV 文件
import pandas as pd
# 假设 df 是一个已有的 DataFrame
df.to_csv('output.csv', index=False, header=True, columns=['A', 'B'])to_csv 常用参数:
2.2 Pandas Excel 文件
略，详情请看此处.
2.3 Pandas JSON 文件
import pandas as pd
df = pd.read_json(
path_or_buffer, # JSON 文件路径、JSON 字符串或 URL
orient=None, # JSON 数据的结构方式，默认是 'columns'
dtype=None, # 强制指定列的数据类型
convert_axes=True, # 是否转换行列索引
convert_dates=True, # 是否将日期解析为日期类型
keep_default_na=True # 是否保留默认的缺失值标记
)
df.to_json(
path_or_buffer=None, # 输出的文件路径或文件对象，如果是 None 则返回 JSON 字符串
orient=None, # JSON 格式方式，支持 'split', 'records', 'index', 'columns', 'values'
date_format=None, # 日期格式，支持 'epoch', 'iso'
default_handler=None, # 自定义非标准类型的处理函数
lines=False, # 是否将每行数据作为一行（适用于 'records' 或 'split'）
encoding='utf-8' # 编码格式
)3 参考资料
Pandas 教程 https://www.runoob.com/pandas/