使用 Pandas 处理 Excel 数据并进行统计分析

A Gentle Visual Intro to Data Analysis in Python Using Pandas – Jay ...

在数据分析中，Excel 文件是常见的数据存储格式之一。Pandas 是一个功能强大的 Python 数据分析库，它提供了简便的方法来读取、处理和分析 Excel 数据。本文将详细介绍如何使用 Pandas 处理 Excel 数据，并进行数据总量统计、中位数和平均数的计算。同时，还将涵盖处理缺失值的方法，以确保数据分析的准确性和完整性。

安装必要的库

在开始处理 Excel 数据之前，需要确保已经安装了必要的 Python 库。我们将使用 pandas 来处理数据，以及 openpyxl 作为 Excel 文件的引擎。

安装 Pandas 和 openpyxl

打开终端或命令提示符，执行以下命令以安装 Pandas 和 openpyxl：

pip install pandas openpyxl

如果你使用的是 Jupyter Notebook，可以在一个单元格中运行以下命令：

!pip install pandas openpyxl

读取 Excel 文件

使用 Pandas 的 read_excel 函数可以轻松读取 Excel 文件。以下是一个基本示例：

示例代码：读取 Excel 文件

import pandas as pd

# 读取 Excel 文件
df = pd.read_excel('example.xlsx', engine='openpyxl')

# 显示前几行数据
print(df.head())

在上述代码中：

'example.xlsx' 是 Excel 文件的名称或路径。请根据实际情况修改为你的文件路径。
engine='openpyxl' 指定了用于读取 Excel 文件的引擎。
df.head() 显示数据框的前五行，帮助你确认数据是否正确读取。

选择需要统计的列

在统计之前，需要选择你感兴趣的列。假设你需要统计名为 '数值列' 的列：

示例代码：选择特定列

# 替换为你的列名
column_name = '数值列'

# 检查列是否存在
if column_name not in df.columns:
    print(f"列 '{column_name}' 不存在。请检查列名是否正确。")
    exit()

# 选择需要统计的列
data = df[column_name]

在上述代码中：

将 '数值列' 替换为你实际需要统计的列名。
通过检查列名是否存在，确保代码的健壮性。

统计数据总量

数据总量指的是数据集中的记录数量。使用 len() 函数可以轻松计算数据总量：

示例代码：计算数据总量

# 计算数据总量
total_count = len(data)
print(f"数据总量: {total_count}")

输出示例：

数据总量: 150

统计中位数

中位数是将数据集按顺序排列后，位于中间位置的数值。使用 median() 方法可以计算中位数：

示例代码：计算中位数

# 计算中位数
median_value = data.median()
print(f"中位数: {median_value}")

输出示例：

中位数: 75.0

统计平均数

平均数是数据集所有数值的总和除以数值的数量。使用 mean() 方法可以计算平均数：

示例代码：计算平均数

# 计算平均数
mean_value = data.mean()
print(f"平均数: {mean_value}")

输出示例：

平均数: 74.5

处理缺失值

在实际数据中，可能存在缺失值（NaN）。如何处理这些缺失值对统计结果的准确性至关重要。以下是几种常见的处理缺失值的方法：

方法一：删除包含缺失值的行

# 删除包含缺失值的行
data_cleaned = data.dropna()
print(f"删除缺失值后的数据总量: {len(data_cleaned)}")

此方法会删除所有包含缺失值的记录。

方法二：用平均值填充缺失值

# 用平均值填充缺失值
data_filled_mean = data.fillna(data.mean())
print(data_filled_mean)

此方法将所有缺失值替换为该列的平均值。

方法三：用中位数填充缺失值

# 用中位数填充缺失值
data_filled_median = data.fillna(data.median())
print(data_filled_median)

此方法将所有缺失值替换为该列的中位数。

选择哪种方法取决于数据集的具体情况和分析需求。在处理缺失值之前，建议先了解缺失值的分布和原因。

完整示例代码

以下是一个完整的示例代码，展示了如何使用 Pandas 读取 Excel 文件，并进行数据总量、中位数和平均数的统计计算，同时处理缺失值：

import pandas as pd

# 读取 Excel 文件
try:
    df = pd.read_excel('example.xlsx', engine='openpyxl')
    print("Excel 文件读取成功。")
except FileNotFoundError:
    print("找不到 Excel 文件。请检查文件路径是否正确。")
    exit()

# 选择需要统计的列
column_name = '数值列'  # 请替换为实际列名

if column_name not in df.columns:
    print(f"列 '{column_name}' 不存在于 Excel 文件中。请检查列名是否正确。")
    exit()

data = df[column_name]

# 处理缺失值（示例中使用删除缺失值的方法）
data_cleaned = data.dropna()

# 统计数据总量
total_count = len(data_cleaned)
print(f"数据总量: {total_count}")

# 计算中位数
median_value = data_cleaned.median()
print(f"中位数: {median_value}")

# 计算平均数
mean_value = data_cleaned.mean()
print(f"平均数: {mean_value}")

# 统计摘要（包含多种统计指标）
summary_stats = data.describe()
print("统计摘要:")
print(summary_stats)

在上述代码中：

首先尝试读取 Excel 文件，如果文件不存在，将输出错误信息并退出程序。
选择需要统计的列，并检查该列是否存在。
处理缺失值，此处使用删除缺失值的方法作为示例。你也可以选择其他处理方法，如填充平均数或中位数。
计算数据总量、中位数和平均数，并输出结果。
使用 data.describe() 方法一次性获取多种统计指标，如计数（count）、平均值（mean）、标准差（std）、最小值（min）、四分位数（25%、50%、75%）和最大值（max）。

处理多列数据

如果 Excel 文件中包含多列需要统计的数据，可以通过循环遍历列名来分别处理每一列。以下是一个示例：

示例代码：循环处理多列

import pandas as pd

# 读取 Excel 文件
df = pd.read_excel('example.xlsx', engine='openpyxl')

# 选择需要统计的列（假设是 '数值列1', '数值列2'）
columns_to_analyze = ['数值列1', '数值列2']

for column in columns_to_analyze:
    if column in df.columns:
        data = df[column].dropna()
        total_count = len(data)
        median_value = data.median()
        mean_value = data.mean()
        summary_stats = data.describe()
        
        print(f"\n统计列: {column}")
        print(f"数据总量: {total_count}")
        print(f"中位数: {median_value}")
        print(f"平均数: {mean_value}")
        print("统计摘要:")
        print(summary_stats)
    else:
        print(f"列 '{column}' 不存在于 Excel 文件中。")

在上述代码中：

定义了一个包含需要统计的列名的列表 columns_to_analyze。
通过循环遍历每一列，分别计算数据总量、中位数、平均数和统计摘要。
如果某一列不存在于 Excel 文件中，将输出相应的警告信息。

高级统计分析

除了基本的统计指标，Pandas 还提供了更多高级的统计分析功能，帮助你更深入地理解数据。例如，计算标准差、方差、相关系数等。

计算标准差和方差

# 计算标准差
std_dev = data.std()
print(f"标准差: {std_dev}")

# 计算方差
variance = data.var()
print(f"方差: {variance}")

计算相关系数

如果你有多列数据，想要计算它们之间的相关性，可以使用 corr() 方法：

# 计算相关系数矩阵
correlation_matrix = df.corr()
print("相关系数矩阵:")
print(correlation_matrix)

相关系数矩阵显示了数据集中各列之间的线性相关性，值范围从 -1 到 1，表示从完全负相关到完全正相关。

数据可视化

在进行统计分析后，通常需要通过可视化来更直观地展示结果。Pandas 与 Matplotlib 配合使用，可以轻松创建各种图表。

绘制直方图

import matplotlib.pyplot as plt

# 绘制直方图
data.hist(bins=10, edgecolor='black')
plt.title('数据分布直方图')
plt.xlabel('数值')
plt.ylabel('频数')
plt.show()

绘制箱线图

# 绘制箱线图
data.plot(kind='box')
plt.title('数据箱线图')
plt.ylabel('数值')
plt.show()

常见问题与解决方法

1. 读取 Excel 文件时出现编码错误

如果在读取 Excel 文件时遇到编码错误，可以尝试指定正确的编码格式：

df = pd.read_excel('example.xlsx', engine='openpyxl', encoding='utf-8')

2. 处理 NaN 值后数据总量变化异常

在处理缺失值时，删除缺失值可能导致数据总量大幅减少。可以选择填充缺失值的方法，以保留尽可能多的数据：

# 用中位数填充缺失值
data_filled = data.fillna(data.median())
print(f"填充缺失值后的数据总量: {len(data_filled)}")

3. 统计多列时部分列的类型不适合

确保选择进行统计的列是数值类型。如果数据包含非数值类型，可能会导致统计方法无法正确执行：

# 选择数值类型的列
numeric_columns = df.select_dtypes(include=['int64', 'float64']).columns
print(numeric_columns)

然后，可以用 numeric_columns 来选择需要统计的数值列。

参考文档

欲了解更多关于 Pandas 处理 Excel 数据和统计分析的详细信息，可以参考以下文档：

这些文档提供了丰富的示例和深入的讲解，帮助你更好地掌握 Pandas 的使用技巧。

总结

本文详细介绍了如何使用 Pandas 处理 Excel 数据，并进行数据总量、中位数和平均数的统计计算。通过安装必要的库、读取 Excel 文件、选择需要统计的列、处理缺失值以及进行统计分析和数据可视化，你可以高效地进行数据分析工作。Pandas 提供了强大的功能，使得处理和分析数据变得简便快捷。希望本文对你的数据分析工作有所帮助。

附加资源

pandas.pydata.org

https://pandas.pydata.org/docs/

matplotlib.org

https://matplotlib.org/stable/contents.html

python.org

https://www.python.org/about/gettingstarted/

Last updated January 4, 2025