Python高效处理XLS数据：筛选、过滤与数据清洗273

在日常工作中，我们经常会遇到需要处理XLS (Excel) 文件的情况。 Python 提供了强大的库来高效地读取、处理和写入XLS数据，其中筛选和过滤是数据处理中最常见的操作之一。本文将详细介绍如何使用Python和相关的库，例如openpyxl、xlrd、pandas，来实现对XLS数据的筛选和过滤，并结合一些数据清洗技巧，帮助你更高效地处理XLS数据。

1. 选择合适的库

Python拥有多个库可以处理XLS文件，选择合适的库取决于你的需求和文件大小。常用的库包括：
openpyxl: 适合处理较新的Excel文件(.xlsx, .xlsm, .xltx, .xltm)，支持读写操作，功能全面，并且性能良好。它是处理大型XLS文件时的首选。
xlrd and xlwt: xlrd用于读取XLS文件(.xls)，xlwt用于写入XLS文件(.xls)。它们是处理较旧Excel文件(.xls)的良好选择，但xlwt对xlsx的支持较差。
pandas: 一个强大的数据分析库，能够轻松地读取、处理和分析XLS数据，包括筛选和过滤操作。它提供了DataFrame数据结构，使得数据操作更加便捷和高效，是处理和分析数据的首选。

2. 使用openpyxl进行筛选

openpyxl提供了读取单元格内容的方法，我们可以根据单元格内容进行筛选。以下代码示例演示了如何读取XLS文件并筛选特定列中包含特定关键词的行：```python
from openpyxl import load_workbook
def filter_data_openpyxl(filepath, column_index, keyword):
"""
使用openpyxl筛选XLS文件数据。
Args:
filepath: XLS文件路径。
column_index: 需要筛选的列索引 (从1开始)。
keyword: 需要筛选的关键词。
Returns:
包含筛选结果的列表。
"""
workbook = load_workbook(filepath, data_only=True) # data_only=True 读取单元格的值而非公式
sheet = # 获取活动工作表
filtered_rows = []
for row in sheet.iter_rows():
if row[column_index - 1].value and keyword in str(row[column_index - 1].value):
([ for cell in row])
return filtered_rows
filepath = ""
filtered_data = filter_data_openpyxl(filepath, 2, "Apple") # 筛选第二列包含"Apple"的行
print(filtered_data)
```

3. 使用pandas进行筛选和过滤

pandas提供了更强大和便捷的筛选和过滤功能。我们可以使用布尔索引和query方法来实现复杂的筛选条件。```python
import pandas as pd
def filter_data_pandas(filepath, criteria):
"""
使用pandas筛选XLS文件数据。
Args:
filepath: XLS文件路径。
criteria: 筛选条件，例如 {'column_name': 'value'} 或更复杂的条件表达式。
Returns:
包含筛选结果的pandas DataFrame。
"""
try:
df = pd.read_excel(filepath)
filtered_df = (criteria) # 使用query方法进行筛选
return filtered_df
except FileNotFoundError:
print(f"Error: File not found at {filepath}")
return None
except Exception as e:
print(f"An error occurred: {e}")
return None
filepath = ""
#筛选 'Name' 列值为 'Alice' 且 'Age' 列大于 25 的行
filtered_data = filter_data_pandas(filepath, "Name == 'Alice' and Age > 25")
print(filtered_data)
# 或者使用布尔索引
filtered_data2 = df[(df['Name'] == 'Bob') & (df['Age'] < 30)]
print(filtered_data2)
```

4. 数据清洗

在筛选之前，我们可能需要进行数据清洗，例如处理缺失值、异常值和数据类型转换。pandas提供了丰富的函数来处理这些问题：
fillna(): 填充缺失值
dropna(): 删除包含缺失值的行或列
astype(): 转换数据类型
replace(): 替换特定值

5. 错误处理和性能优化

在编写XLS数据处理脚本时，务必注意错误处理，例如文件不存在、数据格式错误等。可以使用try-except块来捕获异常。对于大型XLS文件，可以考虑使用多线程或多进程来提高处理效率。

总结

本文介绍了使用Python处理XLS数据，并重点讲解了如何使用openpyxl和pandas库进行数据筛选和过滤。pandas由于其强大的数据处理能力和便捷的操作方式，通常是处理XLS数据时的首选。选择合适的库并结合数据清洗技巧，可以显著提高XLS数据处理的效率和准确性。记住始终进行错误处理和考虑性能优化，以确保脚本的鲁棒性和效率。

2025-06-11

上一篇：Python 正则表达式转义字符串详解：避免常见陷阱及高级用法

下一篇：Python日期字符串与毫秒级精度的处理方法