高效处理大型CSV文件：Python切割与合并技巧21

在数据处理领域，CSV (Comma Separated Values) 文件是一种常见的数据存储格式。然而，当CSV文件规模庞大时，直接用Python处理可能会导致内存溢出等问题。因此，将大型CSV文件切割成更小的、易于管理的文件片段，再进行逐个处理，就显得至关重要。本文将深入探讨使用Python高效切割CSV文件的方法，并讲解如何将切割后的文件合并回原始状态。

一、 为什么需要切割大型CSV文件？

大型CSV文件处理的挑战主要体现在内存限制上。当一个CSV文件的大小超过系统内存容量时，Python的 `csv` 模块或 Pandas 库直接读取整个文件将会导致内存溢出错误，程序崩溃。切割文件能够有效地解决这个问题，将处理任务分解成更小的、可控的单元。

此外，切割文件也能够提高处理效率。多核处理器能够并行处理多个较小的文件，显著缩短整体处理时间。特别是对于需要进行复杂数据清洗或分析的任务，切割文件能够充分利用多核处理器的优势，加快处理速度。

二、 使用Python切割CSV文件的方法

Python提供了多种方法来切割CSV文件，以下是几种常用的方法，各有优缺点：

方法一：基于行数切割

这是最简单直接的方法，将CSV文件按照行数平均分割。可以使用以下代码：```python
import csv
def split_csv_by_lines(input_file, output_prefix, lines_per_file):
"""
基于行数切割CSV文件。
Args:
input_file: 输入CSV文件的路径。
output_prefix: 输出文件的名称前缀。
lines_per_file: 每个输出文件包含的行数。
"""
with open(input_file, 'r', encoding='utf-8') as infile:
reader = (infile)
file_num = 1
current_file = open(f"{output_prefix}_{file_num}.csv", 'w', newline='', encoding='utf-8')
writer = (current_file)
line_count = 0
for row in reader:
(row)
line_count += 1
if line_count == lines_per_file:
()
file_num += 1
current_file = open(f"{output_prefix}_{file_num}.csv", 'w', newline='', encoding='utf-8')
writer = (current_file)
line_count = 0
()
# 示例用法:
split_csv_by_lines("", "output", 10000) # 将切割成每个包含10000行的文件
```

此方法简单易懂，但可能导致数据不均匀分布，如果按照行数分割，最后一块可能远小于其他块。

方法二：基于文件大小切割

这种方法更加灵活，可以根据文件大小来控制每个分割文件的尺寸。需要用到 `` 获取文件大小，以及迭代读取文件内容来控制分割。```python
import csv
import os
def split_csv_by_size(input_file, output_prefix, file_size_mb):
"""
基于文件大小切割CSV文件。
Args:
input_file: 输入CSV文件的路径。
output_prefix: 输出文件的名称前缀。
file_size_mb: 每个输出文件的大小(MB)。
"""
file_size_bytes = file_size_mb * 1024 * 1024
with open(input_file, 'r', encoding='utf-8') as infile:
reader = (infile)
file_num = 1
current_file = open(f"{output_prefix}_{file_num}.csv", 'w', newline='', encoding='utf-8')
writer = (current_file)
current_size = 0
for row in reader:
row_str = ",".join(row) + ""
row_size = len(('utf-8'))
if current_size + row_size > file_size_bytes:
()
file_num += 1
current_file = open(f"{output_prefix}_{file_num}.csv", 'w', newline='', encoding='utf-8')
writer = (current_file)
current_size = 0
(row)
current_size += row_size
()
# 示例用法
split_csv_by_size("", "output_size", 10) # 将切割成每个大小约为10MB的文件
```

此方法更能保证每个分割文件大小相对均衡，但需要考虑字符编码的影响，因为不同字符的字节数不同。

三、 使用Pandas切割CSV文件

Pandas 提供了更高级的功能，可以更方便地处理大型CSV文件。它允许我们读取文件的一部分，而不是一次性加载整个文件到内存。 我们可以利用 `chunksize` 参数实现：```python
import pandas as pd
def split_csv_by_pandas(input_file, output_prefix, chunksize):
"""
使用Pandas切割CSV文件。
Args:
input_file: 输入CSV文件的路径。
output_prefix: 输出文件的名称前缀。
chunksize: 每次读取的行数。
"""
for i, chunk in enumerate(pd.read_csv(input_file, chunksize=chunksize)):
chunk.to_csv(f"{output_prefix}_{i+1}.csv", index=False)
# 示例用法
split_csv_by_pandas("", "output_pandas", 10000) # 将切割成每个包含10000行的文件
```

Pandas 方法利用了其高效的数据结构和读取机制，通常比直接使用 `csv` 模块更高效，特别是对于大型文件。

四、 合并切割后的CSV文件

切割后的CSV文件需要合并才能恢复原始数据。可以使用以下代码：```python
import glob
import csv
def merge_csv_files(input_pattern, output_file):
"""
合并多个CSV文件。
Args:
input_pattern: 输入文件的glob模式。
output_file: 输出文件的路径。
"""
with open(output_file, 'w', newline='', encoding='utf-8') as outfile:
writer = (outfile)
for filename in (input_pattern):
with open(filename, 'r', encoding='utf-8') as infile:
reader = (infile)
# 跳过标题行，如果存在
next(reader, None)
(reader)
# 示例用法
merge_csv_files("output_*.csv", "") # 合并所有名为output_*.csv的文件
```

五、 总结

本文介绍了多种使用Python切割和合并大型CSV文件的方法。选择哪种方法取决于文件大小、数据量和处理需求。 对于极大型文件，Pandas方法通常更有效率。 记住在处理大型文件时，始终注意内存管理，并根据实际情况选择合适的切割策略。 合理的切割和合并策略能够显著提高数据处理效率，避免程序崩溃，提升工作效率。

2025-05-31

上一篇：Abaqus Python: Efficiently Reading and Processing Data Files

下一篇：Python中的`cmp`函数：历史、替代方案以及现代比较方法