Python DataFrame高效数据添加与合并技巧320

在Python数据分析中，Pandas库的DataFrame是核心数据结构，它类似于表格，方便我们进行数据操作。然而，在实际应用中，我们经常需要向已有的DataFrame中添加数据，这涉及到多种情况和技巧，需要根据具体情况选择最有效率的方法。本文将详细讲解几种Python DataFrame加入数据的常用方法，并比较其性能差异，帮助你选择最适合你场景的技术。

1. 使用`append()`方法（已弃用，建议使用`concat()`）

过去，append()方法是向DataFrame添加行数据的常用方法。然而，由于其效率问题和潜在的内存消耗，Pandas官方已将其标记为弃用，建议使用concat()方法替代。append()方法的语法相对简单，但它会创建新的DataFrame对象，对于大型数据集，效率低下。以下是一个例子：```python
import pandas as pd
df = ({'A': [1, 2, 3], 'B': [4, 5, 6]})
new_row = ({'A': [4], 'B': [7]})
# Deprecated method - avoid using this
# df = (new_row, ignore_index=True) # ignore_index=True重置索引
print(df)
```

2. 使用`concat()`方法

concat()方法是Pandas推荐的合并DataFrame的函数，它可以高效地连接多个DataFrame，包括添加新的行或列。它比append()更高效，因为它可以一次性处理多个DataFrame，避免了多次创建新对象的开销。以下是如何使用concat()添加一行：```python
import pandas as pd
df = ({'A': [1, 2, 3], 'B': [4, 5, 6]})
new_row = ({'A': [4], 'B': [7]})
df = ([df, new_row], ignore_index=True)
print(df)
```

添加多行时，只需要将new_row改为包含多行的DataFrame即可。

3. 使用`loc`和`iloc`方法添加行

loc和iloc方法可以基于标签或索引访问和修改DataFrame中的数据。我们可以利用它们来添加新的行。loc使用标签，iloc使用索引。以下例子演示了使用loc添加一行：```python
import pandas as pd
df = ({'A': [1, 2, 3], 'B': [4, 5, 6]})
[len(df)] = [4, 7] # 添加到最后一行
print(df)
#使用iloc
[len(df)]=[5,8]
print(df)
```

需要注意的是，使用loc或iloc添加行时，索引需要正确管理，否则可能会出现索引重复或缺失的情况。

4. 添加新列

添加新列比添加新行更简单，可以直接赋值。可以使用字典或者列表来赋值，长度需要与现有DataFrame的行数一致：```python
import pandas as pd
df = ({'A': [1, 2, 3], 'B': [4, 5, 6]})
df['C'] = [7, 8, 9] # 使用列表
df['D'] = {'A': 10, 'B': 11, 'C':12} #使用字典
print(df)
```

5. 从其他数据源添加数据

除了手动添加数据外，我们还可以从其他数据源（如CSV文件、数据库、API）读取数据并添加到现有的DataFrame中。例如，从CSV文件读取数据：```python
import pandas as pd
df = ({'A': [1, 2, 3], 'B': [4, 5, 6]})
new_data = pd.read_csv("") # 假设存在
df = ([df, new_data], ignore_index=True)
print(df)
```

记住替换`""`为你的实际文件路径。

6. 性能比较

对于大型数据集，concat()方法通常比append()方法更高效。 loc和iloc在添加少量行时效率较高，但对于大量数据添加，concat()依然更优。选择合适的方法取决于你的数据量和添加数据的频率。对于大规模数据处理，考虑使用更高效的向量化操作，避免循环。

总结

本文介绍了多种向Python DataFrame中添加数据的常用方法，包括concat()、loc、iloc以及从外部数据源读取数据的方法。选择哪种方法取决于你的具体需求和数据集的大小。记住，concat()是目前推荐的添加行数据的方法，而直接赋值是添加列数据的最佳方式。在处理大量数据时，务必关注性能，选择最有效率的方法来避免不必要的计算开销。

2025-05-06

上一篇：Python文件路径处理：从基础到高级技巧

下一篇：Python高效去除字符串引号的多种方法及性能比较