Python 数据分组利器：groupby 函数详解及应用244

在数据分析和处理过程中，经常需要对数据进行分组，以便进行统计分析、计算聚合值或进行更细致的处理。Python 的 `pandas` 库提供了一个强大的函数 `groupby()`，可以轻松实现数据的分组操作。本文将详细讲解 `groupby()` 函数的用法，并结合丰富的示例，帮助你掌握这一重要的数据处理技巧。

1. `groupby()` 函数的基本用法

`groupby()` 函数的核心思想是根据指定的键将数据分成不同的组。这个键可以是一个列名、一个列表、或者一个函数。最简单的用法是根据单个列进行分组：```python
import pandas as pd
data = {'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Eve'],
'Age': [25, 30, 22, 28, 27],
'City': ['New York', 'London', 'Paris', 'Tokyo', 'London']}
df = (data)
grouped = ('City')
# 查看分组后的结果
print()
# Output:
# {'London': [1, 4], 'New York': [0], 'Paris': [2], 'Tokyo': [3]}
# 访问特定组
london_group = grouped.get_group('London')
print(london_group)
```

这段代码首先创建一个 `pandas` DataFrame，然后使用 `groupby('City')` 根据 'City' 列进行分组。 `` 显示了每个城市对应的行索引。 `get_group()` 方法可以访问特定组的数据。

2. 根据多个列进行分组

你可以根据多个列进行分组，这将创建更细粒度的分组。```python
grouped_multiple = (['City', 'Age'])
print()
```

这段代码根据 'City' 和 'Age' 两列进行分组，结果将包含每个城市和年龄组合对应的行。

3. 使用函数进行分组

`groupby()` 还可以接受一个函数作为键，这个函数将应用于每一行数据，返回分组的键值。```python
def age_group(age):
if age < 25:
return 'Young'
elif age < 30:
return 'Adult'
else:
return 'Senior'
grouped_func = (lambda x: age_group(x['Age']))
print()
```

这段代码定义了一个函数 `age_group`，根据年龄将数据分成 'Young'、'Adult' 和 'Senior' 三组。

4. 分组后的聚合操作

`groupby()` 的强大之处在于它可以与聚合函数结合使用，计算每个组的统计量。常见的聚合函数包括 `sum()`、`mean()`、`count()`、`max()`、`min()`、`std()` 等。```python
# 计算每个城市的年龄平均值
print(grouped['Age'].mean())
# 计算每个城市的人数
print(())
# 计算每个年龄段的人数
print(())
```

这些代码演示了如何计算每个城市年龄的平均值、每个城市的人数以及每个年龄段的人数。

5. 更高级的用法：`agg()` 函数

`agg()` 函数允许你对分组后的数据应用多个聚合函数。```python
aggregated = grouped['Age'].agg(['mean', 'max', 'min', 'count'])
print(aggregated)
```

这段代码计算了每个城市的年龄平均值、最大值、最小值和人数。

6. 处理空值

在处理包含空值的数据时，需要特别注意。 `groupby()` 会忽略包含空值的行，除非你使用 `dropna()` 方法进行预处理。```python
df_with_nan = ({'A': [1, 2, , 4], 'B': [5, 6, 7, 8]})
print(('A').sum()) # NaN 行被忽略
print(().groupby('A').sum()) # NaN 行被移除后进行分组
```

7. 性能优化

对于大型数据集，`groupby()` 的性能至关重要。一些优化技巧包括：使用合适的索引、避免不必要的计算、以及选择合适的聚合函数。在处理极大数据集时，可以考虑使用 `dask` 或 `vaex` 等库进行并行计算。

总结

`pandas` 的 `groupby()` 函数是数据处理中一个非常强大的工具，可以方便地进行数据分组和聚合操作。通过灵活运用分组键、聚合函数以及其他相关方法，你可以高效地处理各种数据分析任务。本文仅介绍了 `groupby()` 的一些基本用法和常见应用，更深入的用法需要结合实际应用进行探索。希望本文能够帮助你更好地理解和使用 `groupby()` 函数。

2025-05-25

上一篇：Python高效修改VBA代码：自动化与提升

下一篇：Python数据库查找：高效数据检索的全面指南