首页 › Pandas 数据分析 › 合并与连接数据
合并与连接数据
实际分析中,数据经常分散在多个表里,需要把它们合并起来。Pandas 提供了 concat 和 merge 两种主要方式。
concat:上下拼接
结构相同的多张表(例如每月一个文件)可以直接拼接:
import pandas as pd
jan = pd.DataFrame({"商品": ["键盘", "鼠标"], "销量": [30, 120]})
feb = pd.DataFrame({"商品": ["键盘", "耳机"], "销量": [45, 60]})
all_months = pd.concat([jan, feb], keys=["1月", "2月"])
print(all_months)
print(pd.concat([jan, feb], ignore_index=True))
merge:按键关联
类似 SQL 的 JOIN,根据共同的列把两张表连接起来:
orders = pd.DataFrame({
"订单号": [1001, 1002, 1003, 1004],
"用户ID": [1, 2, 1, 3],
"金额": [99, 258, 45, 120],
})
users = pd.DataFrame({
"用户ID": [1, 2, 4],
"姓名": ["张三", "李四", "赵六"],
})
print(pd.merge(orders, users, on="用户ID")) # 内连接
print(pd.merge(orders, users, on="用户ID", how="left")) # 左连接
连接方式
| how | 说明 |
|---|---|
inner | 只保留两边都有的键(默认) |
left | 保留左表全部行,右表没有的填 NaN |
right | 保留右表全部行 |
outer | 保留两边全部行 |
列名不同时
pd.merge(orders, users.rename(columns={"用户ID": "uid"}),
left_on="用户ID", right_on="uid")
检查合并结果
合并后行数异常增多,通常是因为键有重复。可以用 validate 参数提前检查:
pd.merge(orders, users, on="用户ID", how="left", validate="many_to_one")
indicator=True 会增加一列 _merge,标明每行来自哪一边,便于排查没匹配上的数据:
m = pd.merge(orders, users, on="用户ID", how="outer", indicator=True)
print(m[m["_merge"] != "both"])
完整示例:订单统计
result = (
pd.merge(orders, users, on="用户ID", how="left")
.fillna({"姓名": "未知用户"})
.groupby("姓名", as_index=False)["金额"].sum()
.sort_values("金额", ascending=False)
)
print(result)练习题
学完本节后,试着独立完成下面的练习,再展开参考答案对照。
练习 1 把订单表和商品表按商品 ID 左连接,计算每笔订单的金额。
查看参考答案
import pandas as pd
orders = pd.DataFrame({"商品ID": [1, 2, 1, 3], "数量": [2, 1, 5, 3]})
goods = pd.DataFrame({"商品ID": [1, 2, 3], "单价": [10.0, 25.5, 8.0]})
m = orders.merge(goods, on="商品ID", how="left")
m["金额"] = m["数量"] * m["单价"]
print(m.to_string(index=False))参考输出:
商品ID 数量 单价 金额
1 2 10.0 20.0
2 1 25.5 25.5
1 5 10.0 50.0
3 3 8.0 24.0