首页 › Pandas 数据分析 › 合并与连接数据

合并与连接数据

实际分析中,数据经常分散在多个表里,需要把它们合并起来。Pandas 提供了 concat 和 merge 两种主要方式。

concat:上下拼接

结构相同的多张表(例如每月一个文件)可以直接拼接:

import pandas as pd

jan = pd.DataFrame({"商品": ["键盘", "鼠标"], "销量": [30, 120]})
feb = pd.DataFrame({"商品": ["键盘", "耳机"], "销量": [45, 60]})

all_months = pd.concat([jan, feb], keys=["1月", "2月"])
print(all_months)
print(pd.concat([jan, feb], ignore_index=True))

merge:按键关联

类似 SQL 的 JOIN,根据共同的列把两张表连接起来:

orders = pd.DataFrame({
    "订单号": [1001, 1002, 1003, 1004],
    "用户ID": [1, 2, 1, 3],
    "金额": [99, 258, 45, 120],
})
users = pd.DataFrame({
    "用户ID": [1, 2, 4],
    "姓名": ["张三", "李四", "赵六"],
})

print(pd.merge(orders, users, on="用户ID"))                 # 内连接
print(pd.merge(orders, users, on="用户ID", how="left"))     # 左连接

连接方式

how说明
inner只保留两边都有的键(默认)
left保留左表全部行,右表没有的填 NaN
right保留右表全部行
outer保留两边全部行

列名不同时

pd.merge(orders, users.rename(columns={"用户ID": "uid"}),
         left_on="用户ID", right_on="uid")

检查合并结果

合并后行数异常增多,通常是因为键有重复。可以用 validate 参数提前检查:

pd.merge(orders, users, on="用户ID", how="left", validate="many_to_one")

indicator=True 会增加一列 _merge,标明每行来自哪一边,便于排查没匹配上的数据:

m = pd.merge(orders, users, on="用户ID", how="outer", indicator=True)
print(m[m["_merge"] != "both"])

完整示例:订单统计

result = (
    pd.merge(orders, users, on="用户ID", how="left")
      .fillna({"姓名": "未知用户"})
      .groupby("姓名", as_index=False)["金额"].sum()
      .sort_values("金额", ascending=False)
)
print(result)

练习题

学完本节后,试着独立完成下面的练习,再展开参考答案对照。

练习 1 把订单表和商品表按商品 ID 左连接,计算每笔订单的金额。

查看参考答案
import pandas as pd
orders = pd.DataFrame({"商品ID": [1, 2, 1, 3], "数量": [2, 1, 5, 3]})
goods = pd.DataFrame({"商品ID": [1, 2, 3], "单价": [10.0, 25.5, 8.0]})
m = orders.merge(goods, on="商品ID", how="left")
m["金额"] = m["数量"] * m["单价"]
print(m.to_string(index=False))
参考输出:
 商品ID  数量   单价   金额
    1   2 10.0 20.0
    2   1 25.5 25.5
    1   5 10.0 50.0
    3   3  8.0 24.0