第 3 章：数据清洗（Data Cleaning） on 跟我学机器学习

Pandas 数据清洗详解：缺失值、重复数据、列名重命名与数据类型转换 | Pandas 数据分析实战

Sat, 24 Oct 2026 22:30:00 +0800

第 3.1 节核心知识点#

预计学习时长： 40 分钟

本节目标：

会先体检再动手，知道一张表缺了多少值、缺在哪；

会用 fillna() 填充、dropna() 删除缺失行；

会删重复行，能指定按哪几列判断重复；

会批量重命名列名；

会用 replace() 改掉异常取值；

会用 astype() / to_numeric() / to_datetime() 转类型，并且知道转失败了怎么办。

本课程使用的 Pandas 版本是 '3.1.0'

脏数据并不会报错#

面对一份脏数据 Pandas 并不会抛异常，最终它只会给你一个错的结果。如果你一开始没有认真检查数据，那么最终可能会带来不小的差错。

比如「金额」这一列里有一格是字符串 "未知"：

import pandas as pd

data = {
 "订单号": [1001, 1002, 1003, 1004, 1005, 1006, 1007, 1008],
 "下单日期": ["2024-01-05", "2024-01-08", "2024-01-12", "2024-02-03",
 "2024-02-15", "2024-03-02", "2024-03-20", "2024-04-08"],
 "城市": ["北京", "上海", "北京", "广州", "上海", "北京", "深圳", "广州"],
 "商品": ["手机", "电脑", "耳机", "手机", "键盘", "显示器", "耳机", "手机"],
 "销量": [2, 1, 3, 2, 5, 1, 4, 2],
 "单价": [3999.0, 7999.0, 599.0, 3999.0, 299.0, 1299.0, 599.0, 3999.0],
 "金额": [7998.0, 7999.0, 1797.0, 7998.0, 1495.0, 1299.0, 2396.0, 7998.0],
 "客户评分": [4.5, 4.0, 4.8, 3.9, 4.2, 4.6, 4.1, 4.9],
}
df = pd.DataFrame(data)

这一章我们造一张脏表来练手：

dirty = df.copy()
dirty.loc[1, "金额"] = None # 第 2 行的金额缺失
dirty.loc[5, "客户评分"] = None # 第 6 行的评分缺失
dirty.loc[2, "商品"] = "未知" # 第 3 行的商品是脏值
dirty = pd.concat([dirty, dirty.iloc[[0]]], ignore_index=False) # 重复录了一条
print(dirty)

 订单号 下单日期 城市 商品 销量 单价 金额 客户评分
0 1001 2024-01-05 北京 手机 2 3999.0 7998.0 4.5
1 1002 2024-01-08 上海 电脑 1 7999.0 NaN 4.0
2 1003 2024-01-12 北京 未知 3 599.0 1797.0 4.8
3 1004 2024-02-03 广州 手机 2 3999.0 7998.0 3.9
4 1005 2024-02-15 上海 键盘 5 299.0 1495.0 4.2
5 1006 2024-03-02 北京 显示器 1 1299.0 1299.0 NaN
6 1007 2024-03-20 深圳 耳机 4 599.0 2396.0 4.1
7 1008 2024-04-08 广州 手机 2 3999.0 7998.0 4.9
0 1001 2024-01-05 北京 手机 2 3999.0 7998.0 4.5

注意最后一行：索引又是 0 了，因为 ignore_index=False 让 Pandas 重新排了号。如果 ignore_index=True 则索引将会变成 8

Pandas 编程练习：5 道动手题学会数据清洗（缺失值、去重、改列名、替换、类型转换） | Pandas 数据分析实战

Sat, 24 Oct 2026 22:30:00 +0800

第 3.2 节编程练习#

预计学习时长： 45 分钟

练习方式： 新建一个 Jupyter Notebook，抄好准备代码，然后每题独立完成。这 5 题建议连着做，因为它们合起来就是一次完整的清洗流程。

本课程使用的 Pandas 版本是 '3.1.0'

先准备造一张脏表#

import pandas as pd
import numpy as np

data = {
 "订单号": [1001, 1002, 1003, 1004, 1005, 1006, 1007, 1008],
 "下单日期": ["2024-01-05", "2024-01-08", "2024-01-12", "2024-02-03",
 "2024-02-15", "2024-03-02", "2024-03-20", "2024-04-08"],
 "城市": ["北京", "上海", "北京", "广州", "上海", "北京", "深圳", "广州"],
 "商品": ["手机", "电脑", "耳机", "手机", "键盘", "显示器", "耳机", "手机"],
 "销量": [2, 1, 3, 2, 5, 1, 4, 2],
 "单价": [3999.0, 7999.0, 599.0, 3999.0, 299.0, 1299.0, 599.0, 3999.0],
 "金额": [7998.0, 7999.0, 1797.0, 7998.0, 1495.0, 1299.0, 2396.0, 7998.0],
 "客户评分": [4.5, 4.0, 4.8, 3.9, 4.2, 4.6, 4.1, 4.9],
}
df = pd.DataFrame(data)

# 造一张有问题的表
dirty = df.copy()
dirty.loc[1, "金额"] = np.nan # 金额缺失
dirty.loc[5, "客户评分"] = np.nan # 评分缺失
dirty.loc[2, "商品"] = "未知" # 异常取值
dirty = pd.concat([dirty, dirty.iloc[[0]]], ignore_index=True) # 重复了一行

练习 1：检测缺失值并使用指定值填充#

题目： 完成下面 5 个步骤：

Pandas 常见问题答疑：10 个数据清洗必踩的坑（缺失值、去重、改列名、类型转换） | Pandas 数据分析实战

Sat, 24 Oct 2026 22:30:00 +0800

第 3.3 节常见问题#

这一节收集了初学者在「洗数据」环节最常卡的 10 个问题。每个问题都给出直接答案，能跑代码的都附上完整示例。

怎么用这一节 不用通读。清洗时遇到问题用 Ctrl+F 搜关键词，直接跳到对应那条。

准备一下数据，下面每题都会用到：

import pandas as pd
import numpy as np

data = {
 "订单号": [1001, 1002, 1003, 1004, 1005, 1006, 1007, 1008],
 "下单日期": ["2024-01-05", "2024-01-08", "2024-01-12", "2024-02-03",
 "2024-02-15", "2024-03-02", "2024-03-20", "2024-04-08"],
 "城市": ["北京", "上海", "北京", "广州", "上海", "北京", "深圳", "广州"],
 "商品": ["手机", "电脑", "耳机", "手机", "键盘", "显示器", "耳机", "手机"],
 "销量": [2, 1, 3, 2, 5, 1, 4, 2],
 "单价": [3999.0, 7999.0, 599.0, 3999.0, 299.0, 1299.0, 599.0, 3999.0],
 "金额": [7998.0, 7999.0, 1797.0, 7998.0, 1495.0, 1299.0, 2396.0, 7998.0],
 "客户评分": [4.5, 4.0, 4.8, 3.9, 4.2, 4.6, 4.1, 4.9],
}
df = pd.DataFrame(data)

dirty = df.copy()
dirty.loc[1, "金额"] = np.nan
dirty.loc[5, "客户评分"] = np.nan
dirty = pd.concat([dirty, dirty.iloc[[0]]], ignore_index=True)

Q1：如何统计每列的缺失值数量？#

答： isna().sum()。

print(dirty.isna().sum())

订单号 0
下单日期 0
城市 0
商品 0
销量 0
单价 0
金额 1
客户评分 1
dtype: int64

几个常见的衍生问法：

dirty.isna().sum().sum() # 整张表一共缺几个：2
dirty.isna().any() # 每一列有没有缺失（返回布尔 Series）
dirty.isna().any().any() # 整张表有没有缺失：True
dirty.isna().all() # 每一列是不是全空（返回布尔 Series）

算缺失比例（做数据质量报告时常用）：

第 3 章：数据清洗（Data Cleaning） on 跟我学机器学习

Pandas 数据清洗详解：缺失值、重复数据、列名重命名与数据类型转换 | Pandas 数据分析实战

第 3.1 节 核心知识点#

脏数据并不会报错#

Pandas 编程练习：5 道动手题学会数据清洗（缺失值、去重、改列名、替换、类型转换） | Pandas 数据分析实战

第 3.2 节 编程练习#

先准备造一张脏表#

练习 1：检测缺失值并使用指定值填充#

Pandas 常见问题答疑：10 个数据清洗必踩的坑（缺失值、去重、改列名、类型转换） | Pandas 数据分析实战

第 3.3 节 常见问题#

Q1：如何统计每列的缺失值数量？#

第 3.1 节核心知识点#

第 3.2 节编程练习#

第 3.3 节常见问题#