第 3 章 数据清洗#
这一章要解决什么#
如果你认真做过 Excel 清洗,就知道真实的数据从来不是干净的。你拿到的表通常长这样:
- 有些单元格是空的(Excel 里显示一片灰);
- 同一笔订单被录了两遍;
- 列名带着前后空格,或者是英文缩写;
- 金额列里混着
"1,299"、"未知"这种字符串; - 日期列是字符串
"2024/03/02",没法按月分组。
这些问题的共同点是:它们不会让程序报错,只会让你的分析结果算错。 这才是真正危险的地方。
这一章教你 Pandas 里清洗数据的标准四步:
先体检——用
info()/isna()摸清问题;处理缺失值——填充还是删除,按业务判断;
处理重复和异常——删重复、改错值;
规整类型和列名——把字符串变成能算的数字和日期。
章节导航#
第 3.1 节 核心知识点——缺失值、重复值、重命名、替换、类型转换,每项都有「先看问题、再动手改」的完整流程。
第 3.2 节 编程练习——5 道动手题,模拟一次真实的「把脏报表洗干净」的过程。
第 3.3 节 常见问题——10 个高频疑问,比如「为什么
count()少了一行」「该用均值还是中位数填充」。
预备知识#
知道第 2 章的布尔索引:
df[df["销量"] >= 3];知道
df.copy()能复制一张表;知道 Python 的字典
{旧名: 新名}长什么样。
本章最重要的一条原则 清洗前先看清问题,清洗后检查结果。 每改一步就打印一下
len(df)或df.head(),确认改动符合预期。 不检查的清洗,等于把错误藏得更深。
本章内容
第3.1节 核心知识点(40分钟)
本文是 Pandas 数据分析实战课程第 3 章第 1 节,系统讲解 Pandas 数据清洗的 5 个核心操作:用 isna/fillna/dropna 处理缺失值、用 drop_duplicates 删除重复数据、用 rename 批量重 …
第3.2节 编程练习(45分钟)
本文是 Pandas 数据分析实战课程第 3 章第 2 节,提供 5 道编程练习:检测缺失值并用指定值填充、删除重复行并保留首次出现的记录、批量修改列名、把指定异常值替换为合理值、把字符串列转换成数值或日期类型。每道题都配有提示和折叠的参考 …
第3.3节 常见问题(30分钟)
本文是 Pandas 数据分析实战课程第 3 章第 3 节,汇总了初学者在 Pandas 数据清洗时最常遇到的 10 个问题并逐一解答,涵盖缺失值统计、isna 与 notna 的区别、均值中位数填充、dropna 与 fillna 的适用 …