第 5.3 节 综合实践:处理真实数据#
预计学习时长: 35 分钟
本节目标:
- 认识 CSV 文件长什么样,知道它和普通文本文件的区别;
- 会用
csv模块的reader和writer读写 CSV;- 会按表头把每一行读成字典;
- 完整走通「读 CSV → 清洗 → 统计 → 写报告」这条流水线。
CSV:表格的通用文本格式#
CSV(Comma-Separated Values)就是用逗号分隔的表格,每个文件本质上是纯文本:
name,age,score
小明,18,92
小红,17,78第一行通常是表头,说明每一列是什么。CSV 的价值在于:Excel、NumPy、Pandas、scikit-learn 全都能读它,是数据交换的事实标准。
Case 43:读取 CSV 格式的学生成绩——认识结构化数据文件#
任务: 读取 students.csv,把每一行读成一个字典。
students.csv 的内容:
name,age,score
小明,18,92
小红,17,78
小刚,18,
小丽,16,88读取代码:
import csv
def read_students(path):
"""读取 CSV 文件,返回字典组成的列表。"""
students = []
with open(path, "r", encoding="utf-8", newline="") as f:
reader = csv.DictReader(f)
for row in reader:
students.append(row)
return students
students = read_students("students.csv")
print("读取到", len(students), "条记录")
for student in students:
print(student)输出:
读取到 4 条记录
{'name': '小明', 'age': '18', 'score': '92'}
{'name': '小红', 'age': '17', 'score': '78'}
{'name': '小刚', 'age': '18', 'score': ''}
{'name': '小丽', 'age': '16', 'score': '88'}关键点
csv.DictReader自动把第一行当表头,之后每一行变成一个字典:row["name"]、row["score"]。这是最常用、最省事的写法;newline=""是官方文档明确要求的参数。少了它,Windows 上可能出现空行;- 所有值都是字符串,连数字也是。
row["score"]拿到的是'92'不是92,要用的时候记得转换; - 小刚那一行
score是空字符串''——这就是「缺失值」,下一节专门处理它。
也可以手动读表头
with open("students.csv", encoding="utf-8", newline="") as f: reader = csv.reader(f) header = next(reader) # 取走表头 for row in reader: student = dict(zip(header, row))
next(reader)用来读取第一行。了解这个写法有好处——处理「表头不在第一行」的文件时就会用到。
Case 44:清洗缺失成绩——处理空值和异常数据#
任务: 把 students.csv 里的数据清洗干净:处理缺失成绩、去掉明显不合理的分数。
import csv
def read_students(path):
students = []
with open(path, "r", encoding="utf-8", newline="") as f:
reader = csv.DictReader(f)
for row in reader:
students.append(row)
return students
def clean_students(rows):
"""清洗数据,返回 (干净数据, 问题清单)。"""
clean = []
issues = []
for index, row in enumerate(rows, start=2): # 从 2 开始:第 1 行是表头
name = (row.get("name") or "").strip()
raw_score = (row.get("score") or "").strip()
if not name:
issues.append(f"第 {index} 行:姓名为空,已跳过")
continue
if not raw_score:
issues.append(f"第 {index} 行({name}):成绩缺失,已跳过")
continue
try:
score = float(raw_score)
except ValueError:
issues.append(f"第 {index} 行({name}):成绩 {raw_score!r} 不是数字,已跳过")
continue
if not 0 <= score <= 100:
issues.append(f"第 {index} 行({name}):成绩 {score} 超出 0-100,已跳过")
continue
clean.append({"name": name, "score": score})
return clean, issues
rows = read_students("students.csv")
clean, issues = clean_students(rows)
print("清洗后有效数据:", clean)
print("有效数量:", len(clean))
print("发现的问题:")
for issue in issues:
print(" -", issue)输出:
清洗后有效数据: [{'name': '小明', 'score': 92.0}, {'name': '小红', 'score': 78.0}, {'name': '小丽', 'score': 88.0}]
有效数量: 3
发现的问题:
- 第 4 行(小刚):成绩缺失,已跳过关键点
(row.get("score") or "")是处理空值的实用写法。row.get("score")在键不存在时返回None,None or ""得到空字符串,后面.strip()就一定安全;- 清洗函数同时返回「结果」和「问题清单」。只返回结果的话,你不知道丢了多少数据、为什么丢;
- 行号从 2 开始数,因为第 1 行是表头。这样报错信息能直接对应编辑器里的行号;
- 校验的顺序有讲究:先查有没有、再查是不是数字、最后查范围。这样报错信息最贴近真正的原因。
真实数据里的「缺失」不止一种
表现 例子 处理 空字符串 ""判空后跳过或填充 空格 " "先 strip()文字 "缺考"转换失败后跳过 特殊标记 "NA"、"-"显式列出这些标记 Pandas 里这些会统一变成
NaN,但用标准库时你得自己定义规则。先和业务方确认「哪些值算缺失」,比自己猜靠谱得多。
Case 45:生成成绩分析报告——完成数据读取、统计和结果保存#
任务: 把上面两步拼起来,读取 CSV、清洗、统计,最后把报告写成 CSV 和文本两种格式。
import csv
def read_students(path):
students = []
with open(path, "r", encoding="utf-8", newline="") as f:
for row in csv.DictReader(f):
students.append(row)
return students
def clean_students(rows):
clean, issues = [], []
for index, row in enumerate(rows, start=2):
name = (row.get("name") or "").strip()
raw_score = (row.get("score") or "").strip()
if not name or not raw_score:
issues.append(f"第 {index} 行:关键字段缺失,已跳过")
continue
try:
score = float(raw_score)
except ValueError:
issues.append(f"第 {index} 行({name}):成绩不是数字,已跳过")
continue
if not 0 <= score <= 100:
issues.append(f"第 {index} 行({name}):成绩超出范围,已跳过")
continue
clean.append({"name": name, "score": score})
return clean, issues
def to_grade(score):
if score >= 90:
return "A"
elif score >= 80:
return "B"
elif score >= 60:
return "C"
return "D"
def analyze(clean):
counts = {"A": 0, "B": 0, "C": 0, "D": 0}
for student in clean:
counts[to_grade(student["score"])] += 1
scores = [student["score"] for student in clean]
return {
"total": len(clean),
"average": sum(scores) / len(scores) if scores else 0,
"highest": max(scores) if scores else 0,
"lowest": min(scores) if scores else 0,
"counts": counts,
}
def write_summary_csv(path, clean):
"""把清洗后的明细写成 CSV。"""
with open(path, "w", encoding="utf-8", newline="") as f:
writer = csv.writer(f)
writer.writerow(["name", "score", "grade"])
for student in clean:
writer.writerow([student["name"], student["score"], to_grade(student["score"])])
def write_report(path, stats, issues):
"""把统计报告写成文本。"""
lines = [
"成绩分析报告",
"=" * 24,
f"有效人数:{stats['total']}",
f"平均分:{stats['average']:.2f}",
f"最高分:{stats['highest']}",
f"最低分:{stats['lowest']}",
"",
"等级分布:",
]
for grade in ["A", "B", "C", "D"]:
lines.append(f" {grade}:{stats['counts'][grade]} 人")
lines.append("")
lines.append(f"跳过 {len(issues)} 条异常数据")
for issue in issues:
lines.append(f" - {issue}")
with open(path, "w", encoding="utf-8") as f:
for line in lines:
f.write(line + "\n")
rows = read_students("students.csv")
clean, issues = clean_students(rows)
stats = analyze(clean)
write_summary_csv("summary.csv", clean)
write_report("report.txt", stats, issues)
print(f"有效 {stats['total']} 人,平均分 {stats['average']:.2f},跳过 {len(issues)} 条")
print("已生成 summary.csv 和 report.txt")输出:
有效 3 人,平均分 86.00,跳过 1 条
已生成 summary.csv 和 report.txt生成的 summary.csv:
name,score,grade
小明,92.0,A
小红,78.0,C
小丽,88.0,B生成的 report.txt:
成绩分析报告
========================
有效人数: 3
平均分: 86.00
最高分: 92
最低分: 78
等级分布:
A:1 人
B:1 人
C:1 人
D:0 人
跳过 1 条异常数据
- 第 4 行(小刚):成绩缺失,已跳过关键点
csv.writer和csv.DictReader是一对。写的时候用writer.writerow([...]),一行一个列表;写表头也是一行writerow;- 写 CSV 必须加
newline="",否则 Windows 上每行之间会多出一个空行; - 这段代码的结构非常清晰:四个函数各管一段,
main流程只做编排。这正是第 4 章说的「分层」; - 明细存 CSV,报告存 TXT,是两种不同的产物:明细给机器继续处理,报告给人看。
这就是一份最小可用的数据处理流水线
students.csv ──读──▶ 原始字典列表 ──清洗──▶ 干净数据 ──统计──▶ 结果 │ └──▶ 问题清单 ──▶ 写进报告换成 NumPy、Pandas 只是把「读、清洗、统计」换成更省事的写法,这个流程本身不会变。 学完第 6 章,再看 Pandas 基础入门课程,你会发现 Pandas 版的
read_csv和dropna干的就是上面这些事。
本节小结#
| 操作 | 写法 |
|---|---|
| 读 CSV | csv.DictReader(f) |
| 写 CSV | csv.writer(f) + writerow([...]) |
| 表头 | DictReader 自动处理 |
| 取值 | row["name"](都是字符串) |
三条核心规矩:CSV 的值全是字符串、newline="" 不能省、清洗结果和问题清单要一起交付。
随堂练习#
- 给上面的程序加上「写回清洗后的 CSV」的逻辑,把
students.csv清洗成clean.csv; - 在报告里增加「及格人数」和「及格率」两项;
- 把
clean_students拆成两个函数:parse_score(text)和is_valid(row),体会一下「单一职责」的拆分方式。
点击查看参考答案
# 练习 1
import csv
with open("clean.csv", "w", encoding="utf-8", newline="") as f:
writer = csv.writer(f)
writer.writerow(["name", "score"])
for student in clean:
writer.writerow([student["name"], student["score"]])
# 练习 2
passed = sum(1 for s in clean if s["score"] >= 60)
rate = passed / len(clean) * 100 if clean else 0
extra_lines = [f"及格人数:{passed}", f"及格率:{rate:.1f}%"]
for line in extra_lines:
print(line)
# 练习 3
def parse_score(text):
"""把文本转成分数,失败返回 None。"""
try:
return float(text)
except ValueError:
return None
def is_valid(row):
"""判断一行数据是否可用。"""
name = (row.get("name") or "").strip()
raw = (row.get("score") or "").strip()
if not name or not raw:
return False
score = parse_score(raw)
return score is not None and 0 <= score <= 100练习 3 拆完之后,clean_students 的主循环就只剩下「判断 → 分流」两件事,可读性明显提升。
下一章预告 前五章你已经能写出完整的 Python 程序了。但程序越写越长,变量和函数会互相打架。下一章我们学面向对象——用类把数据和操作它的逻辑打包在一起。