返回首页

Roadmap
更新于 2026年11月14日 全文 1135 字未阅读

第 5.3 节 综合实践:处理真实数据#

预计学习时长: 35 分钟

本节目标:

  • 认识 CSV 文件长什么样,知道它和普通文本文件的区别;
  • 会用 csv 模块的 reader 和 writer 读写 CSV;
  • 会按表头把每一行读成字典;
  • 完整走通「读 CSV → 清洗 → 统计 → 写报告」这条流水线。

CSV:表格的通用文本格式#

CSV(Comma-Separated Values)就是用逗号分隔的表格,每个文件本质上是纯文本:

name,age,score
小明,18,92
小红,17,78

第一行通常是表头,说明每一列是什么。CSV 的价值在于:Excel、NumPy、Pandas、scikit-learn 全都能读它,是数据交换的事实标准。

Case 43:读取 CSV 格式的学生成绩——认识结构化数据文件#

任务: 读取 students.csv,把每一行读成一个字典。

students.csv 的内容:

name,age,score
小明,18,92
小红,17,78
小刚,18,
小丽,16,88

读取代码:

import csv


def read_students(path):
    """读取 CSV 文件,返回字典组成的列表。"""
    students = []
    with open(path, "r", encoding="utf-8", newline="") as f:
        reader = csv.DictReader(f)
        for row in reader:
            students.append(row)
    return students


students = read_students("students.csv")

print("读取到", len(students), "条记录")
for student in students:
    print(student)

输出:

读取到 4 条记录
{'name': '小明', 'age': '18', 'score': '92'}
{'name': '小红', 'age': '17', 'score': '78'}
{'name': '小刚', 'age': '18', 'score': ''}
{'name': '小丽', 'age': '16', 'score': '88'}

关键点

  • csv.DictReader 自动把第一行当表头,之后每一行变成一个字典:row["name"]、row["score"]。这是最常用、最省事的写法;
  • newline="" 是官方文档明确要求的参数。少了它,Windows 上可能出现空行;
  • 所有值都是字符串,连数字也是。row["score"] 拿到的是 '92' 不是 92,要用的时候记得转换;
  • 小刚那一行 score 是空字符串 ''——这就是「缺失值」,下一节专门处理它。

也可以手动读表头

with open("students.csv", encoding="utf-8", newline="") as f:
    reader = csv.reader(f)
    header = next(reader)          # 取走表头
    for row in reader:
        student = dict(zip(header, row))

next(reader) 用来读取第一行。了解这个写法有好处——处理「表头不在第一行」的文件时就会用到。

Case 44:清洗缺失成绩——处理空值和异常数据#

任务: 把 students.csv 里的数据清洗干净:处理缺失成绩、去掉明显不合理的分数。

import csv


def read_students(path):
    students = []
    with open(path, "r", encoding="utf-8", newline="") as f:
        reader = csv.DictReader(f)
        for row in reader:
            students.append(row)
    return students


def clean_students(rows):
    """清洗数据,返回 (干净数据, 问题清单)。"""
    clean = []
    issues = []

    for index, row in enumerate(rows, start=2):   # 从 2 开始:第 1 行是表头
        name = (row.get("name") or "").strip()
        raw_score = (row.get("score") or "").strip()

        if not name:
            issues.append(f"第 {index} 行:姓名为空,已跳过")
            continue

        if not raw_score:
            issues.append(f"第 {index} 行({name}):成绩缺失,已跳过")
            continue

        try:
            score = float(raw_score)
        except ValueError:
            issues.append(f"第 {index} 行({name}):成绩 {raw_score!r} 不是数字,已跳过")
            continue

        if not 0 <= score <= 100:
            issues.append(f"第 {index} 行({name}):成绩 {score} 超出 0-100,已跳过")
            continue

        clean.append({"name": name, "score": score})

    return clean, issues


rows = read_students("students.csv")
clean, issues = clean_students(rows)

print("清洗后有效数据:", clean)
print("有效数量:", len(clean))
print("发现的问题:")
for issue in issues:
    print("  -", issue)

输出:

清洗后有效数据: [{'name': '小明', 'score': 92.0}, {'name': '小红', 'score': 78.0}, {'name': '小丽', 'score': 88.0}]
有效数量: 3
发现的问题:
  - 第 4 行(小刚):成绩缺失,已跳过

关键点

  • (row.get("score") or "") 是处理空值的实用写法。row.get("score") 在键不存在时返回 None,None or "" 得到空字符串,后面 .strip() 就一定安全;
  • 清洗函数同时返回「结果」和「问题清单」。只返回结果的话,你不知道丢了多少数据、为什么丢;
  • 行号从 2 开始数,因为第 1 行是表头。这样报错信息能直接对应编辑器里的行号;
  • 校验的顺序有讲究:先查有没有、再查是不是数字、最后查范围。这样报错信息最贴近真正的原因。

真实数据里的「缺失」不止一种

表现例子处理
空字符串""判空后跳过或填充
空格" "先 strip()
文字"缺考"转换失败后跳过
特殊标记"NA"、"-"显式列出这些标记

Pandas 里这些会统一变成 NaN,但用标准库时你得自己定义规则。先和业务方确认「哪些值算缺失」,比自己猜靠谱得多。

Case 45:生成成绩分析报告——完成数据读取、统计和结果保存#

任务: 把上面两步拼起来,读取 CSV、清洗、统计,最后把报告写成 CSV 和文本两种格式。

import csv


def read_students(path):
    students = []
    with open(path, "r", encoding="utf-8", newline="") as f:
        for row in csv.DictReader(f):
            students.append(row)
    return students


def clean_students(rows):
    clean, issues = [], []
    for index, row in enumerate(rows, start=2):
        name = (row.get("name") or "").strip()
        raw_score = (row.get("score") or "").strip()
        if not name or not raw_score:
            issues.append(f"第 {index} 行:关键字段缺失,已跳过")
            continue
        try:
            score = float(raw_score)
        except ValueError:
            issues.append(f"第 {index} 行({name}):成绩不是数字,已跳过")
            continue
        if not 0 <= score <= 100:
            issues.append(f"第 {index} 行({name}):成绩超出范围,已跳过")
            continue
        clean.append({"name": name, "score": score})
    return clean, issues


def to_grade(score):
    if score >= 90:
        return "A"
    elif score >= 80:
        return "B"
    elif score >= 60:
        return "C"
    return "D"


def analyze(clean):
    counts = {"A": 0, "B": 0, "C": 0, "D": 0}
    for student in clean:
        counts[to_grade(student["score"])] += 1
    scores = [student["score"] for student in clean]
    return {
        "total": len(clean),
        "average": sum(scores) / len(scores) if scores else 0,
        "highest": max(scores) if scores else 0,
        "lowest": min(scores) if scores else 0,
        "counts": counts,
    }


def write_summary_csv(path, clean):
    """把清洗后的明细写成 CSV。"""
    with open(path, "w", encoding="utf-8", newline="") as f:
        writer = csv.writer(f)
        writer.writerow(["name", "score", "grade"])
        for student in clean:
            writer.writerow([student["name"], student["score"], to_grade(student["score"])])


def write_report(path, stats, issues):
    """把统计报告写成文本。"""
    lines = [
        "成绩分析报告",
        "=" * 24,
        f"有效人数:{stats['total']}",
        f"平均分:{stats['average']:.2f}",
        f"最高分:{stats['highest']}",
        f"最低分:{stats['lowest']}",
        "",
        "等级分布:",
    ]
    for grade in ["A", "B", "C", "D"]:
        lines.append(f"  {grade}:{stats['counts'][grade]} 人")
    lines.append("")
    lines.append(f"跳过 {len(issues)} 条异常数据")
    for issue in issues:
        lines.append(f"  - {issue}")

    with open(path, "w", encoding="utf-8") as f:
        for line in lines:
            f.write(line + "\n")


rows = read_students("students.csv")
clean, issues = clean_students(rows)
stats = analyze(clean)

write_summary_csv("summary.csv", clean)
write_report("report.txt", stats, issues)

print(f"有效 {stats['total']} 人,平均分 {stats['average']:.2f},跳过 {len(issues)} 条")
print("已生成 summary.csv 和 report.txt")

输出:

有效 3 人,平均分 86.00,跳过 1 条
已生成 summary.csv 和 report.txt

生成的 summary.csv:

name,score,grade
小明,92.0,A
小红,78.0,C
小丽,88.0,B

生成的 report.txt:

成绩分析报告
========================
有效人数: 3
平均分: 86.00
最高分: 92
最低分: 78

等级分布:
  A:1 人
  B:1 人
  C:1 人
  D:0 人

跳过 1 条异常数据
  - 第 4 行(小刚):成绩缺失,已跳过

关键点

  • csv.writer 和 csv.DictReader 是一对。写的时候用 writer.writerow([...]),一行一个列表;写表头也是一行 writerow;
  • 写 CSV 必须加 newline="",否则 Windows 上每行之间会多出一个空行;
  • 这段代码的结构非常清晰:四个函数各管一段,main 流程只做编排。这正是第 4 章说的「分层」;
  • 明细存 CSV,报告存 TXT,是两种不同的产物:明细给机器继续处理,报告给人看。

这就是一份最小可用的数据处理流水线

students.csv ──读──▶ 原始字典列表 ──清洗──▶ 干净数据 ──统计──▶ 结果
                     │
                     └──▶ 问题清单 ──▶ 写进报告

换成 NumPy、Pandas 只是把「读、清洗、统计」换成更省事的写法,这个流程本身不会变。 学完第 6 章,再看 Pandas 基础入门课程,你会发现 Pandas 版的 read_csv 和 dropna 干的就是上面这些事。

本节小结#

操作写法
读 CSVcsv.DictReader(f)
写 CSVcsv.writer(f) + writerow([...])
表头DictReader 自动处理
取值row["name"](都是字符串)

三条核心规矩:CSV 的值全是字符串、newline="" 不能省、清洗结果和问题清单要一起交付。

随堂练习#

  1. 给上面的程序加上「写回清洗后的 CSV」的逻辑,把 students.csv 清洗成 clean.csv;
  2. 在报告里增加「及格人数」和「及格率」两项;
  3. 把 clean_students 拆成两个函数:parse_score(text) 和 is_valid(row),体会一下「单一职责」的拆分方式。
点击查看参考答案
# 练习 1
import csv


with open("clean.csv", "w", encoding="utf-8", newline="") as f:
    writer = csv.writer(f)
    writer.writerow(["name", "score"])
    for student in clean:
        writer.writerow([student["name"], student["score"]])

# 练习 2
passed = sum(1 for s in clean if s["score"] >= 60)
rate = passed / len(clean) * 100 if clean else 0
extra_lines = [f"及格人数:{passed}", f"及格率:{rate:.1f}%"]
for line in extra_lines:
    print(line)

# 练习 3
def parse_score(text):
    """把文本转成分数,失败返回 None。"""
    try:
        return float(text)
    except ValueError:
        return None


def is_valid(row):
    """判断一行数据是否可用。"""
    name = (row.get("name") or "").strip()
    raw = (row.get("score") or "").strip()
    if not name or not raw:
        return False
    score = parse_score(raw)
    return score is not None and 0 <= score <= 100

练习 3 拆完之后,clean_students 的主循环就只剩下「判断 → 分流」两件事,可读性明显提升。

下一章预告 前五章你已经能写出完整的 Python 程序了。但程序越写越长,变量和函数会互相打架。下一章我们学面向对象——用类把数据和操作它的逻辑打包在一起。

阅读 --