切换深色模式
数据库课程总览
| 周次 | 日期 | 讲座内容 |
|---|---|---|
| 1 | 4/9 | 课程介绍 + 关系数据库基础(Course Introduction + Relational DB Basis) |
| 2 | 11/9 | 关系数据库基础(Relational DB Basis) |
| 3 | 18/9 | 存储与文件结构(Storage and File Structure) |
| 4 | 26/9 | 索引(Indexing) |
| 5 | 9/10 | 查询处理(Query Processing) |
| 6 | 16/10 | 查询优化(Query Optimization) |
| 7 | 23/10 | 事务管理(一)(Transaction Management I) |
| 8 | 30/10 | 事务管理(二)(Transaction Management II) |
| 9 | 6/11 | 分布式数据管理(Distributed Data Management) |
| 10 | 13/11 | OLAP 与数据仓库(OLAP and Data Warehouse) |
| 11 | 20/11 | 现代数据库系统分析(Modern Database Analysis) |
主线:数据库如何组织大量数据,并让查询既快、又正确,还能支持多人同时使用和多台机器协作。
把学习分成两条并行的线:
- 使用数据库:理解表之间的关系,能用 SQL 查询、关联和汇总数据。
- 理解数据库:解释数据库在背后怎样存储数据、执行查询、保证正确性。
这门课的主体是第二条,但第一条是理解第二条的基础。
一、例子
假设我们在分析一个购物平台,有三张表:
| 表 | 一行代表什么 | 示例字段 |
|---|---|---|
users | 一位用户 | 用户编号、城市 |
orders | 一笔订单 | 订单编号、用户编号、时间、金额、状态 |
order_items | 订单中的一种商品 | 订单编号、商品编号、数量 |
现在要回答:
最近一个月,哪些城市的已支付订单总金额最高?
SQL 大致如下:
SELECT
u.city,
SUM(o.amount) AS total_amount
FROM users AS u
JOIN orders AS o
ON u.user_id = o.user_id
WHERE o.status = 'paid'
AND o.created_at >= '2026-09-01'
AND o.created_at < '2026-10-01'
GROUP BY u.city
ORDER BY total_amount DESC;我们写的是“需要什么结果”,数据库要决定“具体怎么得到结果”。 后半句话就是这门课的主要研究对象。
结合这个例子来理解目录:
| 课程主题 | 它在回答什么问题? | 你最终应能解释什么? |
|---|---|---|
| Relational DB Basis | 用户和订单如何表示?如何关联和汇总? | 表、键、约束、SQL、关系代数 |
| Storage and File Structure | 一亿条订单实际放在哪里?怎样读取? | 文件、页、记录、缓冲池、磁盘 I/O |
| Indexing | 怎样快速找到某个月的订单? | B+ 树、哈希索引、范围查询、索引代价 |
| Query Processing | 过滤、关联、分组怎样实际计算? | 扫描、排序、哈希、连接算法 |
| Query Optimization | 多种执行方法中,应该选哪一种? | 执行计划、基数估计、成本估计、连接顺序 |
| Transaction Management I / II | 查询期间有人支付、退款,结果如何保持合理?机器崩溃怎么办? | 事务、并发控制、隔离、日志与恢复;具体分配以课件为准 |
| Distributed Data Management | 数据分布在多台机器上怎么办? | 分片、复制、网络通信、分布式查询与事务 |
| OLAP and Data Warehouse | 如何长期支持海量业务分析? | 事实表、维度表、列式存储、分析型查询 |
| Modern Database System Analysis | 如何综合评价一个数据库系统? | 根据工作负载分析系统设计与取舍 |
整门课不是一串孤立名词,而是在不断给同一个数据处理问题增加规模、性能和正确性要求。
二、需补充的前置知识
1. 关系模型与基本 SQL:先理解“数据是什么、我要做什么”
优先掌握:
- 表、行、列、数据类型。
- 主键、外键,以及一对多关系。
SELECT、WHERE、ORDER BY。JOIN,特别是内连接与左连接。GROUP BY、聚合函数、HAVING。NULL的含义与基本处理。- 基本子查询。
这里最重要的能力是:能够说清一行代表什么,以及每一步操作后,一行又代表什么。
例如,把 orders 与 order_items 关联之后,一笔订单可能出现多行。此时直接对 orders.amount 求和,就可能重复计算订单金额。这既是 SQL 问题,也是数据分析中非常实际的正确性问题。
然后认识关系代数中的几个操作:
| 关系代数操作 | 直观含义 | 对应 SQL |
|---|---|---|
| 选择 | 保留符合条件的行 | WHERE |
| 投影 | 取出需要的列 | SELECT 列列表 |
| 连接 | 按条件组合两张表 | JOIN |
| 分组聚合 | 分组后计算统计量 | GROUP BY、SUM 等 |
注意,经典关系代数与 SQL 在重复行、NULL 等方面并不完全相同,入门时先建立操作上的对应即可。
2. 最小计算机基础:理解“为什么访问数据会有成本”
你需要认识这几个概念:
| 概念 | 当前需要理解到什么程度 |
|---|---|
| 内存与磁盘 | 内存用于快速处理;磁盘负责持久保存,访问成本不同 |
| 页/块 | 数据库通常按一块数据读写,而不是每次只读取一个字段 |
| 缓冲池 | 数据库把部分磁盘页保留在内存中,减少重复读盘 |
| 顺序访问与随机访问 | 连续读取与分散读取的代价可能相差很大 |
| CPU、I/O、网络 | 查询时间可能花在计算、数据读取或跨机器传输上 |
例如,假设一张表有
个数据页。
在相关页都不在内存等简化条件下,全表扫描需要读取约
3. 最小算法基础:理解“同一任务可以有不同做法”
先掌握直观思想即可:
- 二分查找:如何减少搜索范围。
- 树:如何逐层定位数据。
- 哈希表:如何按键定位。
- 排序:如何让相同或相近的值聚集。
- 大
记号:如何比较规模增长带来的成本。
暂时不必实现完整 B+ 树,也不必先深入操作系统。遇到课程需要的部分,再有针对性地补。
三、按课程进度学习时,抓住每个阶段的核心问题
第一阶段:关系基础、存储、索引——建立从“表”到“物理数据”的联系
这是你现在最需要补齐的阶段。
你要建立这样的理解:
表是逻辑表示;记录通常组织在页中;页存放于文件;数据库通过缓冲池访问页;索引提供额外的访问路径。
重点解决四个问题:
- SQL 中的一行,在存储层面对应什么?
- 查询一条记录,为什么可能需要读取整个页?
- 索引为什么能减少搜索范围?
- 为什么建立了索引,也不一定更快?
其中第四点非常重要。索引也需要存储和维护;如果查询最终要取出大部分记录,顺序扫描可能更划算。
这一阶段的达标标准:能解释一次“按用户编号查订单”的查询,如何从 SQL 落到页访问。
第二阶段:查询处理、查询优化——理解“怎么执行”和“为什么这样执行”
这两部分容易混淆:
- 查询处理:某个操作有哪些具体算法?
- 查询优化:对于这次查询,选择哪些算法、按什么顺序执行?
例如连接用户表和订单表,可以使用嵌套循环连接、哈希连接等方法;优化器还要考虑是否先筛选最近一个月的订单,再进行连接。
从统计背景出发,你可以把优化器的核心任务理解为:
然后在考虑的候选执行计划中选择估计成本较低的计划:
这里与你的统计知识联系最紧的是基数估计:一个条件筛选后还剩多少行?两张表连接后有多少行?估计偏差可能导致计划选择失误。
这一阶段的达标标准:能读懂一个简单执行计划,并说明其主要成本来自哪里。
第三阶段:事务管理——理解多人操作下的正确性
学习时分开思考两类问题:
| 问题 | 例子 | 对应机制 |
|---|---|---|
| 并发执行 | 两个人同时修改一笔余额怎么办? | 锁、MVCC、隔离级别、可串行化 |
| 故障恢复 | 扣款后、入账前突然断电怎么办? | 日志、恢复机制、原子性与持久性 |
先理解“希望保证什么”,再学习“怎样实现”。
例如,转账事务需要把扣款与入账作为一个整体处理;并发控制需要约束事务之间的相互影响;故障恢复需要处理程序和机器中断带来的不完整状态。
这一阶段的达标标准:给出两个事务交错执行的过程,你能判断可能出现什么问题,并解释某种机制如何处理它。
第四阶段:分布式与 OLAP——理解规模和工作负载如何改变系统设计
这里有两个不同的维度:
- 分布式:数据与计算怎样分配到多台机器上。
- OLAP:怎样高效支持大量扫描、关联、聚合的分析任务。
二者可以结合,但并不等同。
例如,按订单编号查看一笔订单,与统计两年内所有城市的销售趋势,虽然都在访问订单数据,但访问模式完全不同。因此,适合的存储布局、索引和执行策略也可能不同。
这一阶段的达标标准:能够根据任务特点,解释为什么系统需要分片、复制、列式存储或预先计算的汇总结果。
四、你现在可以直接执行的学习顺序
按照你给的进度,课程已经来到存储和索引附近。建议用接下来一周补齐前置知识,同时继续跟课,避免等基础全部学完才开始听新内容。
| 次序 | 学习任务 | 必须完成的具体产出 |
|---|---|---|
| 1 | 表、主键、外键、一对多关系 | 自己设计用户表与订单表,说明每列含义 |
| 2 | 单表 SQL | 写出筛选、排序、分组统计查询 |
| 3 | 多表连接 | 写出“按城市统计订单金额”,检查重复计数 |
| 4 | 关系代数基础 | 把一条 SQL 拆成选择、投影、连接、聚合 |
| 5 | 页、文件、缓冲池、I/O | 画出或口述查询访问数据的过程 |
| 6 | B+ 树与索引 | 手工走一遍等值查询和范围查询 |
| 7 | 整理课堂索引内容 | 解释索引收益、维护代价及适用条件 |
练习环境优先用课程指定的数据库,这样 SQL、执行计划和课堂示例能够对应起来。先把同一个小案例反复做深,不必同时学习多种数据库产品。
之后每周采用一个固定循环:
- 课前:确认本周主题要解决什么问题,补齐少量前置概念。
- 课中:围绕一个具体例子,记录算法或机制如何工作。
- 课后:做一次 SQL 实验、手工推演或成本计算,验证理解。
每个知识点的笔记只需要回答五个问题:
它是什么?为什么需要?如何工作?代价是什么?什么情况下适用?
你目前最应该优先建立的是:关系表与 SQL → 页与 I/O → 索引 → 执行计划。这条线一旦连起来,后面的查询优化、事务和分布式就有了可以依附的基础。