2.6 事务处理

大量并发用户，少量随机读写操作

（1）事务（Transaction）

             一个事务可能包含多个操作（select、insert等），事务中的所有操作满足ACID性质

             表现形式：一般每个SQL语句被认为是一个事务，或者引入特殊语句（begin transaction等）则为一组语句

（2）ACID：DBMS保证事务的ACID性质

• Atomicity（原子性）：要么完全执行，要么完全没执行
• Consistency（一致性）：从一个正确状态转换到另一个正确状态
• Isolation（隔离性）：每个事务与其它并发事务互不影响
• Durability（持久性）：Transaction commit后，结果持久有效，crash也不消失

（3）Concurrency Control (并发控制)

• 数据竞争：不同的执行顺序会导致不同的结果->写读：读脏结果

                                                                                   读写：不可重复读

                                                                                   写写：更新丢失

• 如何判断一组事务正确执行？->Serializable(可串行化)，判断一组并行Transactions是否正确执行的标准

• 解决方案：采用机制保证数据竞争不会出现或提交前检查存在数据竞争与否
  • 加锁：2 Phase Locking 两阶段加锁->有一个集中的加锁阶段和一个集中的解锁阶段

                            读写的锁不同

                                     锁的粒度不同

                                        死锁

                                            重要条件：循环等待，多个事务相互等待

                                            处理：1->死锁避免：人为规定顺序，对数据库系统不适用

                                                       2->死锁检测：周期性检测，存在则选一个杀掉

• 不采用加锁：分为读、验证、写三个阶段。决定提交时，检查是否有冲突，存在则终止事务，清空私有工作区；不存在则验证通过
• 优点：冲突较少时没有加锁的开销
• 缺点：冲突很多时，需要不断重试，浪费大量资源，甚至无法前进
• Snapshot Isolation 快照 : 提交时检查冲突，有则回到上一个快照

                                    在某些情况下，并不是可串行化的

（4）Crash Recovery (崩溃恢复)

• Transaction commit后，结果持久有效，crash不消失
• 解决方案->WAL (Write Ahead Logging)
  • 事务日志记录（记录写操作）、commit日志记录（提交操作）、abort日志记录（回滚操作）->日志记录按LSN顺序被追加到日志文件末尾
  • Write-Ahead：总是先写日志，再去做实际操作
  • 如何保证持久度Durability：条件为日志是持久的，可根据日志确定所有操作
  •  如何实现？保证日志记录先于修改后的数据出现在硬盘上

• Checkpoint（检查点）：使崩溃时间可控，内容包括
  • 当前活动的事务表：包括事务的最新日志的LSN
  • 当前脏页表：每个页最早的尚未写回硬盘的LSN
  • Log Truncation：如果LSN之前的所有日志记录都不需要了，那么就可以删除LSN之前的Log
• Crash Recovery：分析阶段->Redo阶段（将系统恢复到未崩溃前）->Undo阶段（清除未提交事务的修改）

2.7 数据仓库

读取大量数据的分析操作

（1）OLAP

         Online Analytical Processing（联机分析处理），在数据仓库的基础上实现的

• 基本数据模型：多维矩阵->data cube
• 基本操作：roll up（date to week）、drill down(week to date)、slice(choose x month)、dice(choose many months)

（2）行式与列式数据库

• 行式数据存储：每个记录中把所有的列相邻地存放
  • 优点：多个列的值，可以一次I/O都得到；适合于OLTP，同时需要读写同一个记录的多个列的值
  • 缺点：对于数据分析操作，只使用少数列
• 列式数据存储：每个列产生一个文件，存储所有记录中该列的值
  • 优点：降低读的数据量；每个文件存储相同数据类型的值，具有更高压缩比
  • 缺点：对于调用多个列的情况下的拼装代价很大

2.8 分布式数据库

（1）系统架构

• 三种类型
  • Shared memory 共享内存：多芯片、多核
  • Shared disk 共享硬盘：多机连接相同的数据存储设备
  • Shared nothing ：由以太网连接多台服务器，机群系统

• 关键技术
  • Partitioning（划分）：把数据分布在多台服务器上，通常采用Horizontal partitioning（把不同的记录分布在不同的服务器上）
    • Hash partitioning: machine ID = hash(key) % MachineNumber->哈希随机
    • Range partitioning：每台服务器负责一个key的区间，有序划分不重叠

                     Join操作的并行执行：

• 若partition key就是join key，可以并行执行，每台机器单机join
• 不是，则需要在Join key上进行分布式partitioning，然后再join

• Replication（备份）：为了提高可靠性

（2）分布式事务处理：事务读写的数据分布在不同机器上，代价昂贵

• 2 Phase Commit
  • Participant: 完成分布式事务的部分读写操作；Coordinator: 协调分布式事务的进行
  • phase 1 (voting)：Coordinator向每个participant发送是否提交事务的询问消息，每个participant根据本地情况回答yes 或 no，只要有一个No，整个就不能提交
  • phase 2 (completion)：1.当所有的回答都是yes, 事务提交，Coordinator向每个participant发送commit消息。Participant 回答acknowledgment，当至少一个的回答是no, transaction 将abort，coordinator向每个participant发送abort消息，Participant 回答acknowledgment
• 崩溃恢复