6.2 数据存储及管理

一句话讲明白

这一节就回答三个问题:数据放哪儿(存储介质与形式)、放不下了怎么挪(归档)、弄丢了怎么救(备份与容灾)。

生活类比

家里存东西:

至于备份:每周日把全家当整体拍一套快照(完全备份)、之后每天只拍和周日相比的变化(差分)、或者只拍和昨天相比的变化(增量)。真出事时,完全备份最容易恢复,增量最省空间但中间少一张照片就接不上。

正经定义

数据存储就是根据不同应用环境,采取合理、安全、有效的方式将数据保存到物理介质上,并保证对数据实施有效的访问,包含两方面:①数据临时或长期驻留的物理媒介;②保证数据完整、安全存放和访问而采取的方式或行为。

数据备份是为了防止由于各类操作失误、系统故障等意外原因导致的数据丢失,而将整个应用系统的数据或一部分关键数据复制到其他存储介质上的过程。

拆解与流程

一、存储介质(选介质不是越贵越好,要看应用场景)

介质 关键特点
磁带 成本低、容量大(含磁带机、自动加载磁带机、磁带库),缺点是速度慢
光盘 容量大且可控(VCD/DVD,约 700MB~4.7GB~60GB),数据只读、不受电磁影响,特别适合永久性归档备份
磁盘 一般用 RAID(独立冗余磁盘阵列),既提高读取性能又增强安全性
内存 存放 CPU 运算数据及与硬盘交换的数据,断电后数据全部丢失
闪存 固态技术,兼具内存的访问速度和存储持久性,常作磁盘替代品
云存储 可扩展,数据存在异地,可通过公共互联网或专用私有网络访问

二、三种存储形式

形式 特点
文件存储 分层(文件→文件夹→目录树)
块存储 数据存成块、每块有唯一标识符,适合快速、高效、可伸缩传输
对象存储 处理大量非结构化数据的架构,无法轻易组织到传统关系数据库的行列中(邮件、视频、照片、网页、音频、传感器数据)

存储管理四件事:资源调度管理、存储资源管理、负载均衡管理、安全管理(防 DoS 攻击、勒索病毒、窃取数据、篡改网页等)。

三、数据归档

把不活跃的"冷"数据从可立即访问的介质迁移到查询性能较低、低成本、大容量的介质中,这一过程是可逆的(可恢复回原介质)。三点注意:①一般只在业务低峰期执行(要大量读写生产库、占用网络);②归档后删除生产库数据会造成数据空洞(表空间未及时释放,造成空间浪费);③一旦影响线上业务要及时止损并复盘。

四、四种备份结构

DAS 备份结构(备份设备直连备份服务器,适合数据量不大、服务器数有限)→ 基于 LAN 的备份结构(C/S 模型,可共享备份设备、集中管理,缺点是备份流与业务流混占网络)→ LAN-FREE(备份流经 SAN 与业务流分离,缺点是仍要经过应用服务器)→ SERVER-FREE(不依赖应用服务器,通过第三方备份代理用 NDMP 协议直接从存储设备读出数据)。

五、三种备份策略(必背)

策略 每次备份什么 优点 缺点
完全备份 全部数据 恢复时只需这一份,最方便 占用较多服务器/网络资源,重复数据多、消耗备份介质
差分备份 相对上一次完全备份之后变化的数据 时间短、省空间;恢复只需两份(完全备份 + 故障前一天的差分) 随时间推移差分数据会变大
增量备份 相对上一次备份后改变的数据 无重复备份数据,最省空间、备份最快 恢复复杂,中间某一个增量出问题,后面的数据就无法恢复,可靠性不如前两者

六、数据容灾

数据备份是数据容灾的基础,但传统磁带冷备份存在先天不足(磁带与机房一起毁于火灾、地震)。国际标准 SHARE 78 定义容灾系统有 7 个等级,恢复时间从几天到小时级、分钟级、秒级直至零数据丢失。

两个核心指标(几乎必考):

指标 含义
RPO(Recovery Point Objective,恢复点目标) 灾难发生时允许丢失的数据量
RTO(Recovery Time Objective,恢复时间目标) 系统恢复所需的时间

容灾两项关键技术:

考试怎么考

易混辨析

对比 差分备份 增量备份
基准 上一次完全备份 上一次任何备份
恢复 两份即可(完全 + 最后一次差分) 需完全 + 全部增量链,断一环就废
空间 中等 最省
可靠性 高 较低
对比 数据归档 数据备份
目的 腾出高性能空间,保存冷数据 防止丢失、可恢复
是否可逆 可逆(可恢复回原介质) 可恢复但原数据已丢失
时机 业务低峰期 按策略定期

一秒记忆

"存 得 下、挪 得 走、丢 得 起:全 备 一 份 就 恢 复,差 备 两 份 就 够 用,增 备 最 省 但 断 链 就 完。RPO 问 丢 多 少,RTO 问 多 久 好。"

相关