数据工程

这一章在讲什么

一句话：这一章讲"数据从生到死的全过程"——从外面采进来、洗干净、存起来、治理好、变成资产、分析出价值，全程还得脱敏和分级防止泄露。

它是第 1～8 章里最"时髦"的一章（数据仓库、数据资产、数据要素、数据分类分级都在这），也是近年第 3 版改动最大的一章。考试以选择题为主（一般 3-6 分），偶尔在案例题里作为背景（"某政务数据平台存在哪些数据治理问题"）。

记住一条主线就够：采集 → 预处理 → 存储 → 治理建模 → 仓库/资产 → 分析应用 → 脱敏分级。

逻辑骨架

一句话串起来：先把数据弄进来洗干净（6.1），找个可靠地方存好并保证丢了能恢复（6.2），再用元数据、标准和模型把它管明白（6.3），沉淀成数据仓库和数据资产（6.4），通过分析挖掘出价值（6.5），全程用脱敏和分类分级守住安全底线（6.6）。

考点地图

本章速记

• 数据三形态：结构化（关系型）、半结构化（日志、XML、E-mail）、非结构化（文档、图片、音视频、HTML、报表）。
• 采集四方法：传感器采集、系统日志采集（Logstash/Flume/Filebeat 等）、网络采集（API、爬虫：通用/聚焦/增量式/深层）、其他。
• 预处理三步走：数据分析 → 数据检测 → 数据修正；目标是准确、完整、一致、唯一、适时、有效。
• 备份三策略：完全备份（慢、占空间、恢复最快）、差分备份（相对上一次完全备份，恢复需两份）、增量备份（相对上一次任何备份，最省空间，中间断一环就恢复不了）。
• 容灾两指标：RPO=允许丢失多少数据，RTO=多久能恢复。
• 数据模型三层：概念模型（实体、属性、域、键、关联）→ 逻辑模型（关系模型：关系、属性、视图）→ 物理模型（表、字段、视图、索引、存储过程、触发器）。
• 数据仓库四组件：数据源、数据存储与管理、OLAP 服务器（ROLAP/MOLAP/HOLAP）、前端工具。
• 密级五级：L1 公开、L2 保密、L3 机密、L4 绝密、L5 私密。
• 国家数据分级三档：一般数据、重要数据、核心数据。

节列表

• 6.1 数据采集和预处理
• 6.2 数据存储及管理
• 6.3 数据治理和建模
• 6.4 数据仓库和数据资产
• 6.5 数据分析及应用
• 6.6 数据脱敏和分类分级
• 6.7 本章练习