第6章 数据工程 / 6.4
6.4 数据仓库和数据资产
一句话讲明白
这一节讲怎么把一堆原始数据，沉淀成能反复用、能对外服务、还能当资产估值的数据仓库和数据资产。
生活类比
把散落在各处的食材做成一家连锁中央厨房：
- 数据仓库 = 中央厨房仓库：把各门店（业务系统）的原料抽出来、洗干净、按菜品门类（主题）重新码放，只进不改（历史快照），谁要做菜随时来取。
- 主题库 = 按"人、地、事、物、组织"分好的成品料包区（人员主题库、企业主题库、财务主题库……）。
- 数据资源化 → 数据资产化 = 先整理成"能用的原料"，再变成"能入账、能卖钱、能创造效益的商品"。
- 数据资源编目 = 仓库门口的总台账：有哪些东西（资源目录）、值多少钱归谁管（资产目录）、对外提供哪些成品菜和取餐窗口（服务目录）。
正经定义
数据仓库是一个面向主题的、集成的、随时间变化的、包含汇总和明细的、稳定的历史数据集合。
数据资产管理（DAM）是指对数据资产进行规划、控制和提供的一组活动职能，包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序，从而控制、保护、交付和提高数据资产的价值。
拆解与流程
一、数据仓库四个组件
| 组件 | 作用 |
|---|---|
| 数据源 | 系统基础，含内部信息（RDBMS 中的业务处理数据、各类文档数据）和外部信息（法律法规、市场信息、竞争对手信息） |
| 数据的存储与管理 | 整个数据仓库系统的核心；按主题对现有各业务系统数据抽取、清理、有效集成。按覆盖范围分企业级数据仓库和部门级数据仓库（数据集市） |
| OLAP 服务器 | 联机分析处理，按多维模型组织，支持多角度多层次分析、发现趋势。实现分 ROLAP（基本数据和聚合数据均存 RDBMS）、MOLAP（均存多维数据库）、HOLAP（基本存 RDBMS、聚合存多维数据库） |
| 前端工具 | 查询工具、报表工具、分析工具、数据挖掘工具及应用开发工具；数据分析工具主要针对 OLAP 服务器，报表和数据挖掘工具主要针对数据仓库 |
二、主题库（三层体系结构）
主题库建设是数据仓库建设的一部分，围绕能标识组织、人员、产权、财务等的主题对象长期积累形成的多维度数据集合（人员、土地、企业、产权、财务、组织主题库等）。
- 数据源层：存放数据管理信息的各种管理表和各类数据表。
- 构件层：基础构件（查询数据、展现数据、存储数据构件；采集数据、载入数据、更新数据构件）+ 由基础构件组装而成的组合构件。
- 主题库层：按业务需求通过构件组合，形成具有统一接口的主题库。
三、数据资产管理：资源化 → 资产化
| 环节 | 干什么 | 工作重点 |
|---|---|---|
| 数据资源化 | 原始数据 → 数据资源，使数据具备潜在价值 | 以数据治理为工作重点，提升数据质量、保障数据安全，确保准确、一致、时效、完整，推动内外部流通 |
| 数据资产化 | 数据资源 → 数据资产，充分释放潜在价值 | 以扩大应用范围、显性化成本与效益为工作点，使供给端与消费端形成良性反馈闭环 |
资产化之后关注三件事：
- 数据资产流通：通过数据共享（打通部门壁垒、建立统一共享机制）、数据开放（向社会公众提供易获取易理解的数据；政府侧是公共数据资源开放，企业侧是披露运行情况、推动政企数据融合）、数据交易（交易双方合同约定，安全合规前提下以数据或其衍生形态为核心）实现价值。
- 数据资产运营：持续跟踪分析数据服务与流通情况，从使用者视角全面评价应用效果，建立正向反馈和闭环管理机制。
- 数据价值评估：数据资产管理的关键环节、数据资产化的价值基线。狭义指数据的经济效益；广义还包括业务效益、成本核算等。
四、数据资源编目
- 数据资源目录：站在全局视角对全部数据资源进行编目，以便管理、识别、定位、发现、共享的分类组织方法。分三层：资源目录（线上线下的原始数据资源，如电子文档索引、数据库表、电子表格、纸质文档）→ 资产目录（标准化处理后识别的数据资产及其信息要素：基本信息、业务信息、管理信息、价值信息，按分类分级登记）→ 服务目录（基于资源和资产目录，对特定业务场景以信息模型、业务模型形式对外提供的可视化共享数据目录：一类是指标报表、分析报告等数据应用，另一类是提供鉴权、加密、计量、标签化并对接外部系统的共享接口）。
- 信息项：以元数据流水账形式反映各类数据资源（表、字段），通过数据标识符挂接。分数据资源信息项、数据资产信息项、数据服务信息项。
- 数据资源库：存储各类数据资源的物理数据库，分专题、主题、基础数据资源库。
- 标准规范：元数据规范、编码规范、分类标准。
考试怎么考
- 题型：选择题。
- 必背：数据仓库五个定语（面向主题、集成、随时间变化、含汇总和明细、稳定的历史数据集合）；四组件；OLAP 三种实现；主题库三层；资源化 vs 资产化；三个目录。
- 常见问法：
- "ROLAP 与 MOLAP 的区别？" → ROLAP 全部数据存 RDBMS，MOLAP 全部存多维数据库，HOLAP 是混合
- "部门级数据仓库又称？" → 数据集市
- "数据资源化的工作重点是？" → 数据治理
- "服务目录不包括？" → 它是基于资源/资产目录的对外提供层，不是原始台账
- 陷阱词：把数据仓库说成"面向应用"（错，是面向主题）；把"数据交易"说成唯一的流通模式（还有共享、开放）。
易混辨析
| 对比 | 数据资源化 | 数据资产化 |
|---|---|---|
| 转变 | 原始数据 → 数据资源 | 数据资源 → 数据资产 |
| 价值 | 具备潜在价值 | 潜在价值充分释放 |
| 重点 | 数据治理、提升质量、保障安全 | 扩大应用范围、显性化成本与效益、形成反馈闭环 |
| 对比 | 资源目录 | 资产目录 | 服务目录 |
|---|---|---|---|
| 内容 | 原始数据资源 | 标准化后的数据资产及要素 | 对外提供的数据应用与共享接口 |
一秒记忆
"仓 库 四 件：源、存、OLAP、前 端；主 题 库 三 层：源、构、库；先 资 源 化 再 资 产 化，目 录 三 级：资 源、资 产、服 务。"