

（二）从分层架构到数据湖仓架构：数据仓库分层下的技术架构与举例

白鲸开源

2025-10-22

导读：本文为系列文章第二篇，详细剖析了数据仓库分层下的技术架构，并附以以示例。

点击蓝字，关注我们

《新兴数据湖仓设计与实践手册·从分层架构到数据湖仓架构设计（2025 年）》 系列文章将聚焦从数据仓库分层到数据湖仓架构的设计与实践。手册将阐述数据仓库分层的核心价值、常见分层类型，详解分层下的 ETL 架构及数据转换环节，介绍数据仓库分层对应的技术架构，并以贴源层（ODS）、数据仓库层（DW）、数据服务层（DWS）为例，深入剖析数湖仓分层设计，最后探讨数据仓库技术趋势并进行小结。

本文为系列文章第二篇，详细剖析了数据仓库分层下的技术架构，并附以以示例，希望能够为相关从业者提供数据湖仓设计与实践的系统指引。

👉上文回顾：《（一）从分层架构到数据湖仓架构：数据仓库分层的概念与设计》

数据仓库分层下的技术架构

图1

图2

数据中台的构建涉及多个方面，涵盖了大数据处理和管理的核心要素，在实际工作中通常包括以下内容：

系统架构
以Hadoop和Spark等大数据组件为核心，构建高效的分布式架构，以支持数据的存储、计算和处理能力。
数据架构
通过顶层设计进行主题域划分，并采用分层体系（如ODS-DW-ADS）来组织数据流向和结构层次，确保数据管理的灵活性和适应性。
数据建模
采用维度建模方法，通过确定业务过程的粒度，构建合理的维度表和事实表，以便更高效地支持业务分析和查询需求。
数据管理
包括对数据资产、元数据、数据质量、主数据和数据标准的全面管理，同时建立数据安全管理机制，确保数据的准确性、完整性和安全性。
辅助系统
包含任务调度、ETL处理以及监控等支撑系统，保障数据的高效处理和系统运行的稳定性。
数据服务
提供数据门户、数据查询、分析报表、可视化、机器学习和数据挖掘等服务，支持数据的多场景应用，以及数据交换、共享和下载功能。

数湖仓分层举例

数据仓库通常可以分为四个层次，但这一划分并不是固定的，不同公司可能会根据自身需求进行调整或重新命名。然而，不论名称如何变化，这种分层模型的核心理念都是基于贴源层（ODS）、数据仓库层（DW）、数据服务层（DWS）的数据架构设计。

图3

图4

图5

图6

可以看到，上面各种不同的数湖仓分层中，看似最复杂的图5将数据湖仓分为了五层数据架构，但也是基于贴源层（ODS）、数据仓库层（DW）、数据服务层（DWS）三层数据架构的核心理念，各层分工明确、层层递进，支撑从原始数据到业务应用的全链路数据价值释放。

在下篇文章中，我们将详细分析贴源层和数据仓库层的架构理念和设计细节，敬请期待。

👉 下篇预告：《（三）数据仓库分层之贴源层和数据仓库层设计》

·END·

白鲸开源

白鲸开源是一家开源原生的DataOps商业公司，是国家高新技术企业，由多个Apache Foundation Member成立，80%员工都是 Apache Committer，运营2个全球Apache开源项目(DolphinScheduler, SeaTunnel）。白鲸开源已根据全球最佳实践发布商业版产品WhaleStudio(含白鲸数据调度平台WhaleScheduler和白鲸数据集成平台WhaleTunnel）。我们致力于打造下一代开源原生的DataOps 平台，助力企业在大数据和云时代，智能化地完成多数据源、多云及信创环境的数据集成、调度开发和治理，以提高企业解决数据问题的效率，提升企业分析洞察能力和决策能力。