-
数据清洗:过滤无效数据、处理异常字段。
-
数据转换:统一字段格式和业务编码。
-
数据关联:关联订单、支付、商品等数据。
-
实时聚合:持续计算销售额、订单量等指标。 -
状态管理:保存累计值、去重信息等计算状态。
1、Doris、ClickHouse 负责什么?
2、OLAP 和 OLTP 有什么区别?
-
先通过 CDC 获取订单变化,进入 ODS 层; -
再由 Flink 完成数据清洗和标准化,形成 DWD 明细数据; -
随后按时间、地区等维度汇总到 DWS 层, -
最终将结果提供给 ADS 层,供 BI 报表查询。
1、数据接入和维护成本高
2、实时数据不一定准确
3、任务异常难以定位
第一种:只需要实时同步。
第二种:需要实时清洗和计算。
第三种:需要完整的实时分析平台。
-
CDC 负责采集数据变化
-
Kafka 负责传递数据
-
Flink 负责实时计算
-
Doris、ClickHouse 等负责分析数据存储与查询 -
OLAP 则支撑最终的多维分析。
-
哪些数据需要实时更新? -
这些数据需要经过哪些处理? -
最终要解决什么业务问题?

