导读 本文简单介绍了“抖音集团数据资产管理平台”全貌,数据资产管理平台是抖音集团在复杂业务场景中思考的新方向,启发大家对于元数据以及数据资的全新思考。文章重点展开介绍了“抖音集团大数据血缘的演进和应用”部分,让大家以更宏观视角认识血缘,并在如何建设好数据血缘给出建设性的思路。
本次分享将聚焦于资产体系中的全链路血缘,文章将围绕下面四点展开:
1. 抖音集团血缘整体介绍
2. 抖音集团血缘系统架构
3. 抖音集团血缘应用场景
4. 未来展望
分享嘉宾|刘浩阳 字节跳动 大数据研发专家
编辑整理|吃货小八
内容校对|李瑶
出品社区|DataFun
抖音集团血缘整体介绍
1. 整体概览
2. 建设背景
-
看链路:整个大数据是一个超大的数据链路,集团内有百万级别的任务,需要结合血缘看清楚这些业务之间的关系。 -
保质量:生产任务每天都在线上迭代,每天有万级别的线上任务变更,该如何评估好这些迭代对线上是否会产生影响,需要结合血缘链路去评估,以保障整个生产的质量。 -
保安全:安全是企业数据数据的生命线,如何高效发现企业中的敏感数据,需要依赖血缘数据传播能力。 -
降成本:超大规模集群规模背后是大量的计算、存储资源,如何合理利用资源,并精准发现低价值资源,并驱动治理,也需要依赖血缘实现。
01
资料目录及介绍
抖音集团如何巧用“数仓”降本
抖音集团数据血缘深度应用:架构、指标与优化实践
快手电商数据指标体系建设与实践
Blaze:快手自研 Spark 向量化引擎从生产实践到社区开源
NoETL,开启自动化数据管理新时代
快手大数据安全治理实践
知乎大数据如何降本增效?
蚂蚁集团 EB 级大数据治理架构与实践
02
识别二维码获取电子书


