【岗位职责】:
1、负责大数据平台整体规划、架构设计与实施落地;
2、负责大数据平台各组件的选型、调优及各种问题排查及解决方案;
3、负责大数据体系和核心数据资产的模型设计与研发落地,包括元数据管理、数据质量管理、数据安全等、提升数据易用性、可用性及稳定性;
4、负责数仓模型的架构设计与研发,指导其他数仓工程师的开发工作;
5、负责数据全链路的开发,包括内部与外部数据的采集、数据同步、数据清洗与标准化、数据模型设计、离线数据处理、实时数据处理、数据服务化、数据可视化等;
6、负责平台数据采集、数据传输,数据转换、规则引擎等的数据服务接口规范与设计。
【任职要求】:
1、本科及以上学历,计算机及相关专业,至少5年及以上大数据平台相关架构及开发经验;
2、具备海量数据加工处理平台架构设计经验,主导过PB级及以上大型数据平台架构及模型设计,有基于阿里云、AWS等搭建云端数据平台的架构的实战经验为加分项;
3、掌握Java、Scala,GO等至少一门开发语言,熟悉Linux系统,掌握shell、Python等至少一门脚本语言;
4、精通常见大数据组件及其性能调优;
5、熟悉实时计算引擎,掌握Spark、Flink等至少一个实时组件开发、部署、性能调优;
6、了解云原生技术,对k8S,Docker等有实际的项目经验;
7、熟悉数据资产管理,如:元数据管理、数据血缘、指标管理、数据质量、数据安全等,有实际的产品落地经验者优先;
8、有产品意识,能从业务视角及大局观上出发,综合考虑平台的建设;
9、具备良好的团队合作精神、学习能力、跨团队沟通能力,积极主动,利他精神,抗压能力强。