数据工程师

岗位描述

职位描述： 数据架构，ClickHouse，数据开发 职位职责： 1. 负责离线和实时数据处理，包括开发、维护和优化。 2. 参与建设企业级大数据平台，包括数据架构、数据平台和数据库运维、数据治理和数据应用的开发，以提升公司业务和技术部门的数据使用效率。 3. 探索和分析新技术趋势，以解决现有问题和提升系统性能。 必备技能： 1. 熟练掌握Java、Scala、Python等至少一种编程语言，并有良好的Shell脚本编写能力和Linux环境下的开发经验。 2. 对Spark、Hadoop、Hive、Flink等大数据处理工具有深入理解，以及至少一种工具的实际使用经验。 3. 对OLAP数据库如Clickhouse、StarRocks有深入理解，熟练使用MySQL或PostgreSQL，并对SQL优化有丰富经验。 4. 至少1年的数据开发和设计经验，熟悉ETL设计和开发，对数据仓库分层模型、数据治理和数据平台有深入理解。 求职者特质： 1. 对新技术和新事物充满好奇心，具备独立解决和分析问题的能力。 2. 工作态度认真负责，执行力强，能有效地在团队内部和跨团队沟通。 加分项： 1. 具备线上TP或者AP数据库和数据平台运维经验。 2. 具备AWS、阿里云、腾讯云等至少一种云服务的使用经验。