开发工程师
岗位职责
1、Flink应用开发:基于Flink框架设计并开发实时/批处理数据流任务,优化任务性能与容错机制,保障高吞吐、低延迟的数据处理能力;
2、ETL流程设计与实现:主导数据清洗、转换、加载(ETL)流程开发,解决多源异构数据集成问题,提升数据质量与处理效率;
3、数据架构优化:参与构建实时数仓及湖仓一体架构,结合Hive、HBase等存储技术实现数据分层管理,支持业务实时分析需求;
4、系统监控与调优:设计并实现Flink任务监控告警体系,排查数据链路性能瓶颈,优化资源利用率(如并行度调整、状态管理);
5、协作与安全:配合数据团队完成数据模型设计,遵循SecDevOps规范管理代码仓库(Git),优化CI/CD流程(Jenkins) 岗位要求 1、3-5年使用Flink经开发经验
2、有java开发ETL的经验
3、良好的英语沟通能力
2、ETL流程设计与实现:主导数据清洗、转换、加载(ETL)流程开发,解决多源异构数据集成问题,提升数据质量与处理效率;
3、数据架构优化:参与构建实时数仓及湖仓一体架构,结合Hive、HBase等存储技术实现数据分层管理,支持业务实时分析需求;
4、系统监控与调优:设计并实现Flink任务监控告警体系,排查数据链路性能瓶颈,优化资源利用率(如并行度调整、状态管理);
5、协作与安全:配合数据团队完成数据模型设计,遵循SecDevOps规范管理代码仓库(Git),优化CI/CD流程(Jenkins) 岗位要求 1、3-5年使用Flink经开发经验
2、有java开发ETL的经验
3、良好的英语沟通能力