大数据开发工程师
岗位职责
1.负责数据仓库、大数据日常开发;
2.根据业务需求,进行复杂SQL编写、优化、以及数据抽取、转换和加载;
3.参与大数据平台的日常运维、数据库运维、问题响应支持,确保大数据平台的稳定性;
4.对数据整合分析,挖掘用户、产品及潜在数据信息,为用户增长、智能调度、风控等运营决策支撑体系提供完善的数据平台支持。
岗位要求 1.精通主流数据仓库(GauessDB DWS )和SQL程序语言,能够熟练编写存储过程,并具备SQL调优经验;
2.熟练使用大数据hadoop、hive、spark组件,以及hiveSQL和SparkSQL的调优;
3.精通调度工具Etlplus或者其他一种调度工具、ETL工具Datastage、Ketlle或其他;
4.熟练使用linux操作系统,各种主流关系型数据库、oracle、mysql等;
5.掌握主流的开发语言,如Shell、Perl、Python等;
6.具备数仓主题模型设计、数仓分层、拉链表开发经验。
2.根据业务需求,进行复杂SQL编写、优化、以及数据抽取、转换和加载;
3.参与大数据平台的日常运维、数据库运维、问题响应支持,确保大数据平台的稳定性;
4.对数据整合分析,挖掘用户、产品及潜在数据信息,为用户增长、智能调度、风控等运营决策支撑体系提供完善的数据平台支持。
岗位要求 1.精通主流数据仓库(GauessDB DWS )和SQL程序语言,能够熟练编写存储过程,并具备SQL调优经验;
2.熟练使用大数据hadoop、hive、spark组件,以及hiveSQL和SparkSQL的调优;
3.精通调度工具Etlplus或者其他一种调度工具、ETL工具Datastage、Ketlle或其他;
4.熟练使用linux操作系统,各种主流关系型数据库、oracle、mysql等;
5.掌握主流的开发语言,如Shell、Perl、Python等;
6.具备数仓主题模型设计、数仓分层、拉链表开发经验。