Please note that the expected salary is an estimation. Negotiation of salary will be after the final round of interviews.
1,熟悉Yarn 架构,提交流程,调度,Container等。
2,熟悉Spark生态,包括SparkCore,SparkSQL,SparkStreaming,理解Spark内存管,理,掌握Spark提交任务和执行流程,常用算子,擅长Spark调优等。
3,熟悉Kafka的整体架构,常用命令,ISR机制,LEO&HW,生产者架构,分区分配策
略等。
4,离职状态,英语可以听读写
1、大数据开发:熟练大数据技术架构设计和规划,熟练搭建部署大数据生态技术平台: Hadoop/Spark/Hive/Hbase/Kafka/impala 等,熟练 hive sql/spark sql 熟练平台调优、平台故障诊断、平台动态扩容、有大量平台运行维护经验,熟悉 Java、Shell、python,具备较强的独立开发能力;
2、大规模计算平台的数据管控与治理,从采、存、算、管、质量、安全、成本等角度构建 TB 级数据资产,实现数据资产分类及目录式管理,基于业务视角盘点数据资产、评估业务价值、挖掘应用场景;
3、8月15号可入职,能正常参加英文会议。
1. 了解数仓建设周期及维度建模理论,具有 0-1 的数仓建设经验;
2. 熟悉 Hadoop、Hive 和 Spark 等大数据组件技术,并了解内部原理;
3. 熟悉 HiveSQL、SparkSQL 和 SparkRDD 的使用,并了解调优方法;
4. 离职状态,可参加英文会议。
1, 5年以上数据开发经验,熟练 Flink,Hive, ETL
2 ,熟悉 Spark 核心原理 SparkCore、SparkSQL、SparkStreaming 及应用开发;理解并熟练 spark 各种性能调优、背压及数据倾斜的解决方案
3 ,熟练掌握 Hadoop 核心组件 HDFS、MapReduce、Yarn 及其框架原理、源码及 API 操作;熟悉 HDFS 故障排除、Hadoop 企业优化、HA 高可用
4,离职状态,可以参加英文会议。
1,熟练掌握Spark、Spark SQL、Spark Streaming等相关API进行数据清洗;
2,熟练使用Flume进行数据采集并通过拦截器对数据进行处理;
3,熟练使用MaxWell对数据进行实时采集并理解底层运行原理;
4,离职状态,工作积极主动勤快。