Please note that the expected salary is an estimation. Negotiation of salary will be after the final round of interviews.
1.留学背景,外企工作经验
2.熟悉Smart BI和SAP,有相关的工作经验
3.熟悉Power BI, SSRS, SQL, Postgresql, Oracle, DB2, Redshift, SAP BW, Azure, AWS, Talend, Informatica, SSIS, kettle, DatastageMicrosoft TFS, data bricks
4.入职周期2周左右
问题回复:
可以使用Kafka来实现,使用kafka-connector-hana 连接SAP数据库,配置同步相关信息,同步间隔等,可以根据业务实际需要进行设置,然后通过消费配置的Kafka topic信息做到伪实时,这只是一种解决方案,具体还是要看实际情况了
问题回复:
问题方案大体思路:
做实时:创建和使用触发器,捕获增量变更数据,同时配合增量CDC数据表,记录每次变更数据的元信息,根据增量表的时间戳判断是否存在延迟;
若做不到实时,数据同步可以通过解析日志,识别出发生变化的数据,执行定时任务查询日志变化
1,7年数据开发,5年外企工作经验,英文口语熟练
2.最近项目就是将MMG sap数据迁移至Azure数据湖,搭建湖仓一体化架构。协同澳大利亚和印度同事搭建BI大屏报表
3.在职,入职周期1周左右
问题回复:
不care强实时可以为数据设置间隔使用微批次处理,或者用队列管理数据流实现sap实时行增量抽取
如果对实时性要求强,可以从数据源头sap进行处理,同时采用cdc/azf+kafka+flink,通过窗口控制数据源流速和数据处理流程,缩短批次间隔
1, 5年以上数据开发经验,熟练 Flink,Hive, ETL
2 ,熟悉 Spark 核心原理 SparkCore、SparkSQL、SparkStreaming 及应用开发;理解并熟练 spark 各种性能调优、背压及数据倾斜的解决方案
3 ,熟练掌握 Hadoop 核心组件 HDFS、MapReduce、Yarn 及其框架原理、源码及 API 操作;熟悉 HDFS 故障排除、Hadoop 企业优化、HA 高可用
4,离职状态,可以参加英文会议。