Please note that the expected salary is an estimation. Negotiation of salary will be after the final round of interviews.
1.10 years +年ERP相关经验,硕士学位
2. 曾工作于IBM、腾讯、华为等知名海内外公司
3.负责微信支付系统架构
4. 0-1打造华为数字化电商采购平台,有丰富的项目及团队管理经验
5. 主导顺丰IT系统重构、微服务化、上云• AWS Certified Solution Architect
6. 证书:托业英语730-855分;AWS解决方案架构师;IBM售前专家
7. 2004/2006两次外派美国工作,有海外工作背景
8. 英语可以作为工作语言、懂粤语
9.随时可入职
10.有运营的经验,产品上线后的反馈、数据运营分析,以及根据运营数据规划后续产品的优化迭代等
11.有运维+产品经验,在华为是产品和研发一起管, 后面自己做也是负责产品和研发; 之前在美泰和腾讯都有运维相关工作
问题回复:
1. 可以通过sap 自带的工具如data service, sap landscape transformation将数据加载到数据仓库中,支持增量抽取和实时数据流处理;
2. 也可以通过其他ETL工具,如kettle, flume, xdata等工具;
3. 也可以利用数据库一些同步功能获取增量数据;
4. 通过代码获取实时增量数据,如基于数据库触发器方式,基于日志方式等。
如果做不到实时性,我们需要分析具体原因,通常有以下原因:
1. 传输数据量大
2. 目标端机器处理能力问题
3. 带宽问题
4. 处理工具性能问题
5. 数据模型复杂,导致耗时较长,针对具体问题可以有针对性的解决方案,举例说:1. 数据量大, 可以多分批次、如果定时任务,可以缩短定时任务时间间隔,2. 提升目标机器处理性能 3. 增加带宽 4. 如果处理工具问题,可以升级服务器,单机部暑改成集群模式,提升性能 5. 简化数据模型,优化数据结构,减少数据冗余等
问题回复:
数仓可以用sap bw实现也可以用第三方的工具。源数据包含历史数据和实时数据,在数据仓库建模的时候就需要考虑把两种区分开,历史数据更新频率可以根据需要考虑日更或半天或者其他,对于实施抽取的数据综合考虑数据量大小,服务器性能,使用方向,范围,数据访问频率等因素来设计更新模式,主动抽取,被动同步等方式,同时考虑数据的细分粒度,维度来设计更新模式
问题回答:
(以下方案全部以SAP的产品为例子)
用SAP BW来建模和管理数据仓库结构,用SAP Data Service从SAP中抽取数据,并通过ETL根据数仓的结构和需求进行数据清洗和转换,处理完后储存到HANA当中。如需要实时数据,可以用SAP SLT来进行数据抽取,并配置好CDC功能,仅抽取增量数据。
数仓搭建好后可使用SAP Analytics Cloud、Business Objects或第三方工具来创建报表或仪表板供业务使用。
如果做不到实时,可考虑以下几点:
- 根据业务需求设置更新频率,如每小时、每15分钟等,以减轻服务器的负担,缩短数据更新的时间
- 优化ETL过程,简化数据处理逻辑,减少处理时间
- 多采用并行处理,例如把大表按时间或其他维度分区,分不同的数据流并行执行
- 利用分布式计算技术,配置多台 Data Service服务器,分配到不同节点上,用负载均衡动态分配资源
如果企业在使用HANA,可以用SAP SDI来做主要的数据集成的平台,SDI很好地支持实时和批量的数据集成,集成了Data Service和SLT的功能,支持多源数据,方便管理。
问题回复:
可以选择一些市场上比较好的etl工具
问题回复:
首先第一步:需要把客户针对于具体业务场景想要分析的相关所有的业务数据,把它做在数据架构的第一个层面上,就要做隔离;第二:设定一系列的数据算法和规则,然后去抽取,比方说。客户重点想要实时的一些部分场景的业务数据的一个计算的实时性;第三:再去通过SAP的系统本身的一个机制,把数据之间的设计和架构之间做完隔离之后,然后去按照一定的规则,如何去一步一步的进行一个快速的一个实时计算,基本上分为三步走。