一、项目背景
企业数据规模与业务复杂度持续提升,传统数据仓库与数据湖各自独立建设导致数据冗余、开发重复、运维成本高。华为 FusionInsight MRS 提供湖仓一体一体化能力,支持数据入湖、实时计算、数仓建模、统一服务全流程贯通。企业大数据工程师普遍缺乏湖仓一体架构设计、数据入湖治理、实时离线一体化开发等技能,难以实现高效数据架构升级。本培训面向湖仓一体工程师岗位,构建企业级湖仓一体全流程建设与落地能力,助力企业实现数据架构现代化升级。
二、项目设计
【培训时长】不限│2天起,可根据培训需求和工学矛盾定制培训时长
【培训人数】不限│除委托单位安排集中培训外,可根据培训需求、区域发展需要开展多家单位联合组班,组班可由校方推荐,也可自行联系
【培训形式】不限│现场教学、送教上门、线上教学、面授学习、分段式专题培训等多种方式相结合,确保培训实效
【培训师资】遴选华为大数据运维专家、集群架构师、运维自动化工程师等组成一流师资队伍
【培训费用】根据培训人数及具体培训方案而定
【培训证书】沈阳工学院颁发的 “沈阳工学院继续教育结业证书”
【课程设置】以下课程仅供参考,可根据委托单位量身定制培训课程
三、培训内容
| 课程模块 |
课程内容 |
| 湖仓一体架构理念与华为方案 |
数据湖与数据仓库演进历程与技术对比,湖仓一体核心架构与技术优势,华为 MRS 湖仓一体产品架构与能力全景,企业湖仓一体建设路径与实施策略,湖仓一体典型业务场景与价值分析 |
| 数据入湖规划与治理实施 |
数据入湖标准规范与接入流程设计,多源数据入湖方式(离线 / 实时 / CDC),数据入湖清洗、标准化与元数据挂载,数据湖存储策略、分区设计与生命周期管理,数据湖权限统一管控与安全治理 |
| 湖仓一体数据开发与融合 |
湖内数据分层与数仓模型融合设计,基于数据湖的实时数仓与离线数仓一体化构建,Iceberg/Hudi 事务数据湖表应用与开发,数据湖与数仓数据互通与共享机制,湖仓一体 SQL 统一查询与开发实践 |
| 实时离线一体化计算 |
实时入湖 + 离线计算一体化流程设计,Flink+Spark 在湖仓一体中的协同应用,增量数据同步与 CDC 实时接入,近实时分析与高并发服务构建,数据链路一致性与 Exactly-Once 保障 |
| 湖仓一体性能优化与运维 |
湖仓一体存储计算分离架构优化,数据倾斜、小文件问题治理与调优,查询加速、索引构建与缓存策略,湖仓一体集群监控与资源调度优化,成本优化与资源利用率提升方案 |
| 行业湖仓一体实战落地 |
制造业生产数据湖仓一体建设,金融交易数据湖仓一体实时数仓开发,零售用户行为湖仓一体精准营销,政务数据资源湖仓一体共享开放,湖仓一体项目实施、验收与运营 |
四、联系方式
沈阳工学院继续教育学院办公室电话:024-56618988 联系邮箱:2279497336@qq.com
审核校对/王一迪 杨玥 李康举