一、项目背景
企业实时业务场景(实时风控、实时推荐、设备监控)需求激增,华为实时大数据技术(Flink、Kafka、Spark Streaming)成为核心支撑。实时大数据开发工程师需具备低延迟流数据处理能力,传统大数据工程师缺乏流处理架构设计、状态管理、Exactly-Once 语义实现等技能,难以满足企业实时业务的高可靠、低延迟需求。本培训面向实时大数据开发工程师岗位,掌握华为实时大数据全流程开发技能,支撑企业实时业务高效落地。
二、项目设计
【培训时长】不限│2天起,可根据培训需求和工学矛盾定制培训时长
【培训人数】不限│除委托单位安排集中培训外,可根据培训需求、区域发展需要开展多家单位联合组班,组班可由校方推荐,也可自行联系
【培训形式】不限│现场教学、送教上门、线上教学、面授学习、分段式专题培训等多种方式相结合,确保培训实效
【培训师资】遴选华为大数据运维专家、集群架构师、运维自动化工程师等组成一流师资队伍
【培训费用】根据培训人数及具体培训方案而定
【培训证书】沈阳工学院颁发的 “沈阳工学院继续教育结业证书”
【课程设置】以下课程仅供参考,可根据委托单位量身定制培训课程
三、培训内容
| 课程模块 |
课程内容 |
| 实时大数据架构基础 |
流处理与批处理架构差异与选型,华为实时大数据生态(Kafka/Flink/Spark Streaming),实时数据采集、传输、计算、存储全流程,低延迟、高可靠、高吞吐流处理设计原则,实时业务场景(风控 / 推荐 / 监控)需求分析 |
| Kafka 消息队列开发 |
Kafka 集群部署、topic 与分区设计,生产者 / 消费者 API 开发与配置优化,消息可靠性投递与 Exactly-Once 语义实现,消费者组、位移管理与回溯消费,Kafka Streams 轻量级流处理开发 |
| Flink 流处理开发 |
Flink 核心概念(流 / 窗口 / 时间 / 状态),DataStream API 编程与算子开发,窗口计算(滚动 / 滑动 / 会话)与 Watermark 机制,状态管理与 Checkpoint/Savepoint 配置,Flink SQL 实时数据查询与分析 |
| 实时数据应用开发 |
实时用户行为分析与标签计算,实时风控规则引擎与异常检测,实时推荐流处理与特征更新,设备实时监控与告警规则开发,实时数据写入与结果存储(HBase/ClickHouse) |
| 性能优化与可靠性保障 |
反压机制与背压问题排查,数据倾斜与热点分区优化,Checkpoint 调优与状态后端选型,作业高可用配置与故障恢复,实时作业监控与延迟告警 |
| 行业实时实战案例 |
金融实时反欺诈与交易监控,电商实时推荐与用户行为分析,工业设备实时监控与故障预警,政务实时舆情与事件感知,实时数仓建设与实时报表开发 |
四、联系方式
沈阳工学院继续教育学院办公室电话:024-56618988 联系邮箱:2279497336@qq.com
审核校对/姚剑 杨玥 李康举