TA的每日心情 | 开心
2024-9-19 21:14 |
|---|
签到天数: 757 天 [LV.10]以坛为家III
管理员
 
- 积分
- 1312455
|
资源详情
课程简介：
本次的课程主要包括三大部分：
1.xa0xa0Flink基本原理概述。指导学员了解并掌握Flink使用过程中设计到的基本概念和简要API，介绍大数据实时流计算相关生态体系，着重梳理清楚Flink上下游体系，掌握Flink的核心技术原理，建立大数据实时流计算的方法论思维。
2.xa0xa0Flink实战生产技术。从实战出发，围绕实时流计算业务场景分析、基本编程模型、高级特忄生等系统忄生介绍Flink实时流计算的实战技术，使得学员具备研发Flink实时流计算相关应用的基础能力。
3.xa0xa0Druid是一款支持数据实时写入、低延时、高忄生能的OLAP引擎，具有优秀的数据聚合能力与实时查询能力。在大数据分析、实时计算、监控等领域都有特定的应用场景，是大数据基础架构建设中重要的一环。本次课程我们将介绍Druid的核心特忄生与原理，以及在忄生能调优以及最佳实践经验。面向人群：
1.xa0xa0希望学习大数据实时流计算和实时OLAP的学生；
2.xa0xa0希望了解大数据实时流计算和OLAP实战技术的IT从业人员；
3.xa0xa0未来希望成为大数据实时流计算的求职者；
4.xa0xa0想在大数据实时流计算方向和OLAP方面进行深入研究者。学习收益：
通过本课程的学习，学员将会收获：
1.xa0xa0学员将系统忄生的了解并掌握大数据实时流计算的基本技术原理，结合Flink的生产技术案例，可基本实现独立开发、业务场景分析能力；
2.xa0xa0了解大数据实时流计算上下游生态；
3.xa0xa0理解Druid基础特忄生与正确使用方式，基本工作原理，并了解Druid面向的问题域以及典型的使用场景；
4.xa0xa0对有志于从事大数据实时流计算以及OLAP研发的学员，提供系统实现原理的讲解与指导。【课程内容】第一课：xa0xa0Flink基本概念与部署
xa0xa01.xa0xa0Flink简介
xa0xa02.xa0xa0编程模型
xa0xa03.xa0xa0运行时概念
xa0xa04.xa0xa0应用部署与原理
xa0xa0xa0xa0xa0xa0a.部署模式
xa0xa0xa0xa0xa0xa0b.On-Yarn启动设置与原理
xa0xa0xa0xa0xa0xa0c.Job启动设置与原理第二课：DataStream
xa0xa01.xa0xa0DataStreamContext环境
xa0xa02.xa0xa0数据源(DataSource)
xa0xa03.xa0xa0转化(Transformation)
xa0xa04.xa0xa0数据Sink第三课：Window&Time
xa0xa01.xa0xa0Window介绍
xa0xa0xa0xa0xa0xa0a.xa0xa0为什么要有Window
xa0xa0xa0xa0xa0xa0b.xa0xa0Window类型
xa0xa02.xa0xa0WindowAPI的使用
xa0xa0xa0xa0xa0xa0a.xa0xa0Window的三大组件
xa0xa0xa0xa0xa0xa0c.xa0xa0时间语义
xa0xa0xa0xa0xa0xa0d.xa0xa0乱序问题解决WaterMark
xa0xa0xa0xa0xa0xa0e.xa0xa0AllowLateness正确设置与理解
xa0xa0xa0xa0xa0xa0f.xa0xa0Sideoutput在Window中的使用
xa0xa03.xa0xa0Window的内部实现原理
xa0xa0xa0xa0xa0xa0a.xa0xa0Window的处理流程
xa0xa0xa0xa0xa0xa0b.xa0xa0Window中的状态存储
xa0xa04.xa0xa0生产环境中的Window使用遇到的一些问题第四课：xa0xa0Connector
xa0xa01.xa0xa0基本Connnector
xa0xa02.xa0xa0自定义Source与Sink
xa0xa0xa0xa0xa0xa0a.xa0xa0Kafka简介
xa0xa0xa0xa0xa0xa0b.xa0xa0KafkaConsumer与Sink的正确使用方式
xa0xa0xa0xa0xa0xa0c.xa0xa0Kafka-Connector内部机制与实现原理xa0第五课：xa0xa0状态管理与恢复机制xa0
xa0xa01.xa0xa0基本概念
xa0xa02.xa0xa0KeyState基本类型及用法
xa0xa03.xa0xa0OperatorState基本用法
xa0xa0xa0xa0xa0xa0a.xa0xa0概念
xa0xa0xa0xa0xa0xa0b.xa0xa0开启checkpoint
xa0xa0xa0xa0xa0xa0c.xa0xa0基本原理第六课：xa0xa0Metrics与监控xa0
xa0xa01.xa0xa0Metrics的种类
xa0xa02.xa0xa0Metrics的获取方式
xa0xa03.xa0xa0用户自定义Metric指标方式
xa0xa04.xa0xa0监控和诊断:Metric和Druid实时OLAP联合使用
xa0xa0xa0xa0xa0xa0a.xa0xa0Metric上报
xa0xa0xa0xa0xa0xa0b.xa0xa0Metric指标聚合
xa0xa0xa0xa0xa0xa0c.xa0xa0Metric的分类和格式定义
xa0xa05.xa0xa0Druid查询和指标系统
xa0xa0xa0xa0xa0xa0a.xa0xa0Flink作业反压监控
xa0xa0xa0xa0xa0xa0b.xa0xa0Flink作业的延迟监控
xa0xa0xa0xa0xa0xa0c.xa0xa0其他
xa0xa06.xa0xa0Metric系统的内部实现
xa0xa07.xa0xa0生产环境中的案例分析--通过指标来排查应用问题第七课：xa0xa0Flink应用案例介绍
xa0xa01.xa0xa0数据清洗：map/flatmap等
xa0xa02.xa0xa0监控告警系统
xa0xa0xa0xa0xa0xa0a.数据拉平
xa0xa0xa0xa0xa0xa0b.基础窗口计算等
xa0xa03.xa0xa0线上运营系统
xa0xa04.xa0xa0风控系统xa0xa0xa0第八课：Druid基本概念与架构设计xa0
xa0xa01.xa0xa0Druid与OLAPVSKylin、ES等
xa0xa02.xa0xa0Druid与指标系统VS各种时序数据库
xa0xa03.xa0xa0Druid特忄生
xa0xa04.xa0xa0基本架构:角色节点与基本职责
xa0xa0xa0xa0a.xa0xa0角色行为
xa0xa0xa0xa0b.xa0xa0角色暴露的API
xa0xa05.xa0xa0基本架构:外部依赖
xa0xa0xa0xa0xa0xa0a.xa0xa0MySQL数据结构
xa0xa0xa0xa0xa0xa0b.xa0xa0ZK数据结构
xa0xa0xa0xa0xa0xa0c.xa0xa0HDFS数据结构第九课：Druid数据写入与查询
xa0xa01.xa0xa0数据流向与存储格式
xa0xa0xa0xa0xa0xa0a.xa0xa0数据写入流程
xa0xa0xa0xa0xa0xa0b.xa0xa0存储与索引格式
xa0xa02.xa0xa0实时数据写入
xa0xa0xa0xa0xa0xa0c.xa0xa0Index-Service原理介绍
xa0xa0xa0xa0xa0xa0d.xa0xa0Tranquility原理介绍
xa0xa0xa0xa0xa0xa0e.xa0xa0Kafka-index-service原理
xa0xa03.xa0xa0离线数据写入
xa0xa04.xa0xa0查询模式与查询类型介绍第十课：Druid实践介绍
xa0xa01.xa0xa0容错设计
xa0xa02.xa0xa0指标监控
xa0xa0xa0xa0xa0xa0a.xa0xa0基于Graphite搭建指标监控系统
xa0xa0xa0xa0xa0xa0b.xa0xa0重要的指标项
xa0xa03.xa0xa0运维实践
xa0xa0xa0xa0xa0xa0a.xa0xa0数据修复
xa0xa0xa0xa0xa0xa0b.xa0xa0集群升级实践
xa0xa0xa0xa0xa0xa0c.xa0xa0Segment元数据管理
xa0xa0xa0xa0xa0xa0d.xa0xa0JVM调优
xa0xa0xa0xa0xa0xa0c.xa0xa0资源隔离
|
|
发表于 2021-4-19 09:09:52
发表于 2021-4-19 21:25:04
