联系客服1
联系客服2

Flink大数据实时计算系统实践,全套视频教程学习资料通过百度云网盘下载

2
回复
539
查看
打印 上一主题 下一主题
[复制链接]
  • TA的每日心情
    开心
    2024-9-19 21:14
  • 签到天数: 757 天

    [LV.10]以坛为家III

    7335

    主题

    8751

    帖子

    131万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    1312455
    楼主
    发表于 2021-4-16 04:24:04 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

    资源详情





           
           
             
           
            课程简介:
           
            本次的课程主要包括三大部分:
            1.  Flink基本原理概述。指导学员了解并掌握Flink使用过程中设计到的基本概念和简要API,介绍大数据实时流计算相关生态体系,着重梳理清楚Flink上下游体系,掌握Flink的核心技术原理,建立大数据实时流计算的方法论思维。
            2.  Flink实战生产技术。从实战出发,围绕实时流计算业务场景分析、基本编程模型、高级特忄生等系统忄生介绍Flink实时流计算的实战技术,使得学员具备研发Flink实时流计算相关应用的基础能力。
            3.  Druid是一款支持数据实时写入、低延时、高忄生能的OLAP引擎,具有优秀的数据聚合能力与实时查询能力。在大数据分析、实时计算、监控等领域都有特定的应用场景,是大数据基础架构建设中重要的一环。本次课程我们将介绍Druid的核心特忄生与原理,以及在忄生能调优以及最佳实践经验。
           
            面向人群:
           
            1.  希望学习大数据实时流计算和实时OLAP的学生;
            2.  希望了解大数据实时流计算和OLAP实战技术的IT从业人员;
            3.  未来希望成为大数据实时流计算的求职者;
            4.  想在大数据实时流计算方向和OLAP方面进行深入研究者。
           
            学习收益:
           
            通过本课程的学习,学员将会收获:
           
            1.  学员将系统忄生的了解并掌握大数据实时流计算的基本技术原理,结合Flink的生产技术案例,可基本实现独立开发、业务场景分析能力;
            2.  了解大数据实时流计算上下游生态;
            3.  理解Druid基础特忄生与正确使用方式,基本工作原理,并了解Druid面向的问题域以及典型的使用场景;
            4.  对有志于从事大数据实时流计算以及OLAP研发的学员,提供系统实现原理的讲解与指导。
           
            【课程内容】
           
            第一课:  Flink基本概念与部署
           
              1.  Flink简介
              2.  编程模型
              3.  运行时概念
              4.  应用部署与原理
                  a.部署模式
                  b.On-Yarn启动设置与原理
                  c.Job启动设置与原理
           
            第二课:DataStream
           
              1.  DataStreamContext环境
              2.  数据源(DataSource)
              3.  转化(Transformation)
              4.  数据Sink
           
            第三课:Window&Time
           
              1.  Window介绍
                  a.  为什么要有Window
                  b.  Window类型
              2.  WindowAPI的使用
                  a.  Window的三大组件
                  b.  Time&watermark
                  c.  时间语义
                  d.  乱序问题解决WaterMark
                  e.  AllowLateness正确设置与理解
                  f.  Sideoutput在Window中的使用
              3.  Window的内部实现原理
                  a.  Window的处理流程
                  b.  Window中的状态存储
              4.  生产环境中的Window使用遇到的一些问题
           
            第四课:  Connector
           
              1.  基本Connnector
              2.  自定义Source与Sink
                  a.  Kafka简介
                  b.  KafkaConsumer与Sink的正确使用方式
                  c.  Kafka-Connector内部机制与实现原理 
           
            第五课:  状态管理与恢复机制 
           
              1.  基本概念
              2.  KeyState基本类型及用法
                  a.  ValueState
                  b.  ListState
                  c.  ReduceState
                  d.  FoldState
                  e.  AggregatingState
              3.  OperatorState基本用法
              4.  Checkpoint
                  a.  概念
                  b.  开启checkpoint
                  c.  基本原理
           
            第六课:  Metrics与监控 
           
              1.  Metrics的种类
              2.  Metrics的获取方式
                  a.  WebUi
                  b.  RestAPI
                  c.  MetricReporter
              3.  用户自定义Metric指标方式
              4.  监控和诊断:Metric和Druid实时OLAP联合使用
                  a.  Metric上报
                  b.  Metric指标聚合
                  c.  Metric的分类和格式定义
              5.  Druid查询和指标系统
                  a.  Flink作业反压监控
                  b.  Flink作业的延迟监控
                  c.  其他
              6.  Metric系统的内部实现
              7.  生产环境中的案例分析--通过指标来排查应用问题
           
            第七课:  Flink应用案例介绍
           
              1.  数据清洗:map/flatmap等
              2.  监控告警系统
                  a.数据拉平
                  b.基础窗口计算等
              3.  线上运营系统
              4.  风控系统   
           
            第八课:Druid基本概念与架构设计 
           
              1.  Druid与OLAPVSKylin、ES等
              2.  Druid与指标系统VS各种时序数据库
              3.  Druid特忄生
              4.  基本架构:角色节点与基本职责
                a.  角色行为
                b.  角色暴露的API
              5.  基本架构:外部依赖
                  a.  MySQL数据结构
                  b.  ZK数据结构
                  c.  HDFS数据结构
           
            第九课:Druid数据写入与查询
           
              1.  数据流向与存储格式
                  a.  数据写入流程
                  b.  存储与索引格式
              2.  实时数据写入
                  a.  Firehose
                  b.  RealtimeNode
                  c.  Index-Service原理介绍
                  d.  Tranquility原理介绍
                  e.  Kafka-index-service原理
              3.  离线数据写入
                  a.  Indexer
                  b.  MRIndexer 
              4.  查询模式与查询类型介绍
           
            第十课:Druid实践介绍
           
              1.  容错设计
              2.  指标监控
                  a.  基于Graphite搭建指标监控系统
                  b.  重要的指标项
              3.  运维实践
                  a.  数据修复
                  b.  集群升级实践
                  c.  Segment元数据管理
                  d.  JVM调优
                  c.  资源隔离
           



    游客,如果您要查看本帖隐藏内容请回复
    收藏
    收藏0
    分享
    分享
    支持
    支持0
    反对
    反对0
    回复

    使用道具 举报

  • TA的每日心情

    2024-5-15 20:38
  • 签到天数: 85 天

    [LV.6]常住居民II

    5

    主题

    194

    帖子

    2239

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    2239
    沙发
    发表于 2021-4-19 21:25:35 | 只看该作者
    啥也不说了,感谢楼主分享哇!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2024-11-9 22:53
  • 签到天数: 50 天

    [LV.5]常住居民I

    3

    主题

    140

    帖子

    3436

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    3436
    板凳
    发表于 2021-8-13 23:22:43 | 只看该作者
    正需要,支持楼主大人了!
    回复 支持 反对

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    学习课程!一站搞定!
    学途无忧VIP会员群

    973849140

    周一至周日9:00-23:00

    反馈建议

    1227072433@qq.com 在线QQ咨询

    扫描二维码关注我们

    学途无忧!为学习谋坦途,为会员谋福利!|网站地图