联系客服1
联系客服2

[大数据] Spark Streaming+Structured Streaming 实战大数据实时处理

49
回复
8389
查看
打印 上一主题 下一主题
[复制链接]
  • TA的每日心情
    开心
    2024-9-19 21:14
  • 签到天数: 757 天

    [LV.10]以坛为家III

    7335

    主题

    8751

    帖子

    131万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    1312455
    楼主
    发表于 2020-8-24 18:38:32 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

    〖课程介绍〗:, O2 B9 G0 s. Q  [) q
            随着云计算和大数据的快速发展,在企业中大数据实时处理场景的需求越来越多。本课针对企业级实时处理方案进行全方位的讲解,基于Spark3,在同一个项目中,学习两套实时处理的解决方案:Spark Streaming和Structured Streaming。在框架学习的基础上,不仅带你体验完整实时处理方案的全流程,真正所学即所用,还会为你梳理大数据的常见面试题、大厂的实时解决方案,带你跨过面试最后一公里。

    〖课程目录〗:
            第1章 【项目启动】项目背景及架构分析
            本章将介绍实战项目背景、数据流,并让大家对知晓在实际项目中应如何进行技术的选型以及项目架构的迭代过程。
    % B& J  m5 L' `, p6 l  t7 h  L
             1-1 课程概览 试看% l8 ?0 l( P, M8 n8 y7 j- {7 D
             1-2 ***学前必读***(助你平稳踩坑,畅学无忧,课程学习与解决问题指南)2 W% e  w9 l% v! q6 a
             1-3 课程目录  b: g/ C6 [% V/ Z' @
             1-4 项目目的- m. R( Q* s2 {: y0 u
             1-5 项目流程9 z1 ^8 s0 u* Q
             1-6 技术选型6 ^4 D0 o9 t5 m9 `1 y
             1-7 项目总体架构
             1-8 项目架构V1版本# S" L$ T) Y- V  {) W' S
             1-9 项目架构V2版本
            第2章 【环境部署】基础开发环境搭建4 A8 B1 k' A- N/ v$ N) [
            工欲利其事必先利其器,本章重点介绍项目实战中要使用的大数据框架的部署,基础不是很牢固的同学要认真看哦。

             2-1 课程目录. U4 _8 E/ q4 F
             2-2 OOTB环境的使用介绍
             2-3 JDK部署3 F1 W: A  Y7 L9 V8 Q5 x' Q0 s
             2-4 Scala部署' J% Z% C8 m; W, @, Q
             2-5 Maven部署(一定要仔细听)2 f: ~$ `4 J6 ^+ h" |& g
             2-6 Hadoop配置" L7 f: l! Z; y& h: T. S1 d
             2-7 Hadoop格式化&启停
             2-8 ZK部署7 t" _' `% _7 J. B# h
            第3章 【数据采集】构建日志服务器1 U' H& k3 }" D$ C# T% f: k4 _
            本章节讲解项目中要使用的数据是如何产生及落地的。我们将采用Spring Boot开发日志服务,将访问日志通过日志服务落地到日志服务器磁盘。& J6 a; v0 ?$ ]" H* c

             3-1 课程目录
             3-2 数据产生和上报流程
             3-3 构建多Module工程
             3-4 快速构建第一个Spring Boot应用程序
             3-5 SpringBoot热部署+ f0 D3 y" ^% K5 w/ P! I
             3-6 关于Annotation的补充
             3-7 yml配置文件的使用- H8 R- t+ w9 ~' R# C
             3-8 开发日志服务Controller
             3-9 客户端上报日志功能开发
             3-10 客户端与日志服务器联调测试
             3-11 客户端日志上报到日志服务器并落盘( \/ z2 E- ?+ f0 x6 _
             3-12 日志服务部署到服务器上运行并联调* D3 |2 C5 [# @/ l4 v+ I
             3-13 对接项目数据到日志服务器9 C6 f4 P. b3 i" T5 U6 g8 |
             3-14 作业1 E2 n0 R1 F8 z9 Y7 f
            第4章 【数据收集】基于Flume构建分布式日志收集- S$ z. g& f% t4 L5 W5 e: p8 m/ ^
            本章节讲解如何采用Flume来完成日志数据的收集工作。讲解Flume在生产上不同的场景的经典部署方案、Flume Agent的不同选型及配置、在生产环境Flume高可用的使用以及如何基于Flume进行二次开发,并使用Flume收集上一个章节中产生的日志数据。...! x0 N0 Q% U. J
    ; @: w+ {# Y* Z+ G- W
             4-1 课程目录% ]* R" m4 p* |& m
             4-2 产生背景
             4-3 采集和收集的区别* q* v  D% L9 t# U- {* |
             4-4 Flume概述, ^6 r$ {8 p( k% ^7 v6 Q! j5 z
             4-5 Flume版本迭代
             4-6 Flume体系架构与三大核心组件* Q# g+ E9 ~) X+ v  R( ]8 `
             4-7 业界数据收集框架对比 试看! V; A  h; A3 I# j) x
             4-8 Flume部署- c  q2 p; a; v4 p8 A7 W
             4-9 Flume Agent编程案例
             4-10 Event
             4-11 Flume经典部署方案0 O- p  l- }% q4 i  b' i4 @
             4-12 Flume收集文件数据到HDFS需求分析
             4-13 Flume收集文件数据到HDFS实现
             4-14 Flume收集文件夹数据到HDFS
             4-15 TailDirSource实战(非常重要)
             4-16 Flume拦截器二次开发需求分析% f  i( W9 `) T% I$ r7 N
             4-17 Flume自定义拦截器开发(非常重要)
             4-18 Flume自定义拦截器Agent配置(非常重要)- [0 }& `& {/ d/ u; Q/ t, J* L
             4-19 Flume自定义拦截器功能测试
             4-20 使用Flume收集日志服务器落地的日志数据
             4-21 面试题谈谈你对Flume高可用的看法(重要)% p) e7 k/ q/ v6 l2 A' Z7 |: e
             4-22 本章作业8 g, X/ v- B0 f7 g
             4-23 【夯实学习成果,攻克面试官】Flume面试题" x" L  T! y, h2 H% o2 S% _
            第5章 【消息队列】基于Kafka构建实时数据交换
            Kafka是大数据项目选型中使用的最多的消息队列框架,本章节要掌握Kakfa的部署、使用命令行和API的方式进行Kafka的相关操作,分析Kafka的数据存储是什么样,并重点分析一个高频面试题ack的使用。最终完成,使用Kafka对接上一个章节Flume数据到的数据。..., b% E9 g: u; f; k) J0 z- x  x
    3 }5 R* [0 f7 I: D1 I9 J3 }8 n
             5-1 课程目录
             5-2 Kafka概述; a3 z" _; l* W* p" _& `
             5-3 Kafka核心术语(重要)
             5-4 Kafka单Broker部署及使用
             5-5 Kafka多Broker部署及使用5 G9 q& x. N/ `' Y
             5-6 容错性测试
             5-7 Kafka Producer API编程- b0 A: F0 C- B+ @* k
             5-8 Kafka Consumer API编程(重要)
             5-9 Kafka对接Flume收集的数据# K: K( r+ g9 C" R
             5-10 对接项目数据到Kafka
             5-11 Kafka数据存储(非常重要) 试看7 v, Q! A5 F' f5 g2 {6 I' G) o
             5-12 面试题谈谈你对acks的看法(非常重要)7 U4 d( C+ E: z9 a- b
             5-13 【夯实学习成果,攻克面试官】Kafka面试题# P/ t: H# ?1 e5 {
            第6章 【实时流处理】Spark Streaming核心API及编程初探5 s* I) B) S5 L
            本章节会先带领大家知晓SparkStreaming能做什么,快速构建第一个Spark Streaming的应用程序并在本地和打包在服务器上运行,然后重点讲解基于开发Spark Streaming应用程序的核心概念,并详解如何对接socket和HDFS文件系统上的数据进行处理。如何使用Spark Streaming进行状态相关的处理以及整合Spark SQL的使用。...
    / e* o# n8 R" @% V
            第7章 【实时流处理】应用Spark Streaming实现数据分析及调优
            本章节将讲解使用Spark Streaming进行项目实战。重点分析Spark Streaming如何对接Kafka的数据进行消费以及偏移量的自定义维护管理,使用Spark Streaming进行数据清洗以及项目功能的实现。并且,在完成功能的基础上如何进行其他功能的扩展、常用的调优点以及大数据集群规划。本章节是线上开发以及面试过程中必须掌握的!..., Q+ e! P/ O' B: n

            第8章 【实时流处理】Structured Streaming企业级应用
            本章节将介绍Spark中新的流式模块Structured Streaming。通过本章学习,大家会知晓与Spark Streaming的优势体现在哪、掌握Structured Streaming的编程模型以及核心概念、基于EventTime的实时处理方式、对接常用数据源以及Streaming DataFrame编程、对接常用的Sink、Watermark机制和处理延迟数据的解决方案。...1 ~/ U8 _" L" k/ t9 J3 N

            第9章 【实时流处理】应用Structured Streaming实现数据分析及调优
            本掌中将使用Structured Streaming框架来实现Spark Streaming项目中的清洗和统计功能,做到举一反三的功效,使得大家会使用不同的框架来进行相关业务的开发和处理。
    3 M# F4 V* z7 D% Z* H" ^1 d; |
            第10章 【数据可视化】使用Echarts完成数据展示4 {  l6 P, u1 w; g9 p  _
            本章节将对使用Spark Streaming以及Structured Streaming统计分析的结果进行可视化展示,采用前后端分离,请求后台查询服务接口并通过Echarts进行展示【前端部分采用React封装Echarts,源码随课赠送】。

            第11章 【拓展&经验分享】核心梳理及面试指导/ |2 j& m! c  d/ p
            本章节在对课程重难点内容进行总结的同时,重点分享面试过程中HR常考点、准备大数据简历注意要素、以及实时处理在大厂中的应用。0 i7 N& P2 R( x
    游客,如果您要查看本帖隐藏内容请回复


    收藏
    收藏1
    分享
    分享
    支持
    支持0
    反对
    反对0
    回复

    使用道具 举报

  • TA的每日心情
    郁闷
    2020-11-20 11:57
  • 签到天数: 108 天

    [LV.6]常住居民II

    1

    主题

    173

    帖子

    4833

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    4833
    沙发
    发表于 2020-8-25 08:39:50 | 只看该作者
    正需要,支持楼主大人了!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    郁闷
    2024-7-9 11:05
  • 签到天数: 72 天

    [LV.6]常住居民II

    1

    主题

    174

    帖子

    4306

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    4306
    板凳
    发表于 2020-8-25 22:09:33 | 只看该作者
    啥也不说了,感谢楼主分享哇!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    难过
    2021-3-9 15:56
  • 签到天数: 69 天

    [LV.6]常住居民II

    1

    主题

    97

    帖子

    3882

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    3882
    地板
    发表于 2020-8-26 09:30:11 | 只看该作者
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    慵懒
    2021-4-21 21:36
  • 签到天数: 24 天

    [LV.4]偶尔看看III

    2

    主题

    33

    帖子

    2648

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    2648
    5#
    发表于 2020-8-27 18:04:29 来自手机 | 只看该作者
    谢谢分享谢谢这这这
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2022-3-10 13:42
  • 签到天数: 452 天

    [LV.9]以坛为家II

    10

    主题

    652

    帖子

    3855

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    3855
    6#
    发表于 2020-9-1 01:32:31 | 只看该作者
    2222222222222222222222222222222222222啥也不说了,感谢楼主分享哇!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2022-3-10 13:42
  • 签到天数: 452 天

    [LV.9]以坛为家II

    10

    主题

    652

    帖子

    3855

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    3855
    7#
    发表于 2020-9-1 23:45:37 | 只看该作者
    啥也不说了,感谢楼主分享哇!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2022-6-3 12:37
  • 签到天数: 61 天

    [LV.6]常住居民II

    4

    主题

    157

    帖子

    3714

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    3714
    8#
    发表于 2020-9-2 10:14:04 | 只看该作者
    Spark Streaming+Structured Streaming
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    难过
    2020-9-4 00:01
  • 签到天数: 53 天

    [LV.5]常住居民I

    1

    主题

    93

    帖子

    3517

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    3517
    9#
    发表于 2020-9-4 00:03:42 | 只看该作者
    啥也不说了,感谢楼主分享哇!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    擦汗
    2024-3-24 22:17
  • 签到天数: 98 天

    [LV.6]常住居民II

    2

    主题

    249

    帖子

    2594

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    2594
    10#
    发表于 2020-9-4 20:33:59 | 只看该作者
    啥也不说了,感谢楼主分享哇!
    回复 支持 反对

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    学习课程!一站搞定!
    学途无忧VIP会员群

    973849140

    周一至周日9:00-23:00

    反馈建议

    1227072433@qq.com 在线QQ咨询

    扫描二维码关注我们

    学途无忧!为学习谋坦途,为会员谋福利!|网站地图