从零起步大数据Spark实战高手之路,全套视频教程学习资料通过百度云网盘下载

admin

资源详情


内容介绍

从零起步，分阶段无任何障碍逐步掌握大数据统一计算平台Spark，从Spark框架编写和开发语言Scala开始，到Spark企业级开发，再到Spark框架源码解析、Spark与Hadoop的融合、商业案例和企业面试，一次忄生彻底掌握Spark，成为云计算大数据时代的幸运儿和弄潮儿，笑傲大数据职场和人生！

学习目标

1，掌握Scala；
2，精通Spark企业及开发；
3，精通Spark框架源码实现；
4，掌握Spark与Hadoop融合和商业案例；
5，轻松加入任何类型和难度的Spark面试；

学习建议

1，从第一阶段掌握Scala开始，逐步深入；
2，跟着视频一步步动手实践

【课程目录】

1.熟练的掌握Scala语言系列课

安装Scala开发环境
Scala常用类型介绍
动手体验值与变量的声明
动手体验Scala函数与方法的定义和使用
动手编写条件表达式
循环表达式与For循环的使用
默认参数、带名参数及变长参数
lazy值
异常处理
数组
Map操作
类的定义：属忄生与方法
不同的构造器
object对象
apply方法
方法重写与字段重写
抽象类
trait
包的定义与使用
包对象定义与使用
文件访问
函数的定义
值函数
匿名函数
闭包
SAM与Curry
高阶函数示例
集合
序列
可变列表与不可变列表
集合操作
caseclass
泛型类
泛型函数
Lowerbounds与Upperbounds
Viewbounds
Contextbounds
协变与逆变
隐式转换
隐式参数
隐式类
创建actor
actor的消息机制
共享线程
多个actor协同工作
actor使用最佳实践
隐式转换规则
隐式参数
上下文界定
隐式参数下的隐式转换
Scala隐式转发最佳实践
Akka在分布式系统中的巨大价值
Akka架构
Akka内核剖析
Akka案例实战

2.精通Spark提供给开发者API系列课程

动手构建Spark集群
测试Spark集群
程序数据的来源：File、HDFS、HBase、S3等
IDE环境构建
MA危en
sbt
编写并部署Spark程序的实例
源码剖析SparkContext
加载数据成为RDD
DAG
深入实战各种ScalaRDDFunction
RDD的优化问题
编写可测试的Spark程序
Spark测试框架解析
Spark测试代码实战
Logs
内存
序列化
安全

3.精通Spark内核系列课程

Spark生态系统剖析
Spark的架构设计剖析
RDD计算流程解析
Spark的出色容错机制
Cache的内部实现揭秘
CheckPoint内部实现揭秘
Broadcast的实现揭秘
生产环境下的Broadcast
transformation
action
lineage
宽依赖与窄依赖
任务调度流程分析
DAGScheduler
TaskScheduler
Task内部揭秘
累加器的机制和使用的最佳实践
RDD的设计和源码实现
Spark作业提交过程源码剖析
Task执行过程源码剖析
Scheduler模块源码剖析
如何建立RDD之间的关系
细说RDD的transformation
揭秘combineByKey
从部署层次细说Job的部署和执行细节
Job的逻辑执行和物理执行
复杂的Job的实现
Job的物理执行内幕
生产和提交Job的内幕
Shuffle的工作机制
细说Shuffle操作
深入解析Shuffle
Shuffle的忄生能优化
Job的提交和接收内幕揭秘
Task内幕揭秘
从集群工作的角度看Shuffle

4.掌握基于Spark上的核心框架的使用系列课程(sparksql、GraphX)

SparkSQL原理和实现
使用SparkSQL操作文本文件和DSL
SparkSQL操作JSON和Hive
SparkGraphX原理和实现
PageRank
TriangleCount
Tableoperator和GraphOperator
Verticies、Edges、Triplets
动手编写GraphX实例
图操作之PropertyOperator、StructuralOperator

游客，如果您要查看本帖隐藏内容请回复