TA的每日心情 | 开心 2024-9-19 21:14 |
---|
签到天数: 757 天 [LV.10]以坛为家III
管理员
- 积分
- 1313237
|
资源详情
第一阶段Spark基础入门
第1课Spark系统概述与编程接口
知识点1:Spark系统概述
知识点2:SparkRDD分区及依赖关系
知识点3:RDDAPI-transformation、action
实战项目:PageRank中的依赖关系
第2课Spark运行模式及原理
知识点1:Spark运行模式
知识点2:Spark基本工作流程
知识点3:SparkShuffle讲解
实战项目:YARNcluster模式--部署、运行、内部实现及其原理
第二阶段Spark进阶:存储、调度、忄生能调优
第3课Spark存储、调度、与监控分析
知识点1:存储管理模块整体架构
知识点2:RDD持久化
知识点3:Shuffle数据持久化
知识点4:广播(Broadcast)变量持久化
知识点5:Spark调度相关流程
实战项目:Spark监控管理
第4课Spark忄生能调优
知识点1:开发调优
知识点2:资源调优
知识点3:数据倾斜调优
实战项目:shuffle调优
第三阶段Spark深入:即时查询、流计算与图计算
第5课Spark即时查询讲解
知识点1:SQLContext及DataFrame的介绍
知识点2:常用的查询操作
知识点3:流计算系统的对比
知识点4:Sparkstreaming的介绍与数据处理流程
知识点5:流数据源的接入
知识点6:transformation与window操作
实战项目:SQL优化配置、及流计算项目的部署与调优
第6课Spark图计算讲解
知识点1:属忄生图的介绍
知识点2:edge、vertex、triplet介绍与创建
知识点3:属忄生图的操作
知识点4:图算法介绍
实战项目:图的调优
第四阶段Spark机器学习实战
第7课Spark机器学习讲解
知识点1:Mllib机器学习库介绍
知识点2:基本的统计分析功能
知识点3:基本的机器学习库使用介绍
知识点4:模型的评价标准库使用介绍
实战项目:使用逻辑回归完成KDD99的分类问题
第8课Spark机器学习应用
实战项目:使用Mllib的树模型完成分类问题
实战项目:使用Mllib搭建推荐系统
|
|