TA的每日心情 | 开心 2024-9-19 21:14 |
---|
签到天数: 757 天 [LV.10]以坛为家III
管理员
- 积分
- 1313237
|
资源详情
课程介绍:
整套课程从hadoop入门开始,由浅入深,内置“hadoop源码解析与企业应用开发实战”,“Hive开发实战”,“Hbase开发实战”,“Spark,mahout,sqoop,storm诸模块开发实战”。因为这个课程有4个板块组成,所以学员可以按照自己的实际情况选择学习。例如,对于只需要了解hadoop基本编程的人,只需要选择“hadoop源码解析与企业应用开发实战”模块就可以了;对于立志于从事大数据领域的零起点人员,可以选择四个板块依次学习;对于已经有一定基础的hadoop开发人员,你可以根据自己的情况,选择学习模块,而不必4个板块从头开始学。
第一部分内容:
I.Hadoop的起源与生态系统介绍。要点:
了解什么是大数据;
Google的三篇论文;
围绕Hadoop形成的一系列的生态系统;
各个子项目简要介绍
II.Hadoop集群配置与搭建。要点:
Hadoop安装与部署;
如何写配置文件;
运行简单的wordcount程序;
Hadoop程序结构介绍实战:
Hadoop系统的安装与部署;
编写配置文件;
编写运行简单的wordcount程序。
预期收获:
了解什么是大数据以及大数据和hadoop的关系;
了解hadoop本身;
学会Hadoop系统的安装和部署;
学会配置hadoop系统;
学会编写简单的wordcount程序;
第二部分内容:
III.Common组件和HDFS组件原理及体系结构介绍。要点:
HadoopIO机制;
序列化;
压缩;
RPC;
HDFS副本机制;
HDFS读写机制;
块选择策略;
预期收获:
掌握common组件和HDFS组件;
了解Hadoop的IO机制;
第三部分内容:
IV.MapReduce2.0组件原理及体系架构介绍。要点:
MapReduce工作原理;
类型与格式;
JT内部实现;
TT内部实现;
Task运行过程分析;
V.MapReduce2.0编程实战。要点:
Pipes编程;
Streaming编程;
动手编写MapReduce程序;
实战:
MapReduce2.0编程(Pipes,Streaming);
编写MapReduce程序;
预期收获:
彻底掌握MapReduce这个关键模块;
第四部分内容:
VI.Hadoop集群管理与安全机制分析。要点:
Hadoop集群管理机制;
Hadoop现有安全机制
VII.YARN及ResourcManager组件。要点:
YARN/MRv2环境搭建与部署;
ResourceManager组件的分析与实战;
实战:
动手搭建YARN环境
预期收获:
掌握Hadoop的集群管理机制;
了解Hadoop现有的安全机制;
掌握YARN和ResourceManager组件。
-------------------课程目录-------------------
课时1免费试听.doc
课时2免费试听二.doc
课时3付费学员服务指引.doc
课时4课前环境准备.doc
课时5参考资料.doc
课时6Hadoop开源软件及其生态系统.A危i
课时7HDFS集群的安装与部署.A危i
课时8MapReduce集群的安装与部署.A危i
课时9阅读练习Hadoop伪分布式集群部署参考文档.pdf
课时9阅读练习ssh实现Linux无密码访问.pdf
课时10第一周练习.doc
课时11Hadoop架构答疑.A危i
课时12HDFS架构、SNN、副本放置策略.A危i
课时13HDFSAPI.A危i
课时14练习2:HDFS组件分析1.doc
课时15本周答疑.A危i
课时16准备:JNI编程基础.A危i
课时17HadoopIO.A危i
课时18HDFS压缩.A危i
课时19HDFS完整忄生.A危i
课时20HDFS序列化.A危i
课时21练习3HDFS详细分析2.doc
课时22HDFS基于文件的数据结构.A危i
课时23HadoopRPC远程方法调用.A危i
课时24练习4.doc
课时25MapReduceAPI及工作流程(1).A危i
课时25MapReduceAPI及工作流程(2).A危i
课时26MapReduce工作原理(2):错误处理、作业调度、Shuffle和Sort.A危i
课时27MapReduce类型与格式(1).A危i
课时27MapReduce类型与格式(2).A危i
课时28练习5:MapReduce工作原理、流程.doc
课时29MapReduce重要组件_MapReduceCombiner组件分析.A危i
课时30MapReduce重要组件_MapReducePartitioner组件.A危i
课时31MapReduce重要组件_MapReduceRecordreader组件(2).A危i
课时32练习6:MapReduce重要组件.doc
课时33MapReduce计数器.A危i
课时34MapReduceJoin.A危i
课时35Map端Join.A危i
课时36MapReduceSort.A危i
课时37HadoopPipes_Streaming高级编程.A危i
课时38练习7:MapReduce编程.doc
课时39Hadoop集群管理与安全.A危i
课时40Hbase.A危i
课时41练习8:HBase.doc
课时42Yarn基础.A危i
课时43spark讲解.A危i
|
|