TA的每日心情 | 开心 2024-9-19 21:14 |
---|
签到天数: 757 天 [LV.10]以坛为家III
管理员
- 积分
- 1312677
|
资源详情
EasyHadoop集群部署入门
1.文档概述
2.背景
3.名词解释
4.服务器结构
#Hadoop试验集群的部署结构
#系统和组建的依赖关系
#生产环境的部署结构
5.RedhatLinux基础环境搭建
#linux安装(vm虚拟机)
#配置机器时间同步
#配置机器网络环境
#配置集群hosts列表
#下载并安装Ja.vAJDK系统软件
#生成登陆密钥
#创建用户账号和Hadoop部署目录和数据目录
#检查基础环境
6.Hadoop单机系统安装配置
#Hadoop文件下载和解压
#配置hadoop-env.sh环境变量
#HadoopCommon组件配置core-site.xml
#HDFSNameNode,DataNode组建配置hdfs-site.xml
#配置MapReduce-JobTrackerTaskTracker启动配置
#Hadoop单机系统,启动执行和异常检查
#通过界面查看集群部署部署成功
#通过执行Hadooppi运行样例检查集群是否成功
#安装部署常见错误
7.Hadoop集群系统配置安装配置
#检查node节点linux基础环境是否正常,参考[linux基础环境搭建]一节。
#配置从master机器到node节点无密钥登陆
#检查master到每个node节点在hadoop用户下使用密钥登陆是否正常
#配置master集群服务器地址stop-all.shstart-all.sh的时候调用
#通过界面查看集群部署部署成功
#通过执行Hadooppi运行样例检查集群是否成功
8.自动化安装脚本
#master服务器自动安装脚本
Hive仓库集群部署入门
1.名词解释
2.Hive的作用和原理说明
#数据仓库结构图
#Hive仓库流程图
#hive内部结构图
3.Hive部署和安装
#安装Hadoop集群,看EasyHadoop安装文档。
#安装Mysql,启动Mysql,检查gc++包。
#解压Hive包并配置JDBC连接地址。
#启动HivethriftServer。
#启动内置的HiveUI。
4.HiveCli的基本用法
#登陆查询
#查询文件方式
#命令行模式
5.HQL基本语法(创建表,加载表,分析查询,删除表)
#创建表
6.使用Mysql构建简单数据集市
#Mysql的两种引擎介绍
#创建一个数据表使用Hivecli进行数据分析
#使用shell编写Hsql并使用HiveCli导出数据,使用Mysql命令加载到数据库中。
#使用crontab新增每日运行任务定时器
7.使用FineReport数据展现数据
#安装FineReport,使用注册码!
#使用FineReport,快速展现数据报表。
#FineReport的问题和局限
|
|