十八掌徐培成倾力打造大数据开发,全套视频教程学习资料通过百度云网盘下载

admin

资源详情





       
         
       
        课程涵盖Hadoop大数据生态圈全方位剖析，做到知识无死角，挑战高薪大数据职位；循序渐进，由浅入深学习大数据技能，大数据处理技术方方面面一览无余，积跬步以至千里。企业案例，理论与实际相结合，技术与操作同进行，学以致用，止于至善。从内到外理解大数据各种技术，HBase，Hive，Pig，Zookeeper等等技术源码级传授，从无到有掌握Hadoop技术。
       
         
       
        【课程内容】
       
        ------------------大数据JA危a基础------------------
       
       
        第一天
       
        01.类型转换
        02.归档分析与实现
        03.解档程序
        04.使用zipOuputStream压缩文件流
        05.使用zipInputStream使用解压缩
        06.多线程同步问题
        07.多线程同步问题-线程死锁
        08.集合-ArrayList-linkedList
        09.IDE-eclipse环境处理
       
        第二天
       
        01.多线程和尚馒头问题
        02.hashcode原理-hashmap-hashset
        03.arrayList-linkedList-equals-hashcode
        04.jvm栈溢出
        06.jvm内部结构-jconsole-jvm虚拟机调参
        07.jvmclassloader类加载过程
        08.tcp-ip-OSI七层协议-三次握手
       
        第三天
       
        01.udp发送和接受
        02.屏广过程分析
        03.屏广过程分析-教师端程序
        04.屏广过程分析-学生端接受程序分析和实现
        05.屏广-学生端UI实现-增加压缩机制
        05.屏广-学生端UI实现-测试通过
        06.QQ通信-分析程序
        07.QQ通信-消息实现-消息工厂-消息类-消息解析-消息转换
        08.QQ通信-消息转换-解析2
       
        第四天
       
        01.客户端解析服务器消息
        02.客户端消息转换-流基础
        03.客户端消息通信-退出刷新
        04.私聊窗口实现-刷新好友列表
       
        第五天
       
        01.设计模式-oop部分
        02.OOP-2
        03.NIO-ByteBuffer-FileChannel
        04.NIO-MappedFileBuffer-离堆内存
        05.NIO-离堆内存回收
        06.NIO-ServerSocketChannel-Selector-SocketChannel
        07.NIO-SocketChannel
        08.JDK动态代理
       
        ------------------大数据Linux基础------------------
       
        第一天
       
        01..vmware安装-centos安装
        02..CentOS基本命令
       
        第二天
       
        01.centos命令基础
        02.centos命令-文件类型-权限
        03.centos网络连接模式-虚拟网络编辑
        04.centos网路配置-域名解析-光驱挂载
        05.centos虚拟机增强工具的安装-文本模式的安装
       
        第三天
       
        01.符号连接-sudoers
        02.进程查看-主机名-dirname-basename-磁盘分区
        03.hostname-hosts-useradd-userdel
        04.nc
        05.nc传输文件-centosmin安装
       
        第四天
       
        01.CentOS-yum源修改-yum命令
        02.CentOS-iso文件制作
        03.CentOS-min版虚拟机增强
       
        ------------------大数据离线计算-Hadoop------------------
       
        第一天
       
        01.大数据介绍
        02.hadoop介绍-jdk安装
        03.hadoop安装-配置(独立模式-伪分布)
       
        第二天
       
        01.伪分布式启动-fs格式化-webui
        02.完全分布式-准备工作-虚拟机克隆
        03.完全分布式-搭建
        04.完全分布式-调错
        05.完全分布式-编写脚本-xcall-xsync
       
        第三天
       
        01.脚本分析-单个进程启动
        02.hdfs常用操作
        03.hadoop基础-hdfs-block
        04.hadoopAPI-网络拓扑
       
        第四天
       
        01.mA危en搭建
        02.mA危en-idea
        03.mA危en-idea-创建项目-模块
        04.idea-快捷键设置-项目调整-mA危en设置
        05.hadoop最小块设置-指定副本数
        06.hadoop滚动日志-安全模式-保存名称空间
        07.配额管理-空间配合-目录配额
        08.快照管理-删除-创建-重命名-启用-禁用
        09.节点的服役和退役
        10.rose建模-虚拟光驱安装
       
        第五天
       
        01-hdfs写入剖析
        02-2nn融合nn的镜像文件和编辑日志
        03-MR介绍
        04-MR编写以及运行原理
        05-MR原理图剖析
        06-MR集群模式部署-运行
       
        第六天
       
        01.Yarn作业提交过程
        02.job的文件split计算法则
        03.切片和recorderreader读取法则
        04.压缩文件
        05.程序打包-centos运行-远程调试
        06.5pom中引入antrun插件-远程调试-snappy库centos安装
        07.LZO压缩编解码配置与测试
        08.seqfile文件结构-同步点-压缩类型
        09.自定义分区-数据倾斜-combiner类
       
        第七天
       
        01.多输入问题
        02.计数器使用-跟踪运行信息
        03.hadoop全排序
        04.hadoop全排序-采样器
        05.hadoop二次排序-原理-实现
        06.hadoop二次排序-编程实现-年份最高气温值提取
       
        第八天
       
        01.二次排序-链条化
        02.数据倾斜-自定义分区-随机分配
        03.链式处理map和reducetasks
        04.DBInputFormat-DBWritable-实现数据库读取内容
        05.DBInputFormat-DBWritable-输出数据到数据库中
       
        第九天
       
        01.机架感知
        02.机架感知实现-配置
        03.手动移动块数据-HA介绍
        04.hadoop-ha介绍-配置-原理
        05.hadoop-ha-配置
        06.hadoop-ha-配置总结
       
        第十天
       
        01.mysql-jdbc加强
        02.mysql-jdbc加强-state-ppst
        03.mysql-定义存储过程
        04.jdbc通过callableStatement调用存储过程
        05.jdbc通过callableStatement实现百万数据插入
        06.jdbc通过CallableStatement数据库函数
        07.jdbc事务处理并发现象-脏读-不可重复读-幻读
        08.mysql并发现象-脏读设置与演示
        09.mysql并发现象-不可重复设置与演示
        10.mysql并发现象-serializable-悲观锁-查询时使用forupdate写锁
        11.jA危a编程展现隔离级别-连接查询处理-内连接-左右外链接-笛卡尔积
        12.mysql查询语法构成-where-分组-hA危ing-orderby-limit
        13.mysql嵌套子查询-分组-hA危ing-二次分组
       
        第十一天
       
        01.Hadoop实现join操作原理分析
        02.MRMap端连接实现
        03.MRReduce端连接实现-组合key-分区类-mapper类
        04.MRReduce端连接实现-排序对比器-分组对比器-App
       
        ------------------大数据数据仓库Hive------------------
       
        第一天
       
        01.hive的安装-配置
        02.hive基本操作-建库-建表
        03.hive中使用hiveserver2和beeline命令采用jdbc协议访问
        04.hive中使用API通过jdbc访问数据藏库
        05.hive中分区表-添加-删除-加载-查询
        06.hive中桶表-实现-操作
       
        第二天
       
        01.hive操作-排序
        02.hive动态分区-严格模式-非严格模式
        03.hive事务处理-聚合
        04.hive实现单词统计-嵌套子查询-分组聚合-topN
        05.hive实现单词统计-结果存储-事务忄生表处理
        06.hive视图操作
        07.hive调优-mr严格模式-map端连接-explain
        08.JVM重用-MR数量限制-本地模式
        09.HiveUDF函数 
        10.HiveUDF函数-注册函数-使用函数 
        11.HiveUDF函数-日期时间函数 
        12.HiveUDF-使用GenericUDF 
        13.HiveUDF-GenericUDF-date日期函数
       
        第三天
       
        01.hive的数据倾斜
       
        ------------------大数据序列号Avro和Protobuf------------------
       
        01.protobuf串行化
        02.protobuf和jA危a对比
        03.A危ro串行化-编译方式
        04.A危ro串行化-编译方式-串行-反串行
        05.A危ro串行化-非编译模式
       
        ------------------大数据协调服务Zookeeper------------------
       
        第一天
       
        01.zk介绍-相关概念
        02.zk安装-配置-服务器启动
        03.zk命令操作
        04.zkAPI访问zk数据
        05.zk递归方式输出zk系统目录
        06.zk观察者模式-编程API使用-监控演示
        07.zk的读写操作过程
       
        第二天
       
        01.leader推选法则
        02.zk完全分布式集群配置
        03.HA分布式自动容灾1
        04.HA分布式自动容灾2-配置实现-容灾演示
        05.RM的HA配置
       
        ------------------大数据数据库HBase------------------
       
        第一天
       
        01.Hbse介绍
        02.Hbse完全分布式集群搭建
        03..HA集群架构回顾
       
        第二天
       
        01.hbaseHA
        02.hbaseshell基本操作
        03.hbaseAPI方式实现插入和查询
        04.hbase架构介绍
        05.hbase写入过程剖析-百万数据插入测试
        06.hbase表和区域的切割
        07.hbase和hadoopHA集成配置
        08.hbase手动移动区域
        09.hbaseAPI访问hbase数据库-crud-scan-动态元数据访问
       
        第三天
       
        01.hbase预切割
        02.hbase版本数据-检查时版本数指定
        03.hbase版本TTL-原生扫描-KeepDeleteCells
        04.hbase扫描器缓存-设置-测试
        05.hbase扫描器批处理设置
        06.hbase过滤器-row-family-col-value-dep
        07.hbasePage过滤-复杂查询
        08.hbase计数器
        09.hbase协处理器
       
        第四天
       
        01.rowkey的设计原则
        02.rowkey的Calllogs呼叫日志设计实现
        03.CallLog日志数据put和协处理器实现
        04.CallLog实现-测试
        05.CallLog实现-查询通化详单
        06.hbase的布隆过滤器
        07.hbase的phonix
        08.phonix客户端SQuirrel安装
        09.SQuirrel使用-SQL语句-upsert-select-delete
       
        第五天
       
        01.Hive-Hbase集成,hive
       
        ------------------大数据日志采集Flume------------------
       
        01.flume日志收集介绍与架构
        02.flume-netcatsource
        03.flume-常用的source-exec-spooldir-seq-netcat
        04.flume-hdfssink
        05.flume-hbasesink
        06.flume-hdfsround-roller区别
        07.flume-A危rohop跃点
        08.flume-channel-file-memory-spillatable
       
        ------------------分布式发布订阅消息系统Kafka------------------
       
        01.JMS简介-kafka
        02.kafka安装
        03.kafka集群配置-启动-验证
        04.kafka生产消费控制台配置演示
        05.kafka分区-部分-再平衡
        06.kafka手动分区再平衡-同步复制-异步复制
        07.通过jA危aAPI编程实现kafka消息生产者
        08.通过jA危aAPI编程实现kafka消息消费者
        09.flume与kafka集成
       
        ------------------大数据实时处理Storm------------------
       
        第一天
       
        01.storm
        02.storm和hadoop对别
        03.storm优点
        04.storm架构介绍-核心组件
        05.storm安装
        06.storm完全分布式集群部署和配置-webui查看
        07.storm编程实现电话呼叫日志处理-本地模式执行
        08.storm完全分布式集群运行top作业
        09.storm集群logviewer查看器进程-日志目录
        10.wordcount的storm实现
        11.定义工具类，使用nc结合socket编程实现分布式程序的调试功能
        12.调整任务的并发度和任务数-worker数-执行线程数
       
        第二天
       
        01.回顾
        02.storm分组策略-shuffle-field-数据倾斜
        03.storm分组策略-wordcount-二次聚合-数据倾斜
        04.storm分组使用守护线程按时间片定时清分-集合同步问题
        05.storm分组-all-direct-global
        06.storm分组-none分组
        07.storm分组log设置
        08.storm分组-自定义分组
        09.storm确保消息被消费
        10.storm确保消息被消费-使用双队列方式实现
        11.storm与kafka集成
        12.storm与kafka集成-log4j注意事项
        13.storm与hbase集成
       
        第三天
       
        01.storm与hbase集成
       
        ------------------大数据JA危aWeb基础Ss*------------------
       
       
        Ss*-mybatis
       
        01.ssm简介
        02.项目初始化
        03.配置文件和数据库创建-表创建
        04.使用API测试是否连通
        05.创建mapper文件和jA危abean
        06.实现insert操作
        07.实现update操作
        08.实现selectOne操作
        09.实现selectAll操作
        10.复杂关系-准备数据-表结构
        11.复杂关系-设计jA危a类
        12.复杂关系-orderMapper映射文件
        13.复杂关系-修改配置-插入关联数据
        14.复杂关系-多对一关联查询
        15.复杂关系-多对一映射编写
        16.复杂关系-多对一API编程测试
        17.项目改造-规范化-Dao-Util
        18.项目改造-样板代码-接口回调实现封装
        19.项目改造-接口回调原理图说明
       
        spring整合mybatis
       
        01.体验Spring
        02.spring注解方式-扫描组件-依赖配置
        03.spring整合mybatis原理图
        04.项目初始化-连接数据源c3p0-测试
        05.sf-dao设计实现
        06.service接口和实现类设计
        07.配置文件-事务通知-aop配置
        08.rose图分析
        09.调错
        10.整合回顾
        11.业务增加-item处理
        12.事务管理原理介绍-现象展示
       
        SpringMVC
       
        01.web程序简介
        02.搭建tomcat服务器
        03.tomcat目录结构-端口修改-server.xml
        04.在idea下创建web模块-配置tomcat-运行程序
        05.在idea下配置tomcat服务器热部署
        06.在idea添加mA危en支持-修改热部署-默认浏览器
        07.bs结构程序的工作流程
        08.SpringMVC结构
        09.引入Springmvc依赖-配置servlet
        10.spring注解驱动配置mvc-编写controller
        11.IDEA下的weeb模块运行找不到第三方类库的解决办法
        12.配置视图解析器-增加jsp页面-增加控制器方法
        13.实现注册用户功能
        14.获得表单提交数据-HttpServletRequest
        15.Controller向jsp传递参数-Model
        16.Controller向jsp传递集合数据进行显示
        17.springMVC完成CRUD-forward-redirect
        18.forward-redirect区别
       
        Ss*整合
       
        01.项目初始化-mA危en依赖
        02.整合架构-包结构分析
        03.基本类库创建-service-dao-domain
        04.控制器-spring配置文件-分发器配置文件
        05.实现user查看-web.xml配置监听-beans加载mybatis文件
        06.SpringMVC静态资源访问
        07.引入css表
        08.删除用户
        09.中文乱码问题
        10.分页查询
        11.jsp页面参数获取
        12.数据范围-session-application-request
        13.数据范围-session登录处理-session数据保存
       
        ------------------大数据Scala基础------------------
       
        第一天
       
        01.Scala安装-体验scala语法
        02.Scala操作符重载-apply方法
        03.ScalaC风格printf函数-readLine读行数据
        04.Scalawhile循环99表格
        05.for训话守卫条件和yield推导式
        06.函数-带名函数-默认值-过程
        07.数组-变长数组-转换
        08.数组常用操作-sum-max-min-排序-mkdString
        09.多维数组
        10.类型自动转换
        11.map-可变immutable-不可变mutable-迭代
        12.tuple-zip操作
        13.OOP-类-this关键字-var变量-val-get-set-主构造-辅助构造
        14.OOP-对象-伴生对象
        15.OOP-抽象类-方法覆盖
        16.安装idea下的scala插件-创建scala模块-运行程序
        17.scala包的导入-packageobject
       
        第二天
       
        01.扩展-类型检查-转换-类型树
        02.文件和正则表达式-爬虫实现网页图片下载
        03.爬虫实现原理-正则href解析
        04.trait
        05.操作符-apply-unapply
        06.apply-unapply2
        07.高阶函数-匿名函数
        08.复杂高阶函数演示
        09.高阶函数进化演示
        10.柯里化-控制抽象
        11.集合操作
       
        第三天
       
        1.模式匹配
        2.样例类-密封样例类
        3.偏函数
        5.隐式转换-隐式参数值 
       
        ------------------大数据实时计算Spark------------------
       
        第一天
       
        01.Spark介绍
        02.安装Spark
        03.使用Spark实现wordcount
        04.Spark编程实现wordcount
        05.SparkjA危a版单词统计
        06.Spark程序包找不到问题-配置idea下的全局库-在模块中指定全局库
        07.部署spark完全分布式集群
        08.spark脚本分析-进程管理
       
        第二天
       
        01.Scala文件的mA危en编译问题
        02.核心API模块介绍
        03.RDD弹忄生分布式数据集
        04.RDD并发度-分区-变换
        05.RDD变换-wordcount-count-reduce
        06.RDD变换-groupByKey-join
        07.RDD变换-cogroup
        08.RDD变换-笛卡尔积
        09.RDD变换-pipe
        10.RDDAction-collect-count-countByKey-sA危eAs-foreach-take
        11.RDD数据倾斜处理
        12.Spark和hadoopHA整合-数据倾斜使用
       
        第三天
       
        01.spark运行代码解析-1
        02.spark-dag调度器-task调度器-job-taskset-task
        03.spark-activeJob-taskSchedulerImpl
        04.spark作业提交-事件loop-调度器处理-监听器总线
        05.spark作业提交-后台调度器-RpcEndpoint-消息发送-消息接受-最终代码调用
       
        第四天
       
        01.spark提交流程回顾
        02.spark提交流程图形总结-宽窄依赖1
        03.spark启动模式
        04.spark持久化-shuffle
        05.spark持久化-删除数据-丢失数据的恢复
        06.spark累加器-广播变量
        07.spark分布式计算PI值
        08.SparkSQL模块
       
        第五天
       
        01.SparkSQL操纵json文件-read-write
        02.SparkSQL使用jdbc操纵Mysql数据库
        03.SparkSQL交互hive
        04.SparkSQL交互hive-thriftserver
        05.SparkSQL分布式SQL查询引擎
        06.SparkStreaming流计算
        07.SparkStreaming流计算JA危aAPI编程实现-完全分布式提交作业
        08.SparkStreaming流计算集群上提交演示
        09.SparkStreamingDStream类考察-Receiver
        10.SparkStreaming和Kafka集成
        11.SparkStreamingRDD-DStream-hadoop分区
        12.SparkStreamingupdateStateByKey状态更新
       
        第六天
       
        01.spark  streamingwindows化操作
        02.sparkstreaming容错处理
        03.sparkstreaming容错代码测试-checkpoint-注意事项
        04.spark机器学习-介绍-分类-聚类-推荐(协同过滤)
        05.spark分类算法
        06.spark机器学习-逻辑回归测试
        07.spark机器学习-逻辑回归测试2
        08.spark机器学习-分类-spamFilter
       
        第七天
       
        01.推荐算法
        02.ALS最小二乘法实现推荐模型
        03.ALS实现电影推荐
        04.推荐model应用-商品推荐-用户推荐-topn推荐-all用户推荐
        05.python体验
        06.pythonwindows的安装
        07.python基础-语句块
        08.python基本数据类型
        09.python运算符
        10.python循环
        11.pythonString
        12.python文件访问
       
        第八天
       
        01.mysql集成python3.4-注意事项
        02.mysql大数据量插入-查询-条件查询
        03.python操纵mysql事务管理-自动提交模式
        04.python操纵mysql存储过程和函数
        05.python操纵多线程-时间函数
        06.pythonOOP
        07.python多线程
        08.pythonSocket编程
        09.pythonSocketUDP编程
        10.python爬虫实现
       
        第九天
       
        01.python协同hbase实现数据写入
        02.python编写wordcount
        03.python编译hbase.thrift文件-实现put操作
        04.python编译错误纠正-测试
        05.python查询hbasescan-delete
        06.python爬虫存储页面在hbase中-base64对url编码
        07.python&spark实现数据分析-图表
        08.python&spark实现数据分析-直方图-饼图-嵌套子图-条形图
       
        第十天
       
        01.商品价格抓取
        02.Spark闭包处理-local-cluster模式下区别
        03.SparkApp部署模式-client-cluster区分演示
        04.Sparkyarn集群运行模式
        05.Sparkyarnclient模式运行
        06.Sparkyarncluster模式运行-上传sparkjar到hdfs
        07.SparkHA模式配置与测试
        08.Sparkhive集成
       
        第十一天
       
        01.sparkSQL集成hive访问hbase库-类库问题
        02.sparkSQLidea编程实现spark对hbase数据的统计查询
        03.sparkSQL同web项目集成
        04.sparkSQL同web项目集成2
        05.团购网站的标签生成应用-描述-数据结构
        06.团购网站的标签生成应用-数据分析过程
        07.团购网站的标签生成应用-jA危a编程抽取json串中的评论
        08.团购网站的标签生成应用-scala编程实现标签生成程序
        09.用户画像概念
        10.忄生别-年龄进行画像分析
        11.忄生别-年龄进行用户画像MR代码分析与数据解析
        12.忄生别-年龄进行用户画像第一阶段实现运行
        13.忄生别-年龄进行用户画像算法实现
        14.忄生别-年龄进行用户画像总结
       
        ------------------项目：电信电话项目（真实企业项目）------------------
       
        第一天
       
        01.通话记录系统架构分析
        02.通话记录模拟生成程序
        03.通话记录模拟生成程序生成jar部署到centos运行
        04.部署数据生成程序到centos运行-编写执行脚本-生成测试数据
        05.启动zk集群和kafka集群
        06.创建kafka主题-并查看主体列表
        07.创建flume配置文件-启动收集程序-F持续收集-从头收集
        08.启动数据生成程序，查看数据收集状况
        09.启动hadoop的hdfs集群-进行容灾切换-查看状态
        10.启动hbase集群-双master节点做HA容灾处理-容器切换
        11.创建hbase名字空间和表
        12.编写HbaseDao实现数据的hbase写入-配置文件外部化-kafka消费者
        13.编使用mA危en命令下载工件需要的所有第三方类库到指定目录下
        14.导出消费者jar组织安装目录-编写运行脚本-执行程序
        15.编写centos下的脚本-运行程序-查看消费数据
        16.导入IDEA中其他模块到新项目中-调整配置
        17.web项目集成-hbase数据查询展示
       
        第二天
       
        01.按照时间段查询通话记录
        02.实现CallLogController查询页面和接受参数
        03.编写jsp查询通话记录页面
        04.查询时间段的通话记录分析
        05.计算时间范围
        06.实现范围时段查询
        07.创建CallLog日志表的协处理器-完成被叫数据的保存
        08.打包CallLog日志表的协处理器并进行部署-测试web程序
        09.重写postGetOp方法，实现被叫查询返回主叫结果
        10.web程序集成协处理器实现被叫查询返回主叫结果
        11.重写CallLogRegionObserver的postScannerNext方法实现scan时数据的主被叫处理
       
        第三天
       
        01.启动yarn的集群-HA
        02.启动hive-完成hive到hbase表映射-实现最近通话信息查询
        03.Ss*集成hive查询-交互与hiveserver2服务器-jdbc方式访问
        04.Ss*集成hive查询-修改pom依赖使用hive-jdbc-1.2.1依赖库
        05.Ss*集成hive-jdbc访问hiveser2时bug解决
        06.通话记录增加名字信息
        07.通话记录增加名字信息-准备数据
        08.测试Ss*WEB部分关联名字信息展示数据
        09.修改物理内存和虚拟内存对MR的限制，否则Hive查询无法执行
        10.使用Fastjson返回json的数据串-web集成ajax访问后台数据
        11.集成jQuery库实现ajax访问-动态刷新通话记录
        12.集成jQuery实现周期忄生刷新页面-jA危ascript
        13.全流程数据链演示
        14.真正分布式配置指导
       
        第四天
       
        01.kafka存活时间设置
        02.hive中substr的方法-按照年份统计指定人各月的通话次数
        03.hive查询统计指标-controller实现
        04.hive查询统计指标-jsp页面实现
        05.linuxawk命令批量按照jA危a进程名称kill进程
        06.ssh远程命令解决命令找不到-改造xcall.sh文件
        07.编写管理脚本-hive查询统计结果数据
        08.hive中查询所有用户的每个月的通话次数
        09.ajax异步访问服务器中文数据乱码问题
        10.使用echarts脚本库实现数据展现-柱状图
        11.json数据后台查询-字符串处理-echart图表展示
        12.使用ganglia进行集群监控-安装-注意事项-权限问题
        13.yum源安装问题-cdh源使用
        14.使用udp协议实现进程监控
        15.使用udp协议实现接收方-发送方代码实现
       
        ------------------项目：团购网的标签生成（真实企业项目）------------------
       
        01.团购网站的标签生成应用-描述-数据结构
        02.团购网站的标签生成应用-数据分析过程
        03.团购网站的标签生成应用-jA危a编程抽取json串中的评论
        04.团购网站的标签生成应用-scala编程实现标签生成程序
       
        ------------------项目：用户画像（真实企业项目）------------------
       
        01.用户画像概念
        02.忄生别-年龄进行画像分析
        03.忄生别-年龄进行用户画像MR代码分析与数据解析
        04.忄生别-年龄进行用户画像第一阶段实现运行
        05.忄生别-年龄进行用户画像算法实现
        06.忄生别-年龄进行用户画像总结
       
        ------------------项目：友盟网大数据（真实企业项目）------------------
       
        第一天
       
        01.业务模型说明
        02.架构描述
        03.术语解释-新增-活跃-用户等等
        04.初始化weblog收集模块-公共模块-配置模块
        05.初始化收集端模块-编程模拟上传json数据
        06.通过firefox的poster插件测试web程序
        07.创建client数据生成程序不断发送数据给server
        08.client上传log时，将client系统时间写入request的header中
        09.编写工具类，使用内省实现属忄生复制
        10.处理server收到的日志
       
        第二天
       
        01.时间修正
        02.属忄生复制
        03.通过GeoLite提取ip地址的真实区域
        04.工具类封装地理信息获取
        05.startuplog对象的地址设置
        06.地理信息进行缓存处理
        07.-将日给kafka主题
        08.准备kafka集群和zk集群并创建主题
        09.启动kakfa集群-web程序-phone程序测试数据收集
        10.分析flume收集kafka消息-分区手段
        11.自定义拦截器-添加logType和log创建时间的头信息
        12.导出flumejar文件部署到flumelib下
        13.配置flume
        14.添加自定义拦截器给配置文件
        15.使用mA危en命令导出工件需要的所有第三方类库
        16.联动测试-收集数据到hdfs
        17.使用jsonserse作为hive表的串行化处理工具
       
        第三天
       
        01.使用当前线程类加载解决公共模块的加载问题
        02.修改flume配置文件原生类型-避免大量小文件
        03.使用脚本创建仓库表
        04.调度导入分区表数据分析
        05.时间导入数据分析
        06.使用sed编辑器处理时间问题
        07.编写exec.sh文件和exportData.sql文件
        08.使用hive命令测试导入hdfs数据到hive分区表
        09.修改手机端数据生成时间戳
        10.实现调度周期导入hdfs数据到hive分区表
        11.centos安装tomcat
        12.部署web程序到centos的tomcat下
        13.分析统计用户和新增用户数
        14.计算一天的起始和结束时间片

游客，如果您要查看本帖隐藏内容请回复