炼数成金 深入BI - Kettle 篇 视频教程 教学视频,全套视频教程学习资料通过百度云网盘下载

admin

资源详情


课程简介:

有人统计过，在整个数据分析过程里，收集、整理数据的工作大致占全部工作量的90%，建模过程不足10%，可见ETL是数据处理流程中一个非常重要的环节。ETL工程师，在数据仓库类职位中占有很大比例，而且薪水都不差。IT人一下子转型数据分析师可能跳跃度比较大难度高，先转型数据仓库/ETL工程师再择机往更高处走是合理选择之一。在ETL软件中，使用最多的是开源的Kettle，完全免费，功能和忄生能不弱于datastage这类商业ETL软件，使用Kettle和其它开源数据平台软件，例如Mysql集群，Hadoop集群等组合在一起，是忄生价比极高的架构选择。本课程系统讲解Kettle及其秘密。

课程介绍：

ETL（Extract，Transformation,Load）工具是构建数据仓库、进行数据整合工作所必须使用的工具。目前市面有多种商业ETL工具，如Informatica，Datastage等。目前市场上开源且实用的ETL工具比较少，Kettle就是这不多的开源ETL工具之一。本课程将主要讲解开源ETL工具Kettle的基本使用和二次开发方法，并结合实际项目案例，讲解Kettle如何在实际中应用，以及应用中可能会出现的问题。针对目前大数据的应用情况，本课程也将结合大数据，讲述Kettle如何支持Hadoop、HBase、MongoDB、MapReduce等大数据技术。除了Kettle的使用，在本课程的后几个课时，将讲述Kettle的二次开发：包括Kettle代码阅读指导，KettleAPI的说明以及使用方法，Kettle插件的开发方法。

课程内容：

第一周：ETL的概念，Kettle的概念、功能、操作第二周：Kettle资源库、日志、运行方式第三周：输入步骤（表输入、文本文件输入、XML文件输入…）第四周：输出步骤（表输出、更新、删除、文本文件输出、XML文件输出…）第五周：转换步骤（过滤、字符串处理、拆分字段、计算器…）第六周：转换步骤（字段选择、排序、增加校验列、去除重复记录…）第七周：应用步骤、流程步骤（处理文件、执行程序、发送邮件、空操作、阻塞步骤、中止等…）第八周：查询步骤、连接步骤（数据库查询、流查询、合并记录、记录集连接、笛卡尔…）第九周：脚本步骤（Ja.vAscript，JA危aClass、正则表达式…）第十周：作业项（拷贝、移动、ftp、sftp…）第十一周：Kettle的参数和变量、Kettle集群第十二周：Kettle代码编译、代码结构、应用集成、各种配置文件第十三周：插件开发-步骤、作业项第十四周：作业设计技巧、错误处理、调试转换、循环和分支第十五周：大数据插件（Hadoop文件输入/输出，HBase输入/输出，MapReduce输入/输出，MongoDB输入/输出）

目标人群：


ETL工程师，JA危a开发工程师，经常要做数据处理的DBA有一定数据库基础和JA危a基础的学生。
课程预期目标：


理解Kettle软件的基本功能。能使用Kettle完成基本的数据处理工作。了解Kettle软件的一些高级功能对有JA危a开发经验的同学，对Kettle代码结构有一定了解，能开发一些JA危a的基本插件。

游客，如果您要查看本帖隐藏内容请回复