TA的每日心情 | 开心
2024-9-19 21:14 |
|---|
签到天数: 757 天 [LV.10]以坛为家III
管理员
 
- 积分
- 1312455
|
第1章 课程介绍与学习指南
本章中将向大家介绍课程能学到什么、解决什么实际问题、项目成果展示，课程整体安排以及如何学习更高效。
第2章 开发环境与技术栈介绍
本章主要针对课程中应用的开发环境以及技术栈进行相关介绍。本课中会使用，虚拟化技术: virtualbox + vagrant，容器化技术:docker + docker-compose。技术栈涉及spark，Hadoop，hive等。
第3章 大数据环境搭建
本章主要讲解开发环境的搭建，虚拟机与docker的安装。针对没有docker基础的同学，我们也会涵盖部分基础知识，从而实现轻松上手。针对容器化的开发环境，我们会详细演示，如何去解决访问和数据持久化。本次环境搭建会配合详细操作文档，方便同学们本地复现。...
第4章 itag用户标签系统介绍
相较于现有业务的局限性，这章中我们会来共同来探讨标签系统的设计理念。通过UI初步讲解标签的数据含义，结合mysql数据库表结构，去理解业务和标签的实现算法，更为详细的标签算法及ETL清洗逻辑在后续章节会做详细讲解。...
第5章 数据同步
针对数据同步技术，本章中会介绍一些常用的数据同步中间件，以及实际项目中数据库同步至大数据集群的架构迭代（画图）。随后会演示利用sqoop导入数据到hive中。并学习如何对hive进行实际操作。
第6章 数据清洗
本章中主要讲解大数据项目中数据与业务的关系，数据血缘，数据平台，数仓等相关概念。讲解如何利用spark进行数据操作。分别从spark java，spark scala以及spark sql 三种不同实现方式进行代码演示与对比。
第7章 指标算法及标签ETL
本章中将根据产品文档，利用spark sql + spark scala 的方式实现标签ETL。会讲述ES mapping 的设计，演示如何利用spark操作ES，并最终对全流程数据做验证与复盘。
第8章 itag UI
本章中将介绍如何应用springboot + vue 实现项目的前端UI。用户选择特定标签后，ES背后的查询逻辑。对于查询的结果，标签清洗结果，数据库原始结果做一个验证。并最终将UI项目通过docker容器的方式部署起来。
第9章 课程总结
本章会进行课程回顾与总结，再次圈重点，敲黑板。并对后续的一个学习线路做规划。
|
|
发表于 2019-12-30 23:02:39
发表于 2023-3-12 22:06:52
发表于 2021-4-27 11:23:46
发表于 2020-10-24 16:14:03
