学途无忧

标题: 尚硅谷大数据技术之电商数据分析平台项目 [打印本页]

作者: admin 时间: 2020-5-22 11:11
标题: 尚硅谷大数据技术之电商数据分析平台项目
尚硅谷大数据技术之电商数据分析平台项目
第一章项目简介
1.1 项目整体介绍
本项目来源于企业级电商网站的大数据统计分析平台，该平台以 Spark 框架为核心，对电商网站的日志进行离线和实时分析。
该大数据分析平台对电商网站的各种用户行为（访问行为、购物行为、广告点击行为等）进行分析，根据平台统计出来的数据，辅助公司中的 PM（产品经理）、数据分析师以及管理人员分析现有产品的情况，并根据用户行为分析结果持续改进产品的设计，以及调整公司的战略和业务。最终达到用大数据技术来帮助提升公司的业绩、营业额以及市场占有率的目标。
本项目使用了 Spark 技术生态栈中最常用的三个技术框架，Spark Core、Spark SQL 和 Spark Streaming，进行离线计算和实时计算业务模块的开发。实现了包括用户访问 session 分析、页面单跳转化率统计、热门商品离线统计、广告流量实时统计 4 个业务模块。通过合理的将实际业务模块进行技术整合与改造，该项目几乎完全涵盖了 Spark Core、Spark SQL 和 Spark Streaming 这三个技术框架中大部分的功能点、知识点，学员对于 Spark 技术框架的理解将会在本项目中得到很大的提高。

本项目分为离线分析与实时分析两大模块。
在离线分析系统中，我们将模拟业务数据写入Hive表中，离线分析系统从 Hive 中获取数据，并根据实际需求（用户访问Session分析、页面单跳转化率分析、各区域热门商品统计）对数据进行处理，最终将分析完毕的统计数据存储到 MySQL 的对应表格中。
在实时分析系统中，我们将模拟业务数据写入Kafka集群中，实时分析系统从 KafkaBroker 中获取数据，通过 SparkStreaming 的流式处理对广告

点击流量进行实时分析，最终将统计结果存储到 MySQL 的对应表格中

作者: chenyong0402 时间: 2020-5-26 15:45
啥也不说了，感谢楼主分享哇！

作者: xiushan 时间: 2020-5-26 17:08
么有分，谁能送我点积分啊::>_<::

作者: hpc19950723 时间: 2020-5-26 19:20
66666666啥也不说了，感谢楼主分享哇！

作者: lucifer 时间: 2020-5-27 10:07
啥也不说了，感谢楼主分享哇！

作者: youki2008 时间: 2020-5-31 16:50
好文章，谢谢分享！

作者: yjj 时间: 2020-6-2 15:44
确实是难得好帖啊，顶先

作者: yuan236675 时间: 2020-6-5 13:50
啥也不说了，感谢楼主分享哇！

作者: WolffyTang 时间: 2020-6-23 07:44
666666666666666666666666

作者: aiur 时间: 2020-10-8 16:56
aiur，如果您要查看本帖隐藏内容请回复

作者: samuelju 时间: 2020-12-20 10:21
啥也不说了，感谢楼主分享哇！

作者: Un4ever 时间: 2020-12-21 12:34
啥也不说了，感谢楼主分享哇！

作者: czizhihao 时间: 2021-2-14 22:38
正需要，支持楼主大人了！

作者: shadongjun 时间: 2021-2-15 00:30
啥也不说了，感谢楼主分享哇！

作者: weir2020 时间: 2021-4-3 10:58
可以下载客

作者: Tuwei 时间: 2021-4-12 21:05
谢谢分享

欢迎光临学途无忧 (http://xuetu123.com/)