联系客服1
联系客服2

[大数据] 尚硅谷大数据技术之电商数据分析平台项目

15
回复
2587
查看
打印 上一主题 下一主题
[复制链接]
  • TA的每日心情
    开心
    2024-9-19 21:14
  • 签到天数: 757 天

    [LV.10]以坛为家III

    7335

    主题

    8751

    帖子

    131万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    1312677
    楼主
    发表于 2020-5-22 11:11:36 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    尚硅谷大数据技术之电商数据分析平台项目
    第一章 项目简介
    1.1  项目整体介绍
    本项目来源于企业级电商网站的大数据统计分析平台,该平台以 Spark 框架为核心,对电商网站的日志进行离线和实时分析。
    该大数据分析平台对电商网站的各种用户行为(访问行为、购物行为、广告点击行为等)进行分析,根据平台统计出来的数据,辅助公司中的 PM(产品经理)、数据分析师以及管理人员分析现有产品的情况,并根据用户行为分析结果持续改进产品的设计,以及调整公司的战略和业务。最终达到用大数据技术来帮助提升公司的业绩、营业额以及市场占有率的目标。
    本项目使用了 Spark 技术生态栈中最常用的三个技术框架,Spark Core、Spark SQL 和 Spark Streaming,进行离线计算和实时计算业务模块的开发。实现了包括用户访问 session 分析、页面单跳转化率统计、热门商品离线统计、广告流量实时统计 4 个业务模块。通过合理的将实际业务模块进行技术整合与改造,该项目几乎完全涵盖了 Spark Core、Spark SQL 和 Spark Streaming 这三个技术框架中大部分的功能点、知识点,学员对于 Spark 技术框架的理解将会在本项目中得到很大的提高。

    本项目分为离线分析与实时分析两大模块。
    在离线分析系统中,我们将模拟业务数据写入Hive表中,离线分析系统从 Hive 中获取数据,并根据实际需求(用户访问Session分析、页面单跳转化率分析、各区域热门商品统计)对数据进行处理,最终将分析完毕的统计数据存储到 MySQL 的对应表格中。
    在实时分析系统中,我们将模拟业务数据写入Kafka集群中,实时分析系统从 KafkaBroker 中获取数据,通过 SparkStreaming 的流式处理对广告



    点击流量进行实时分析,最终将统计结果存储到 MySQL 的对应表格中




    游客,如果您要查看本帖隐藏内容请回复


    收藏
    收藏0
    分享
    分享
    支持
    支持0
    反对
    反对0
    回复

    使用道具 举报

  • TA的每日心情

    2023-7-9 11:40
  • 签到天数: 97 天

    [LV.6]常住居民II

    1

    主题

    191

    帖子

    4731

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    4731
    沙发
    发表于 2020-5-26 15:45:21 | 只看该作者
    啥也不说了,感谢楼主分享哇!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2020-6-22 08:42
  • 签到天数: 17 天

    [LV.4]偶尔看看III

    0

    主题

    21

    帖子

    1108

    积分

    金牌会员

    Rank: 6Rank: 6

    积分
    1108
    板凳
    发表于 2020-5-26 17:08:01 | 只看该作者
    么有分,谁能送我点积分啊::>_<::
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2021-1-25 11:05
  • 签到天数: 29 天

    [LV.4]偶尔看看III

    1

    主题

    48

    帖子

    2812

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    2812
    地板
    发表于 2020-5-26 19:20:15 | 只看该作者
    66666666啥也不说了,感谢楼主分享哇!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2021-4-20 20:34
  • 签到天数: 245 天

    [LV.8]以坛为家I

    3

    主题

    373

    帖子

    1万

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    11593
    5#
    发表于 2020-5-27 10:07:37 | 只看该作者
    啥也不说了,感谢楼主分享哇!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    2020-6-25 07:32
  • 签到天数: 26 天

    [LV.4]偶尔看看III

    5

    主题

    63

    帖子

    1365

    积分

    金牌会员

    Rank: 6Rank: 6

    积分
    1365
    6#
    发表于 2020-5-31 16:50:04 | 只看该作者
    好文章,谢谢分享!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    2021-5-21 10:28
  • 签到天数: 24 天

    [LV.4]偶尔看看III

    2

    主题

    74

    帖子

    2764

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    2764
    7#
    发表于 2020-6-2 15:44:50 | 只看该作者
    确实是难得好帖啊,顶先
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2023-8-26 09:07
  • 签到天数: 44 天

    [LV.5]常住居民I

    2

    主题

    145

    帖子

    3443

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    3443
    8#
    发表于 2020-6-5 13:50:13 | 只看该作者
    啥也不说了,感谢楼主分享哇!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    郁闷
    2021-7-23 13:45
  • 签到天数: 12 天

    [LV.3]偶尔看看II

    0

    主题

    56

    帖子

    674

    积分

    高级会员

    Rank: 4

    积分
    674
    9#
    发表于 2020-6-23 07:44:43 | 只看该作者
    666666666666666666666666
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    2024-2-4 18:39
  • 签到天数: 27 天

    [LV.4]偶尔看看III

    1

    主题

    97

    帖子

    2836

    积分

    终身会员

    Rank: 6Rank: 6

    积分
    2836
    10#
    发表于 2020-10-8 16:56:26 | 只看该作者
    aiur,如果您要查看本帖隐藏内容请回复
    回复 支持 反对

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    学习课程!一站搞定!
    学途无忧VIP会员群

    973849140

    周一至周日9:00-23:00

    反馈建议

    1227072433@qq.com 在线QQ咨询

    扫描二维码关注我们

    学途无忧!为学习谋坦途,为会员谋福利!|网站地图