一、项目介绍
百战出行大数据项目是大型企业级综合项目，此项目针对订单数据进行分析，通过这些出行大数据，还可以看到城市经济、社会资源的发展、变迁情况，有非常有研究价值。
该项目包含离线分析、实时分析，涉及数据从终端(APP)的产生到数据中台处理再到大数据后台处理的整个链路技术，包括大数据量计算与存储分离解决方案，海量级数据秒查询优化方案，大数据主流技术spark自定义数据源实现列剪枝灵活查询海量数据，并且重构SparkSql构建多数据源(hbase)的数据查询平台。
二、技术选型
百战出行主要使用技术如下：Spark、SparkSQL、 SparkStreaming 、Zookeeper、 Hbase、kafka、mysql、redis、 H3 、Maven 、Phoniex 、Maxwell 、SpringBoot 、Mybatis 、JDBC 等
三、项目核心功能模块
1.mysql binglog同步方案
2.订单监控_实时统计订单总数
3.订单监控_实时统计乘车人数
4.虚拟车站
5.订单交易数据统计分析_订单分析总、月、公里数
6.订单交易数据统计分析_车辆分布和订单分布统计
7.司机数据统计分析_当日各城市的司机注册数
8.司机数据统计分析_当月各城市的司机注册数
9.司机数据统计分析_本年各城市的司机注册数
10.司机数据统计分析_汇总各城市司机注册数
11.用户数据统计分析_新增用户
12.用户数据统计分析_活用用户
13.用户数据统计分析_留存率
14.大数据WEB平台
适合人群：
1)掌握Hadoop及HDFS原理和使用
2)掌握Hive、HBase、Sqoop、Flume工具
3)掌握SparkCore,SparkSQL,SparkStreaming原理及代码编写
4)掌握Kafka原理及使用
5)掌握redis原理及使用
| 章节 | 内容 |
|---|---|
| 章节1 百战出行 | 1：百战出行 2：百战出行架构设计 3：环境搭建_HBase安装部署 4：环境搭建_Kafka安装部署 5：环境搭建_MySQL安装部署 6：环境搭建_Redis安装部署 7：构建父工程项目 8：订单监控_收集订单数据 9：订单监控_订单数据分析 10：订单监控_存储数据之读取数据 11：订单监控_存储数据之保存数据至MySQL 12：订单监控_Maxwell介绍 13：订单监控_Maxwell安装 14：订单监控_Spark_Streaming整合Kafka_上 15：订单监控_Spark_Streaming整合Kafka_下 16：订单监控_实时统计订单总数之消费订单数据 17：订单监控_实时统计订单总数之构建订单解析器 18：订单监控_实时统计订单总数之解析订单JSON数据 19：订单监控_实时统计订单总数 20：订单监控_实时统计乘车人数统计 21：订单监控_Redis工具类 22：订单监控_保存数据到Redis中 23：虚拟车站_需求分析 24：虚拟车站_虚拟车站实现思路 25：虚拟车站_Uber h3介绍 26：虚拟车站_H3算法使用 27：虚拟车站_HBase工具类上 28：虚拟车站_HBase工具类下 29：虚拟车站_Kafka消费订单数据 30：虚拟车站_储存订单数据至HBase 31：虚拟车站_Spark SQL读取HBase订单数据 32：虚拟车站_创建订单数据的DataFrame 33：虚拟车站_Spark SQL集成H3 34：虚拟车站_虚拟车站站点统计 35：虚拟车站_保存虚拟车站信息 36：订单交易数据统计分析_数据准备 37：订单交易数据统计分析_kafka消费数据至HBase_上 38：订单交易数据统计分析_kafka消费数据至HBase_下 39：订单交易数据统计分析_自定义Spark SQL多数据 40：订单交易数据统计分析_自定义外部数据源HbaseR 41：订单交易数据统计分析_自定义外部数据源HbaseRel 42：订单交易数据统计分析_自定义外部数据源HbaseRelation 43：订单交易数据统计分析_订单总数统计 44：订单交易数据统计分析_订单月总数统计 45：订单交易数据统计分析_公里数统计 46：订单交易数据统计分析_汇总结果 47：订单交易数据统计分析_保存汇总数据 48：订单交易数据统计分析_当日各城市的车辆分布 49：订单交易数据统计分析_当月各城市的车辆分布 50：订单交易数据统计分析_汇总当日车辆和当月车辆 51：订单交易数据统计分析_当日订单分布 52：订单交易数据统计分析_当月订单分布 53：订单交易数据统计分析_汇总日、月订单分布 54：订单交易数据统计分析_车辆分布和订单分布的汇总 55：订单交易数据统计分析_保存车辆分布和订单分布的汇 56：司机数据统计分析_数据准备 57：司机数据统计分析_kafka消费数据至HBase 58：司机数据统计分析_当日各城市的司机注册数 59：司机数据统计分析_当月各城市的司机注册数 60：司机数据统计分析_本年各城市的司机注册数 61：司机数据统计分析_汇总各城市司机注册数 62：司机数据统计分析_各城市司机注册数保存HBase 63：司机数据统计分析_当日平台有效订单总数 64：司机数据统计分析_当月平台有效订单总数 65：司机数据统计分析_本年平台有效订单总数 66：司机数据统计分析_当日司机总订单 67：司机数据统计分析_本月司机总订单 68：司机数据统计分析_本年度司机总订单 69：司机数据统计分析_当日的人均订单完成率mp4 70：司机数据统计分析_本月的人均订单完成率 71：司机数据统计分析_本年度的人均订单完成率 72：司机数据统计分析_汇总司机订单完成率 73：司机数据统计分析_用户数据统计分析_数据准备 74：用户数据统计分析_日新增用户 75：用户数据统计分析_周、月新增用户 76：用户数据统计分析_汇总日、周、月新增用户数据 77：用户数据统计分析_统计日活跃用户 78：用户数据统计分析_统计周、月活跃用户 79：用户数据统计分析_汇总日、周、月活跃用户 80：用户数据统计分析_次日留存用户 81：用户数据统计分析_周留存率 82：用户数据统计分析_月留存率 83：用户数据统计分析_汇总日、周、月留存率 84：即席查询_Phoenix介绍 85：即席查询_Phoenix安装 86：即席查询_Phoenix常用的命令操作 87：即席查询_Phoenix常用的命令操作 88：Phoniex生成表_订单、司机、用户数据表 89：大数据WEB平台_项目创建 90：大数据WEB平台_整合Mybatis框架 91：大数据WEB平台_查询新增用户数据 92：大数据WEB平台_查询留存率数据 93：大数据WEB平台_查询订单汇总数据 94：大数据WEB平台_查询车辆订单汇总数据 95：大数据WEB平台_查询各城市司机注册数据 96：大数据WEB平台_查询司机订单完成率数据 97：大数据WEB平台_查询虚拟车站信息 98：大数据WEB平台_查询实时订单和乘车人数 |
另附本章节课程资料
京公网安备 11011402011233号