歌曲热榜需求分析

实时从歌曲点播日志中获取用户点播歌曲热榜，每隔10秒，获取最近10分钟歌曲点播热度，并将前30首结果存入MySQL中，Kafka的偏移量手动维护在redis中。

数据来源：client_play_songinfo

{"songid": "10035283", "mid": 52949, "optrate_type": 0, "uid": 49915734, "consume_type": 0, "play_time": 0, "dur_time": 0, "session_id": 89210, "songname": "岁月神偷", "pkg_id": 2, "order_id": "W20191203041257_3_49915734_52949"}

1. 创建com.itbaizhan.scala.musicproject.streaming.RealTimeHotSong类

2. 根据ConfigUtils.LOCAL_RUN构建不同的SparkSession和SparkContext对象

3. 设置日志级别为Error

4. 使用步骤3创建的SparkContext对象和间隔时长为10秒进行构建StreamingContext对象

5. 从Redis 中获取消费者在主题songinfo的偏移量，并转化为需要的类型。

6. 设置Kafka参数

7. 将获取到的消费者offset 传递给SparkStreaming

8. 从流中解析出歌曲名称，转化为(songName,1)

9. 每隔10秒统计过去10分钟内的播放总次数

10. 遍历上步计算后的RDD，将里面的元素转化为样例类HotSongInfo(songName:String,times:Int)

11. 然后通过SparkSQL将上步的结果提取出排名前30的歌曲保存在mysql的songresult.hotsong表中

12. 手动将当前批次最后的所有分区offsets 保存到 Redis中