該項目主要分析深圳通刷卡數(shù)據(jù)，通過大數(shù)據(jù)技術來研究深圳地鐵客運能力及探索優(yōu)化服務的方向

主要講解Flink流處理實時分析部分，離線部分較簡單，暫時略過

項目流程：

采用python請求深圳地鐵數(shù)據(jù)API，將數(shù)據(jù)發(fā)送至Kafka和MySQL。

kafka部分用于實時計算，MySQL部分模仿業(yè)務數(shù)據(jù)，用于離線分析

Flink連接Kafka進行實時統(tǒng)計各站收入情況

將統(tǒng)計的結果Sink到Mysql進行可視化展示

離線部分用sqoop將業(yè)務數(shù)據(jù)導入到hive中進行分析，最終將分析完的數(shù)據(jù)導出到MySQL用于可視化展示

整體使用azkaban進行調度

組件版本：

python 3.6.6

java ?1.8

scala 2.11

kafka_2.11-2.4.1

zookeeper_3.4.6

flink 1.14.0

hadoop 2.7.6

sqoop 1.4.6

hive 1.2.1

azkaban 2.5.0

mysql 5.7

FineReport 11?