計算機畢業(yè)設計hadoop+spark+hive微博數(shù)據(jù)分析可視化大屏 大數(shù)據(jù) 微博推薦系統(tǒng)
流程：
1.selenium爬取微博熱搜、文章、評論數(shù)據(jù)存入mysql數(shù)據(jù)庫（并對評論lstm情感分析模型建模分析）;
2.使用mapreduce對mysql中采集的微博數(shù)據(jù)進行數(shù)據(jù)清洗，轉(zhuǎn)為.csv文件上傳hdfs文件系統(tǒng)；
3.使用hive建庫建表,導入.csv數(shù)據(jù)集；
4.一半指標使用hive_sql進行離線分析，一半指標使用Spark之Scala實時分析；
5.分析的結(jié)果使用sqoop導入mysql數(shù)據(jù)庫；
6.使用Flask+echarts制作可視化統(tǒng)計大屏；
創(chuàng)新點：微博情感分析算法、Python爬蟲、海量微博數(shù)據(jù)、可視化大屏
##選裝(如果覺得功能還不夠，可以選裝推薦系統(tǒng)、預測系統(tǒng)、知識圖圖譜，可以0秒對接選裝，效果如下)：
https://www.bilibili.com/video/BV1xN41127XN/?spm_id_from=333.999.0.0
https://www.bilibili.com/video/BV1tN41127YH/?spm_id_from=333.999.0.0
## 可選裝項目模塊如下：
1.推薦系統(tǒng)(4種深度學習推薦算法 協(xié)同過濾基于用戶 基于物品 SVD神經(jīng)網(wǎng)絡 MLP)。附帶AI、支付、短信、lstm情感分析。
2.預測系統(tǒng)(KNN CNN RNN卷積神經(jīng)預測 K-means 線性回歸)。
3.知識圖譜neo4j可視化關系網(wǎng)絡圖。
4.后臺管理系統(tǒng)。
