Hadoop的三大核心

Mapreduce分布式計(jì)算

運(yùn)行過程如下

1.客戶端Client提交請求任務(wù)至Applications

2.Applications啟動(dòng)AppMstr任務(wù)

3.Appmstr向ResourceScheduler請求資源

4.ResourceScheduler返回資源清單給Appmstr

5.AppMstr根據(jù)返回的資源清單向可用NodeManager申請資源

6.申請到資源執(zhí)行計(jì)算任務(wù)啟動(dòng)Map Tark以及Reduce Task 執(zhí)行任務(wù)

7.執(zhí)行完的任務(wù)結(jié)果返回AppMstr，AppMstr將計(jì)算結(jié)果再返回至ApplicationsManager

8.ApplicationsManager向客戶端請求關(guān)閉任務(wù)

Yarn 分布式資源調(diào)度系統(tǒng)

HDFS 分布式文件存儲(chǔ)

1.Datanode-存儲(chǔ)

2.NodeManager-執(zhí)行計(jì)算任務(wù)

3.ResourfceManager-接受任務(wù)，進(jìn)行資源分配