?Hadoop大數據時代：Hadoop&YarnSpark企業(yè)級最佳實踐培訓課程

培訓內容

第一部分

第1個主題：Hadoop三問（徹底理解Hadoop）

1、?Hadoop為什么是云計算分布式大數據的事實開源標準軟件框架？

2、Hadoop的具體是如何工作？

3、Hadoop的生態(tài)架構和每個模塊具體的功能是什么？

第2個主題：Hadoop集群與管理（具備構建并駕馭Hadoop集群能力）

1、?Hadoop集群的搭建

2、?Hadoop集群的監(jiān)控

3、?Hadoop集群的管理

4、?集群下運行MapReduce程序

第3主題：徹底掌握HDFS(具備開發(fā)自己網盤的能力)

1、HDFS體系架構剖析

2、NameNode、DataNode、SecondaryNameNode架構

3、保證NodeName高可靠性最佳實踐

4、DataNode中Block劃分的原理和具體存儲方式

5、修改Namenode、DataNode數據存儲位置

6、使用CLI操作HDFS

7、使用Java操作HDFS

第4主題：徹底掌握HDFS(具備修改HDFS具體源碼實現(xiàn)的能力)

1、RPC架構剖析

2、源碼剖析Hadoop構建于RPC之上

3、源碼剖析HDFS的RPC實現(xiàn)

4、源碼剖析客戶端與與NameNode的RPC通信

第二部分

第1個主題：徹底掌握MapReduce（從代碼的角度剖析MapReduce執(zhí)行的具體過程并具備開發(fā)MapReduce代碼的能力）

1、MapReduce執(zhí)行的經典步驟

2、wordcount運行過程解析

3、Mapper和Reducer剖析

4、自定義Writable

5、新舊API的區(qū)別以及如何使用就API

6、把MapReduce程序打包成Jar包并在命令行運行

第2個主題：徹底掌握MapReduce（具備掌握Hadoop如何把HDFS文件轉化為Key-Value讓供Map調用的能力）

1、?Hadoop是如何把HDFS文件轉化為鍵值對的？

2、?源碼剖析Hadoop讀取HDFS文件并轉化為鍵值對的過程實現(xiàn)

3、?源碼剖析轉化為鍵值對后供Map調用的過程實現(xiàn)

第3個主題：徹底掌握MapReduce（具備掌握MapReduce內部運行和實現(xiàn)細節(jié)并改造MapReduce的能力）

1、?Hadoop內置計數器及如何自定義計數器

2、?Combiner具體的作用和使用以及其使用的限制條件

3、?Partitioner的使用最佳實踐

4、?Hadoop內置的排序算法剖析

5、?自定義排序算法

6、?Hadoop內置的分組算法

7、?自定義分組算法

8、?MapReduce常見場景和算法實現(xiàn)

第4個主題：某知名電商公司Hadoop實施全程揭秘（具備掌握商業(yè)級別Hadoop的分析、開發(fā)、部署的全過程的能力）

通過電商公司現(xiàn)場案例展示商業(yè)級別一個完整項目的分析、開發(fā)、部署的全過程

第三部分

第1個主題：YARN（具備理解和使用YARN的能力）

1、YARN的設計思想

2、YARN的核心組件

3、YARN的共組過程

4、YARN應用程序編寫

第2個主題：ResourceManager深度剖析（具備深刻理解ResourceManager的能力）

1、ResourceManager的架構

2、ClientRMService?與AdminService?

3、NodeManager

4、?Container

5、?Yarn的?HA機制

第3個主題：NodeManager深度剖析（具備掌握NodeManager及Container的能力）

1、?NodeManager架構

2、?Container?Management

3、?Container??lifecycle

4、??資源管理與隔離

第4堂課：Spark的架構設計(具備掌握Spark架構的能力)

1.1?Spark生態(tài)系統(tǒng)剖析

1.2?Spark的架構設計剖析

1.3?RDD計算流程解析

1.4?Spark的出色容錯機制

第四部分

第1堂課：深入Spark內核

1?Spark集群

2?任務調度

3?DAGScheduler

4?TaskScheduler

5?Task內部揭秘

第2堂課：Spark?SQL

1?Parquet支持

2?DSL

3?SQL?on?RDD

第3堂課：Spark的機器學習

1?LinearRegression

2?K-Means

3?Collaborative?Filtering

第4堂課：Spark的圖計算GraphX

1?Table?Operators

2?Graph?Operators

3?GraphX

?