?課程目標(biāo):
本次課程以實際的演練(環(huán)境部署,程序開發(fā))為主,分享大規(guī)模Hadoop應(yīng)用的一線最有效實用經(jīng)驗,實踐與理論相結(jié)合,讓學(xué)員能夠?qū)adoop生態(tài)系統(tǒng)有一個清晰明了的認(rèn)識,理解Hadoop系統(tǒng)適用的場景,掌握MapReduce與Hive的中高級應(yīng)用開發(fā)技能,快速高效搭建穩(wěn)定可靠的Hadoop集群,滿足生產(chǎn)環(huán)境的標(biāo)準(zhǔn)。
課程內(nèi)容的分為4個部分:
?
- 進(jìn)入Hadoop的精彩世界,介紹Hadoop生態(tài)系統(tǒng)的各個組成模塊與適用場景。
- Hadoop部署,編程與管理,講解演示在生產(chǎn)環(huán)境中選用和配置服務(wù)器需要注意的事項,介紹HDFS編程的Java API使用。
- MapReduce編程:講解演示MapReduce的中高級應(yīng)用開發(fā)技能。
- Hive與HBase編程:根據(jù)實際例子講解Hive的使用與UDF的開發(fā),以及如何通過JAVA編寫HBase應(yīng)用。?
培訓(xùn)內(nèi)容:
?
進(jìn)入Hadoop的精彩世界
|
- 文件存儲-HDFS
- HDFS-工作原理
- 數(shù)據(jù)計算MapReduce
- MapReduce工作原理
- SQL分析-Hive
- 海量實時讀寫-HBase
- 工作流調(diào)度-Ooize
- 分布式協(xié)調(diào)系統(tǒng)--Zookeeper
|
| Hadoop部署與編程 |
- Hadoop版本介紹與選擇
- Hadoop部署實踐
- Hadoop安裝文件構(gòu)成與配置體系
- 機(jī)器硬件建議配置
- 系統(tǒng)環(huán)境配置
- 基本參數(shù)配置與說明
- 進(jìn)程分布規(guī)劃與啟動
- Hadoop基本使用操作
- HDFS編程
- 開發(fā)環(huán)境準(zhǔn)備
- 讀文件
- 寫文件
- Hadoop系統(tǒng)容災(zāi)策略
- Hadoop資源調(diào)度策略
- Hadoop安全
- Hadoop系統(tǒng)監(jiān)控與報警策略
|
MapReduce編程
|
- MapReduce的定義與工作機(jī)制
- MapReduce與分布式計算
- 編程實戰(zhàn)
- MapReduce程序編寫
- 基于MapReduce的Sort操作
- 基于MapReduce的Join操作
- Hadoop多語言編程框架Streaming
- 代碼調(diào)試
|
| Hive與HBase編程 |
- Hive環(huán)境部署與搭建
- Hive工作機(jī)制
- Hive語法與實踐
- 數(shù)據(jù)壓縮選擇
- HBase編程示例
- HBase系統(tǒng)架構(gòu)
- HBase性能測試
|
| Hadoop系統(tǒng)管理 |
- Hadoop系統(tǒng)容災(zāi)策略
- Hadoop資源調(diào)度策略
- Hadoop高級配置參數(shù)
- Hadoop安全
- Hadoop系統(tǒng)監(jiān)控與報警策略?
|