?EasyHadoop 開(kāi)發(fā)培訓(xùn)

課程目標(biāo):此課程面向企業(yè)軟件工程師、數(shù)據(jù)庫(kù)工程師、以及對(duì)Hadoop開(kāi)發(fā)感興趣的各類(lèi)技術(shù)人員。通過(guò)此課程的學(xué)習(xí)，學(xué)員可以全面掌握Hadoop的架構(gòu)原理和使用場(chǎng)景，并通過(guò)貫
穿課程的習(xí)題項(xiàng)目進(jìn)行實(shí)戰(zhàn)鍛煉，從而熟練使用Hadoop進(jìn)行MapReduce程序開(kāi)發(fā)。課程還涵蓋了分布式計(jì)算領(lǐng)域的常用算法介紹，幫助學(xué)員為企業(yè)在利用大數(shù)據(jù)方面體現(xiàn)
自身價(jià)值。目標(biāo)學(xué)員:軟件工程師、高級(jí)軟件工程師、數(shù)據(jù)庫(kù)開(kāi)發(fā)人員、互聯(lián)網(wǎng)服務(wù)后臺(tái)開(kāi)發(fā)人員、運(yùn)維人員
?

培訓(xùn)大綱

一、Hadoop MapReduce
流程分析?? ?
???? ·Hadoop JobTracker 詳解回顧
???? ·Hadoop TaskTracker 詳解回顧
???? ·Hadoop 任務(wù)提交流程詳解"
二、使用 Hadoop MapReduce Streaming 編程?? ?
???? ·Hadoop Streaming 和 Java MapReduce Api 差異。
???? ·學(xué)習(xí)使用 MapReduce 實(shí)現(xiàn)數(shù)據(jù)庫(kù)功能,比如select group by join union all )
三、MapReduce分布式程序
???? ·MapReduce流程
???? ·剖析一個(gè)MapReduce程序
???? ·基本MapReduceAPI 概念
???? ·驅(qū)動(dòng)代碼
???? ·Mapper
???? ·Reducer
???? ·API 使用Eclipse進(jìn)行快速開(kāi)發(fā)
???? ·上機(jī)實(shí)驗(yàn)
???? ·新MapReduce API
四、Hadoop 核心代碼導(dǎo)讀
???? ·Hadoop Mapper 類(lèi)核心代碼導(dǎo)讀
???? ·Hadoop Reducer 類(lèi)核心代碼導(dǎo)讀
五、HDFS分布式文件系統(tǒng)編程 ?? ?
???? ·Hadoop HDFS 回顧
???? ·Hadoop NameNode 回顧
???? ·Hadoop DataNode 回顧
???? ·hadoop I/O 操作
???? ·使用Hadoop HDFS API對(duì)HDFS編程
六、Hadoop Mapreduce高級(jí)編程
???? · ToolRunner介紹
???? ·使用MRUnit進(jìn)行測(cè)試
???? ·利用Combiners來(lái)減少中間數(shù)據(jù)
???? ·使用Configure和Close方法來(lái)進(jìn)行Map/Reduce設(shè)置和關(guān)閉
???? ·編寫(xiě)Partitioner來(lái)優(yōu)化負(fù)載平衡
???? ·上機(jī)實(shí)驗(yàn)
???? ·直接訪問(wèn)Hadoop分布式文件系統(tǒng)（HDFS）
???? ·使用分布式緩存（Distributed Cache）
???? ·上機(jī)實(shí)驗(yàn) "
七、MapReduce的優(yōu)化
???? ·map優(yōu)化
???? ·reduce優(yōu)化
???? ·小文件優(yōu)化"
八、MapReduce的任務(wù)調(diào)度
???? ·Queue調(diào)度的使用
???? ·公平調(diào)度的使用
???? ·能力調(diào)度的使用"
九、MapReduce編程實(shí)戰(zhàn)
???? ·Hadoop的join操作
???? ·Hadoop的二次排序
???? ·Hadoop的海量日志分析"
十、flume+hadoop日志的收集實(shí)戰(zhàn)
???? ·flume介紹
???? ·flume核心組件講解
???? ·flume自帶的組件分析
???? ·flume二次開(kāi)發(fā)實(shí)戰(zhàn)