?
培訓(xùn)對(duì)象:
1.總經(jīng)理、戰(zhàn)略總監(jiān)、市場(chǎng)總監(jiān);
2.CTO、CIO、項(xiàng)目經(jīng)理;
3.系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級(jí)程序員、資深開發(fā)人員、研發(fā)工程師;
4.大數(shù)據(jù)處理數(shù)據(jù)中心運(yùn)行、規(guī)劃、設(shè)計(jì)負(fù)責(zé)人;
5.政府機(jī)關(guān)、運(yùn)營(yíng)商、金融保險(xiǎn)、移動(dòng)和互聯(lián)網(wǎng)等大數(shù)據(jù)應(yīng)用機(jī)構(gòu)相關(guān)人員;
6. 其他關(guān)心大數(shù)據(jù)和對(duì)大數(shù)據(jù)感興趣的有志之士。
培訓(xùn)目標(biāo):
1.熟悉Hadoop的技術(shù)框架和生態(tài)系統(tǒng);
2.全面掌握Hadoop的架構(gòu)原理和使用場(chǎng)景,協(xié)助企業(yè)決策者制定合適的技術(shù)線路圖;
3.通過實(shí)踐項(xiàng)目訓(xùn)練,掌握使用Hadoop進(jìn)行大數(shù)據(jù)處理相關(guān)技能和性能調(diào)優(yōu);
4.實(shí)際部署、開發(fā)、調(diào)優(yōu)、培訓(xùn)Hadoop。
培訓(xùn)內(nèi)容:
| 
 課程主題 
 | 
 主要內(nèi)容 
 | 
 案例和演示 
 | 
| 
 Hadoop的來源和動(dòng)機(jī) 
 | 
 傳統(tǒng)大規(guī)模系統(tǒng)存在的問題 
Hadoop概述 
Hadoop分布式文件系統(tǒng)?????? 
MapReduce工作原理???????? 
Hadoop集群剖析?????????? ? 
?Hadoop生態(tài)系統(tǒng)對(duì)一種新的解決方案的需求 
Hadoop的行業(yè)應(yīng)用案例分析 
Hadoop在云計(jì)算和大數(shù)據(jù)的位置和關(guān)系 
 | 
 數(shù)據(jù)開放,數(shù)據(jù)云服務(wù)平臺(tái)(DAAS)時(shí)代 
Hadoop平臺(tái)在數(shù)據(jù)云平臺(tái)(DAAS)上的天然優(yōu)勢(shì) 
數(shù)據(jù)云平臺(tái)(DAAS?平臺(tái))組成部分 
互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)案例 
Hadoop構(gòu)建構(gòu)建游戲云(Web Game Daas)平臺(tái) 
 | 
| 
 Hadoop生態(tài)系統(tǒng)介紹和演示 
 | 
 Hadoop HDFS?和?MapReduce 
Hadoop數(shù)據(jù)庫之HBase 
Hadoop數(shù)據(jù)倉庫之Hive 
Hadoop數(shù)據(jù)處理腳本Pig 
Hadoop數(shù)據(jù)接口Sqoop和Flume,Scribe DataX 
Hadoop工作流引擎?Oozie 
 | 
 運(yùn)用Hadoop自下而上構(gòu)建大規(guī)模企業(yè)數(shù)據(jù)倉庫 
暴風(fēng)影音數(shù)據(jù)倉庫實(shí)戰(zhàn)解析 
 | 
| 
 Hadoop組件詳解 
 | 
 Hadoop HDFS?基本結(jié)構(gòu) 
Hadoop HDFS?副本存放策略 
Hadoop NameNode?詳解 
Hadoop SecondaryNameNode?詳解 
Hadoop DataNode?詳解 
Hadoop JobTracker?詳解 
Hadoop TaskTracker?詳解 
 | 
 Hadoop Mapper類核心代碼 
Hadoop Reduce類核心代碼 
Hadoop?核心代碼 
 | 
| 
 Hadoop安裝和部署 
 | 
 Hadoop系統(tǒng)模塊組件概述 
Hadoop試驗(yàn)集群的部署結(jié)構(gòu) 
Hadoop?安裝依賴關(guān)系 
Hadoop?生產(chǎn)環(huán)境的部署結(jié)構(gòu) 
Hadoop集群部署 
Hadoop?高可用配置方法 
Hadoop?集群簡(jiǎn)單測(cè)試方法 
Hadoop?集群異常Debug方法 
? 
 | 
 Hadoop安裝部署實(shí)驗(yàn) 
Red hat Linux基礎(chǔ)環(huán)境搭建 
Hadoop?單機(jī)系統(tǒng)版本安裝配置 
Hadoop?集群系統(tǒng)版本安裝和啟動(dòng)配置 
使用?Hadoop MapReduce Streaming快速測(cè)試系統(tǒng) 
Hadoopcore-site,hdfs-site,mapred-site?配置詳解 
 | 
| 
 Hadoop集群規(guī)劃 
 | 
 Hadoop?集群內(nèi)存要求 
Hadoop集群磁盤分區(qū) 
集群和網(wǎng)絡(luò)拓?fù)湟?/span> 
集群軟件的端口配置 
 | 
 針對(duì)NameNode Jobtracker DataNode TaskTracker Hiveserver?等不同組件需求推薦服務(wù)器配置 
 | 
| 
 MapReduce?算法原理 
 | 
 Hadoop MapReduce?算法的原理和優(yōu)化思想 
靈活運(yùn)用MapReduce?實(shí)現(xiàn)算法 
 | 
 運(yùn)用MapReduce?構(gòu)建數(shù)據(jù)庫算法 
Select Sort GrougBy Sum Count 
Join?新進(jìn)流失算法 
使用?Y-Smart?快速轉(zhuǎn)換SQL為MapReduce?代碼 
 | 
| 
 編寫MapReduce高級(jí)程序 
 | 
 使用?Hadoop MapReduce Streaming?編程 
MapReduce流程?????????? 
剖析一個(gè)MapReduce程序 
基本MapReduceAPI?概念?? 
驅(qū)動(dòng)代碼?Mapper、Reducer 
Hadoop流 
API?使用Eclipse進(jìn)行快速開發(fā)??????????????? 
新MapReduce API 
MapReduce的優(yōu)化 
MapReduce的任務(wù)調(diào)度 
MapReduce編程實(shí)戰(zhàn) 
如何利用其他Hadoop相關(guān)技術(shù),包括Apache Hive,?Apache Pig,Sqoop和Oozie等 
滿足解決實(shí)際數(shù)據(jù)分析問題的高級(jí)Hadoop API 
 | 
 Hadoop Streaming?和?Java MapReduce Api?差異。 
?MapReduce?實(shí)現(xiàn)數(shù)據(jù)庫功能 
利用Combiners來減少中間數(shù)據(jù) 
編寫Partitioner來優(yōu)化負(fù)載平衡 
直接訪問Hadoop分布式文件系統(tǒng)(HDFS) 
Hadoop的join操作 
輔助排序在Reducer方的合并 
定制Writables和WritableComparables 
使用SequenceFiles和Avro文件保存二進(jìn)制數(shù)據(jù) 
創(chuàng)建InputFormats OutputFormats 
Hadoop的二次排序 
Hadoop的海量日志分析 
 |