課程介紹

 

其他精品課程班: ABB symphony培訓(xùn) catia汽車內(nèi)外飾設(shè)計培訓(xùn) FLds模塊模擬培訓(xùn) 失效分析培訓(xùn) sherlock機器視覺培訓(xùn) CFD流體力學(xué)培訓(xùn) AMESIM電機熱培訓(xùn) AIGC培訓(xùn)培訓(xùn) 機械可靠性培訓(xùn) ansys模具行業(yè)仿真應(yīng)用培訓(xùn) HRS培訓(xùn) Chatgpt培訓(xùn) 數(shù)模混合IC設(shè)計培訓(xùn) 嵌入式產(chǎn)品測試培訓(xùn) Abaqus復(fù)合材料培訓(xùn) Vue培訓(xùn) 敏捷培訓(xùn) DevOps培訓(xùn) AIGC培訓(xùn) EBMI5培訓(xùn) CHI培訓(xùn) Scrum培訓(xùn) AI培訓(xùn) SEAi培訓(xùn) EtherCAT培訓(xùn) 尺寸鏈培訓(xùn) 3C半導(dǎo)體設(shè)備維護和調(diào)試培訓(xùn) 降噪設(shè)計培訓(xùn) 白盒測試培訓(xùn) 人機培訓(xùn) 通信培訓(xùn) AI職場培訓(xùn) Apollo培訓(xùn) Twin Builder培訓(xùn) 安全開發(fā)培訓(xùn) 公式培訓(xùn)

 

 

曙海教學(xué)優(yōu)勢

　 本課程面向企事業(yè)項目實際需要,秉承二十一年積累的教學(xué)品質(zhì)，數(shù)據(jù)Hadoop最佳實踐培訓(xùn)內(nèi)容有什么?-以項目實現(xiàn)為導(dǎo)向,老師將會與您分享設(shè)計的全流程以及工具的綜合使用經(jīng)驗、技巧。線上/線下/上門皆可,數(shù)據(jù)Hadoop最佳實踐培訓(xùn)內(nèi)容有什么?-專家,課程可定制,熱線:4008699035。

　 曙海的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。曙海的課程在業(yè)內(nèi)有著響亮的知名度。大批企業(yè)和曙海
建立了良好的合作關(guān)系,20多年來，合作企事業(yè)單位以達30多萬。

 

精品課程班級列表

• 　　本次Hadoop培訓(xùn)內(nèi)容如下：

  　　第一部分

  　　第1個主題：Hadoop思考

  　　1.Hadoop的設(shè)計目標(biāo)和適用場景

  　　2.Hadoop架構(gòu)解析

  　　3.MapReduce工作原理和案例說明

  　　第2個主題：Hadoop集群與管理

  　　1、 Hadoop集群的搭建

  　　2、 Hadoop集群的監(jiān)控

  　　3、 Hadoop集群的管理

  　　4、 集群下運行MapReduce程序

  　　第3主題：徹底掌握HDFS (具備修改HDFS具體源碼實現(xiàn)的能力)

  　　1、HDFS體系架構(gòu)剖析

  　　2、NameNode、DataNode、SecondaryNameNode架構(gòu)

  　　3、保證NodeName高可靠性最佳實踐

  　　4、DataNode中Block劃分的原理和具體存儲方式

  　　5、修改Namenode、DataNode數(shù)據(jù)存儲位置

  　　6、使用CLI操作HDFS

  　　7、使用Java操作HDFS

  　　第4主題：徹底掌握HDFS (具備修改HDFS具體源碼實現(xiàn)的能力)

  　　1、RPC架構(gòu)剖析

  　　2、源碼剖析Hadoop構(gòu)建于RPC之上

  　　3、源碼剖析HDFS的RPC實現(xiàn)

  　　4、源碼剖析客戶端與與NameNode的RPC通信

  　　第5個主題：徹底掌握MapReduce(從代碼的角度剖析MapReduce執(zhí)行的具體過程并具備開發(fā)MapReduce代碼的能力)

  　　1、MapReduce執(zhí)行的經(jīng)典步驟

  　　2、wordcount運行過程解析

  　　3、Mapper和Reducer剖析

  　　4、自定義Writable

  　　5、新舊API的區(qū)別以及如何使用就API

  　　6、把MapReduce程序打包成Jar包并在命令行運行

  　　第6個主題：徹底掌握MapReduce(具備掌握Hadoop如何把HDFS文件轉(zhuǎn)化為Key-Value讓供Map調(diào)用的能力)

  　　1、 Hadoop是如何把HDFS文件轉(zhuǎn)化為鍵值對的?

  　　2、 源碼剖析Hadoop讀取HDFS文件并轉(zhuǎn)化為鍵值對的過程實現(xiàn)

  　　3、 源碼剖析轉(zhuǎn)化為鍵值對后供Map調(diào)用的過程實現(xiàn)

  　　第7個主題：徹底掌握MapReduce(具備掌握MapReduce內(nèi)部運行和實現(xiàn)細節(jié)并改造MapReduce的能力)

  　　1、 Hadoop內(nèi)置計數(shù)器及如何自定義計數(shù)器

  　　2、 Combiner具體的作用和使用以及其使用的限制條件

  　　3、 Partitioner的使用最佳實踐

  　　4、 Hadoop內(nèi)置的排序算法剖析

  　　5、 自定義排序算法

  　　6、 Hadoop內(nèi)置的分組算法

  　　7、 自定義分組算法

  　　8、 MapReduce常見場景和算法實現(xiàn)

  　　第二部分

  　　第1個主題：HBase架構(gòu)設(shè)計和實現(xiàn)剖析

  　　1、 HBase定義

  　　2、 HBase與RDBMS的對比

  　　3、 數(shù)據(jù)模型

  　　4、 系統(tǒng)架構(gòu)

  　　5、 HBase上的MapReduce

  　　6、 表的設(shè)計

  　　第2個主題：HBase集群及其管理

  　　1、 集群的搭建過程講解

  　　2、 集群的監(jiān)控

  　　3、 集群的管理

  　　第3個主題：HBase客戶端

  　　1、 HBase Shell以及演示

  　　2、 Java客戶端以及代碼演示

  　　第4個主題：HBase案例實戰(zhàn)1---使用HBase實現(xiàn)微博系統(tǒng)

  　　1. 項目架構(gòu)和設(shè)計

  　　2. 開發(fā)環(huán)境搭建

  　　3. 實現(xiàn)用戶登錄和注銷

  　　4.“關(guān)注”功能的設(shè)計和實現(xiàn)

  　　5.“發(fā)微博”功能的設(shè)計和實現(xiàn)

  　　6.發(fā)布和運行整個基于HBase的微博系統(tǒng)

  　　第5個主題：HBase與MapReduce

  　　1. HBase與MapReduce的關(guān)系

  　　2. HBase如何使用MapReduce

  　　第6個主題：HBase案例實戰(zhàn)2---話單查詢與統(tǒng)計

  　　1. 項目架構(gòu)設(shè)計

  　　2. 開發(fā)環(huán)境搭建

  　　3. 話單入庫和查詢的設(shè)計與實現(xiàn)

  　　4.統(tǒng)計功能的設(shè)計與實現(xiàn)

  　　第7個主題：安裝和使用Hive

  　　1. Hive剖析

  　　2. 安裝Hive

  　　3.Hive的基本使用

  　　第8個主題：Hive與HDFS、MapReduce

  　　1. Hive向HDFS存入結(jié)構(gòu)化數(shù)據(jù)

  　　2. 使用MySQL作為Hive的元數(shù)據(jù)庫

  　　3.Hive與MapReduce

  　　第三部分

  　　第1個主題：Hive

  　　1. Hive的Java擴展開發(fā)

  　　2. Hive UDF和UDAF開發(fā)

  　　3. Hive常見場景，實戰(zhàn)練習(xí)

  　　第2個主題：Hive案例實戰(zhàn)---數(shù)據(jù)統(tǒng)計

  　　1. 項目架構(gòu)設(shè)計

  　　2. 表結(jié)構(gòu)設(shè)計

  　　3.數(shù)據(jù)的插入與統(tǒng)計實現(xiàn)

  　　第3個主題：Sqoop

  　　1. Sqoop原理

  　　2. Sqoop使用詳解

  　　3. 用Sqoop實現(xiàn)HDFS/Hive與關(guān)系數(shù)據(jù)庫的數(shù)據(jù)交互

  　　4. 用Sqoop實現(xiàn)HBase與關(guān)系數(shù)據(jù)庫的數(shù)據(jù)交互

  　　第4個主題：電商業(yè)日志流量分析項目

  　　電商業(yè)日志流量分析項目，互聯(lián)網(wǎng)企業(yè)對海量日志的分析是Hadoop應(yīng)用的一個重要用途，也是對網(wǎng)站流量、客戶行為分析的重要途徑。該項目整合Hive、Hbase、Sqoop等常用組件，涉及從后臺處理到前臺呈現(xiàn)的每一個技術(shù)環(huán)節(jié)。包括：

  　　1·業(yè)務(wù)需求介紹

  　　2·數(shù)據(jù)建模

  　　3·后臺算法設(shè)計

  　　4·后臺業(yè)務(wù)處理

  　　5·前臺WEB展示等

  　　第5個主題：Hadoop開發(fā)者之路

  　　1. Hadoop技能模型

  　　2. Hadoop開發(fā)者最佳學(xué)習(xí)路線和方式

  　　3.Hadoop開發(fā)者最佳成長路線

  
  
  

  ---
• 聯(lián)系曙海客服