課程介紹

 

其他精品課程班: ABB symphony培訓(xùn) catia汽車內(nèi)外飾設(shè)計(jì)培訓(xùn) FLds模塊模擬培訓(xùn) 失效分析培訓(xùn) sherlock機(jī)器視覺(jué)培訓(xùn) CFD流體力學(xué)培訓(xùn) AMESIM電機(jī)熱培訓(xùn) AIGC培訓(xùn)培訓(xùn) 機(jī)械可靠性培訓(xùn) ansys模具行業(yè)仿真應(yīng)用培訓(xùn) HRS培訓(xùn) Chatgpt培訓(xùn) 數(shù)模混合IC設(shè)計(jì)培訓(xùn) 嵌入式產(chǎn)品測(cè)試培訓(xùn) Abaqus復(fù)合材料培訓(xùn) Vue培訓(xùn) 敏捷培訓(xùn) DevOps培訓(xùn) AIGC培訓(xùn) EBMI5培訓(xùn) CHI培訓(xùn) Scrum培訓(xùn) AI培訓(xùn) SEAi培訓(xùn) EtherCAT培訓(xùn) 尺寸鏈培訓(xùn) 3C半導(dǎo)體設(shè)備維護(hù)和調(diào)試培訓(xùn) 降噪設(shè)計(jì)培訓(xùn) 白盒測(cè)試培訓(xùn) 人機(jī)培訓(xùn) 通信培訓(xùn) AI職場(chǎng)培訓(xùn) Apollo培訓(xùn) Twin Builder培訓(xùn) 安全開發(fā)培訓(xùn) 公式培訓(xùn)

 

 

曙海教學(xué)優(yōu)勢(shì)

　 本課程面向企事業(yè)項(xiàng)目實(shí)際需要,秉承二十一年積累的教學(xué)品質(zhì)，Hadoop開發(fā)、運(yùn)維和調(diào)優(yōu)實(shí)戰(zhàn)培訓(xùn)課程-以項(xiàng)目實(shí)現(xiàn)為導(dǎo)向,老師將會(huì)與您分享設(shè)計(jì)的全流程以及工具的綜合使用經(jīng)驗(yàn)、技巧。線上/線下/上門皆可,Hadoop開發(fā)、運(yùn)維和調(diào)優(yōu)實(shí)戰(zhàn)培訓(xùn)課程-專家,課程可定制,熱線:4008699035。

　 曙海的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。曙海的課程在業(yè)內(nèi)有著響亮的知名度。大批企業(yè)和曙海
建立了良好的合作關(guān)系,20多年來(lái)，合作企事業(yè)單位以達(dá)30多萬(wàn)。

 

精品課程班級(jí)列表

• ?　　培訓(xùn)對(duì)象

  　　本次Hadoop培訓(xùn)的對(duì)象是大數(shù)據(jù)愛好者、程序員、數(shù)據(jù)分析師，項(xiàng)目經(jīng)理和對(duì)已經(jīng)使用hadoop，想提高的用戶。

  　　學(xué)員基礎(chǔ)

  　　學(xué)員學(xué)習(xí)本課程應(yīng)具備下列基礎(chǔ)知識(shí)：

  　　1)了解Java或者python和shell語(yǔ)言;

  　　2)了解Linux系統(tǒng);

  　　目標(biāo)收益

  　　Hadoop這門課程從理論到實(shí)戰(zhàn)再到公司的項(xiàng)目，還有hadoop集群的搭建和性能的調(diào)優(yōu)，再到HDFS性能的測(cè)試和MapReduce性能的測(cè)試再到網(wǎng)絡(luò)的需求等全面的詳解Hadoop的開發(fā)和維護(hù)，深刻理解MapReduce的原理，能過(guò)使用mapreduce進(jìn)行高級(jí)編程，使用Hive進(jìn)行數(shù)據(jù)分析，使用Hbase進(jìn)行線上分析，關(guān)系型數(shù)據(jù)和HDFS、hive之間的相互遷移，理解Hadoop的使用場(chǎng)景，面對(duì)一個(gè)需求適不適合使用hadoop。

  　　課程大綱

  　　Hadoop的來(lái)源和動(dòng)機(jī)

  　　1.傳統(tǒng)大規(guī)模系統(tǒng)存在的問(wèn)題n2.Hadoop概述n3.Hadoop分布式文件系統(tǒng) n4.MapReduce工作原理 n5.Hadoop集群剖析n6.Hadoop生態(tài)系統(tǒng)對(duì)一種新的解決方案的需求n7.Hadoop的行業(yè)應(yīng)用案例分析n8.Hadoop在云計(jì)算和大數(shù)據(jù)的位置和關(guān)系

  　　Hadoop集群規(guī)劃

  　　1.Hadoop 集群內(nèi)存要求n? Namenode的機(jī)器配置n? Datanode的機(jī)器配置n? SNN的機(jī)器配置n2.Hadoop集群磁盤分區(qū)n3.集群和網(wǎng)絡(luò)拓?fù)湟髇4.集群軟件的端口配置

  　　Hadoop簡(jiǎn)介和生態(tài)系統(tǒng)介紹

  　　1.傳統(tǒng)大規(guī)模數(shù)據(jù)分析存在的問(wèn)題n2.Hadoop概述n3.Hadoop與分布式文件系統(tǒng) n4.Hadoop生態(tài)系統(tǒng)n5.Hadoop的行業(yè)應(yīng)用案例分析n6.Hadoop在云計(jì)算和大數(shù)據(jù)的位置和關(guān)系n7.Hadoop版本介紹n8.Hadoop與Google FS的關(guān)系n9.Hadoop在國(guó)內(nèi)的使用情況和未來(lái)

  　　Hadoop安裝和主要配置文件介紹

  　　1.Hadoop安裝所需軟件介紹n2.Hadoop單機(jī)安裝n3.Hadoop偽分布式安裝n4.Hadoop完全分布式安裝n5.Hadoop三個(gè)節(jié)點(diǎn)安裝的配置介紹n6.Hahoop多節(jié)點(diǎn)ssh配置n7.Hadoop格式化詳解n8.Hadoop核心配置文件介紹n9.核心配置文件core-site.xmln10.HDFS配置文件hdfs-site.xmln11.Mapreduce配置文件mapred-site.xmln12.master文件配置詳解n13.slave文件配置詳解n14.Hadoop啟動(dòng)和停止方法一n—start-all.sh詳解n—stop-all.sh詳解n15.Hadoop的啟動(dòng)和停止方法二n—hadoop-deamon.sh詳解n16.Hadoop安裝的常見錯(cuò)誤介紹和解決方案n17.使用自帶的wordcount和pi測(cè)試集群安裝是否成功n18.使用Streaming來(lái)測(cè)試集群安裝是否成功

  　　Hadoop組件介紹

  　　1.Hadoop NameNode 介紹n2.Hadoop SecondaryNameNode 介紹n3.Hadoop DataNode 介紹n4.Hadoop JobTracker 介紹n5.Hadoop TaskTracker 介紹

  　　Hadoop的HDFS模塊

  　　1.HDFS架構(gòu)介紹n2.HDFS原理介紹n3.NameNode功能詳解n4.DataNode功能詳解n5.SecondaryNameNode功能詳解n6.HSFD的fsimage和editslog詳解n7.HDFS的block詳解n8.HDFS的block的備份策略n9.Hadoop的機(jī)架感知配置n10.HDFS的shell命令介紹n11.HDFS的thrift server服務(wù)介紹n12.HDFS的API接口介紹n13.HDFS的權(quán)限詳解n14.Hadoop的客服端接入案例

  　　MapReducer入門和高級(jí)開發(fā)實(shí)戰(zhàn)

  　　1.Mapreduce原理n2.MapReduce流程n3.剖析一個(gè)MapReduce程序n4.Mapper和Reducer抽象類詳解n5.Mapreduce的最小驅(qū)動(dòng)類n6.MapReduce自帶的類型n7.自定義Writables和WritableComparablesn8.Mapreduce的輸入InputFormatsn9.MapReduce的輸出OutputFormatsn10.自定義InputFormatn11.自定義InputSPlitsn12.自定義RecorderReadern13.Combiner詳解n14.Partitioner詳解n15.DistributeFileSystem詳解n16.Hadoop Tools工具介紹n17.Counter計(jì)數(shù)器詳解n18.自定義Counter計(jì)數(shù)器n19.基于Hadoop二次開發(fā)實(shí)戰(zhàn)n20.MapReduce的優(yōu)化n21.Map和Reduce的個(gè)數(shù)設(shè)置n22.Hadoop小文件優(yōu)化n23.任務(wù)調(diào)度n24.默認(rèn)的任務(wù)調(diào)度n25.公平任務(wù)調(diào)度n26.能力任務(wù)調(diào)度n27.使用 Hadoop MapReduce Streaming 編程n28.MapReduce的單元測(cè)試

  　　Hive的使用和實(shí)戰(zhàn)

  　　1.Hive和Pig基礎(chǔ)n2.Hive、Impala和presto的比較 n3.Hive的作用和原理說(shuō)明n4.Hadoop倉(cāng)庫(kù)和傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的協(xié)作關(guān)系n5.Hadoop/Hive倉(cāng)庫(kù)數(shù)據(jù)數(shù)據(jù)流n6.Hive 部署和安裝n7.Hive Cli 的基本用法n8.Hive的server啟動(dòng)n9.HQL基本語(yǔ)法n10.Hive的加載數(shù)據(jù)本地加載和HDFS加載n11.Hive的partition詳解n12.Hive的存儲(chǔ)方式詳解n13.RCFILE、TEXTFILE和SEQUEUEFILEn14.Hive的UDF和UDAFn15.Hive的transform詳解n16.Hive的JDBC連接

  　　Hbase使用

  　　1.Hbase原理n2.Hmaster詳解n3.RegionServer詳解n4.Zookeeper介紹n5. Hbase安裝n6.Hbase邏輯視圖介紹n7.Hbase物理視圖介紹n8.Hbase的二級(jí)索引介紹n9.Hbase 的DDL和DMLn10.Hbase表的設(shè)計(jì)案例n11.Hbase的import功能介紹n12.MapReduce操作Hbasen13.Hbase的 thrift Server介紹n14.Hbase 的API介紹n15.Hbase案例分析

  　　Hadoop安全和性能優(yōu)化

  　　1.Hadoop的可伸縮性應(yīng)用n2.Hadoop的線性伸縮性n3. Hadoop的最佳實(shí)戰(zhàn)n4.Map/Reduce性能測(cè)試n5.HDFS的性能測(cè)試n6.Hadoop企業(yè)級(jí)架構(gòu)n7.Hadoop的安全實(shí)戰(zhàn)n8.Hadoop的運(yùn)維知識(shí)總結(jié)

  　　Hadoop集群配置介紹和維護(hù)

  　　1.Hadoop集群的部署要點(diǎn)n2.NameNode和SecondaryNameNode和JobTracker機(jī)器的配置要求n3.dataNode與tasktracker機(jī)器的配置要求n4.Hadoop集群管理的工具介紹n5.Ganglia和nigos監(jiān)控Hadoop集群介紹n6.Ambri介紹n7.添加和刪除節(jié)點(diǎn)演示n8.Namenode的單點(diǎn)解決方案n9.NameNode的NFS備份介紹n10.集群所有dataNode掛掉的故障介紹n11.集群NameNode的fsimage丟掉恢復(fù)方法n12.Hadoop集群維護(hù)的注意點(diǎn)

  　　Sqoop介紹

  　　1.Sqoop是什么n2.Sqoop安裝n3.Sqoop把mysql數(shù)據(jù)導(dǎo)入HDFSn4.Sqoop把HDFS數(shù)據(jù)導(dǎo)入Mysqln5.Sqoop吧Mysql數(shù)據(jù)導(dǎo)入Hiven6.Sqoop吧Mysql數(shù)據(jù)導(dǎo)入Hive分區(qū)

  
  
  

  ---
• 聯(lián)系曙海客服