?

• 主要希望幫助培訓(xùn)方解決的問題，
• 理解大數(shù)據(jù)平臺(tái)的架構(gòu)與各組件的使用場(chǎng)景，
• 核心的組件的架構(gòu)設(shè)計(jì)與原理，
• 使用中的經(jīng)驗(yàn)分享，
• 互聯(lián)網(wǎng)行業(yè)的使用案例，使其幫助客戶有大數(shù)據(jù)行業(yè)入門的思維，能夠自行搭建大數(shù)據(jù)平臺(tái)，完成一些數(shù)據(jù)對(duì)接與分析能力、并且提升對(duì)大數(shù)據(jù)平臺(tái)的認(rèn)識(shí)與理解。

• 一、云計(jì)算	云計(jì)算架構(gòu)概覽 云計(jì)算能帶來什么好處 云計(jì)算之虛擬機(jī) 云計(jì)算之大數(shù)據(jù) 經(jīng)典的使用案例
  二、大數(shù)據(jù)之分布式存儲(chǔ)	分布式存儲(chǔ)-HDFS 大數(shù)據(jù)的好處 大數(shù)據(jù)的核心架構(gòu) 企業(yè)使用大數(shù)據(jù)的案例 什么是分布式文件系統(tǒng)和HDFS HDFS設(shè)計(jì)目標(biāo) HDFS的基本組件 HDFS架構(gòu)圖和工作原理 HDFS服務(wù)進(jìn)程詳解 HDFS的未來發(fā)展 NameNode詳解 DataNode詳解 HDFS副本備份策略
  三、分布式存儲(chǔ)實(shí)戰(zhàn)	HDFS實(shí)戰(zhàn)-命令行等使用 HDFS安裝須知 HDFS命令行工具 啟動(dòng)、停止HDFS服務(wù) 如何查看HDFS日志 如何查看HDFS Web控制臺(tái) HDFS參數(shù)配置 上機(jī)練習(xí) HDFS實(shí)戰(zhàn)-Java API使用 Eclipse 開發(fā)環(huán)境介紹 HDFS 開發(fā)基本步驟 HDFS Java API詳解 oConfiguration oPath oFileSystem oStream、IOUtils HDFS Java API使用場(chǎng)景示例 FuseHDFS WebHDFS RESTful API 上機(jī)練習(xí)
  四、大數(shù)據(jù)之分布式計(jì)算	什么是MapReduce MapReduce服務(wù) MapReduce服務(wù) MapReduce作業(yè)執(zhí)行流程 MapReduce錯(cuò)誤處理機(jī)制 MapReduce高級(jí)特性 MapReduce任務(wù)調(diào)度 MapReduce任務(wù)調(diào)度
  五、分布式計(jì)算實(shí)戰(zhàn)	MapReduce命令行使用 啟動(dòng)、停止MapReduce服務(wù) 查看MapReduce日志 查看MapReduce控制臺(tái) MapReduce參數(shù)配置 MapReduce 編程實(shí)戰(zhàn) MapReduce框架類庫介紹 開發(fā)MapReduce程序步驟 WordCount流程分解 WordCount代碼分析 上機(jī)練習(xí) Hadoop IO 框架 為什么要學(xué)習(xí)Hadoop I/O框架 序列化 SequenceFile MapFile 數(shù)據(jù)完整性 數(shù)據(jù)壓縮 上機(jī)練習(xí)
  六、大數(shù)據(jù)之?dāng)?shù)據(jù)倉庫-Ｈive	什么是Hive？ Hive的架構(gòu)原理 如何利用Hive來建造數(shù)據(jù)倉庫？ Hive的使用 HQL的調(diào)優(yōu)： 操作練習(xí)
  七、大數(shù)據(jù)之NOSQL-Ｈbase	什么是Hbase？ Hbase的架構(gòu)原理 Hbase核心知識(shí)點(diǎn) HBase列族與列 HBase時(shí)間戳 HBase物理模型 數(shù)據(jù)存儲(chǔ)結(jié)構(gòu):LSM HBase Log HBase Filter HBase安裝 配置與優(yōu)化 表設(shè)計(jì)與相關(guān)參數(shù) 操作練習(xí)
  八、大數(shù)據(jù)之內(nèi)存計(jì)算-Spark	Spark架構(gòu)介紹 Scala介紹 Mesos介紹 Spark介紹 Spark原理及架構(gòu)剖析 Spark RDD計(jì)算模型解析 Spark的任務(wù)執(zhí)行機(jī)制解析 Spark的調(diào)試與任務(wù)分配 Spark的容錯(cuò)機(jī)制剖析 Spark集群部署 Standalone 集群分布式 與HDFS結(jié)合 Spark Shell命令行分析 構(gòu)建與運(yùn)行Spark應(yīng)用 Spark RDD操作方法解析 Spark作業(yè)測(cè)試解析 Spark的性能調(diào)優(yōu) Spark生態(tài)體系剖析 SPARK SQL SPARK ML SPARK Streaming Spark應(yīng)用實(shí)踐
  九、大數(shù)據(jù)之資源管理-Yarn	Yarn 與MapReduce的不同 Yarn 原理與架構(gòu) Apache YARN基本框架 Apache YARN工作流程 Apache YARN設(shè)計(jì)細(xì)節(jié) Yarn 核心技術(shù)模塊原理解析 Yarn ResouceManager原理解析 Yarn NodeManager 原理解析 Yarn ApplicationMaster MapReduce與YARN結(jié)合 如何與Yarn來結(jié)合 Yarn 配置及搭建
  十、大數(shù)據(jù)之分析腳本工具-Pig	Pig基礎(chǔ) 使用Pig進(jìn)行簡(jiǎn)單數(shù)據(jù)分析 使用Pig處理復(fù)雜數(shù)據(jù) 使用Pig分析處理多數(shù)據(jù)集 擴(kuò)展Pig Pig排錯(cuò)和優(yōu)化
  十一、數(shù)據(jù)安全	安全體系圖 應(yīng)用安全、數(shù)據(jù)安全 多級(jí)認(rèn)證體系 產(chǎn)品安全思路 學(xué)員實(shí)際演練與老師現(xiàn)場(chǎng)指導(dǎo)
  十二、云計(jì)算運(yùn)維體系	云計(jì)算運(yùn)維體系架構(gòu)圖 服務(wù)可靠性 提高服務(wù)質(zhì)量 降低服務(wù)成本 現(xiàn)場(chǎng)演示：實(shí)際項(xiàng)目中云計(jì)算運(yùn)維體系架構(gòu)圖。
  十三、大練習(xí)：以實(shí)際項(xiàng)目案例為基礎(chǔ)	進(jìn)行云計(jì)算分布式架構(gòu)的設(shè)計(jì)思路和流程實(shí)際演練。 （此內(nèi)容是本課程的重點(diǎn)內(nèi)容，課程壓軸大作，從而 使云計(jì)算架構(gòu)設(shè)計(jì)最終落地）