Spark大數(shù)據(jù)架構(gòu)概述及案例簡介

1. 1介紹Spark大數(shù)據(jù)層級(jí)架構(gòu)及各層軟件設(shè)計(jì)要求，包括數(shù)據(jù)收集，大數(shù)據(jù)存儲(chǔ)，大數(shù)據(jù)計(jì)算框架，大數(shù)據(jù)應(yīng)用等
1.2. Hadoop與Spark區(qū)別與關(guān)系
1.3. Spark生態(tài)系統(tǒng)概述以及版本演化，并給出spark版本選擇建議
1.4. Spark典型案例簡介(簡要介紹案例，具體在后面各節(jié)會(huì)詳細(xì)介紹)
Spark商品推薦系統(tǒng)、用戶標(biāo)簽系統(tǒng)

Spark產(chǎn)生動(dòng)機(jī)與基本概念

2.1 Spark產(chǎn)生背景，與MapReduce對(duì)比，其優(yōu)缺點(diǎn)是什么
2.2 Spark核心概念
（1）RDD
（2）基本操作：transformation與 action
2.2 Spark程序架構(gòu)
（1）Driver/executor
（2）容錯(cuò)機(jī)制

Spark安裝部署

3.1 Spark運(yùn)行模式簡介、standlone模式、Spark on yarn模式
3.2 搭建一個(gè)spark on yarn集群、搭建yarn集群、運(yùn)行第一個(gè)spark程序

Spark程序設(shè)計(jì)實(shí)例

4.1 Scala語言基礎(chǔ)，常用語法以及庫函數(shù)
4.2 Spark程序設(shè)計(jì)方法
1.Spark程序基本構(gòu)成,SparkContext，RDD，transformation/action
2.Spark API介紹
（1） 如何創(chuàng)建RDD（scala集合，HDFS文件，HBase文件等）
（2）如何基于RDD進(jìn)行數(shù)據(jù)處理，介紹常見的分布式算子
（3）如何保存處理結(jié)果（返回到driver端，寫入hdfs等）
（4）廣播變量與累加器
4.3 Spark程序設(shè)計(jì)實(shí)例
（1）分布式Pi估算程序
（2）K-means分類算法實(shí)現(xiàn)
（3）邏輯回歸算法實(shí)現(xiàn)

Spark內(nèi)部原理

5.1 Spark程序運(yùn)行流程概述
介紹Spark從提交，到調(diào)度，到最后執(zhí)行完成整個(gè)過程
5.2 Spark內(nèi)部執(zhí)行流程
介紹Spark程序內(nèi)部的邏輯查詢計(jì)劃，物理查詢計(jì)劃，調(diào)度等幾個(gè)環(huán)節(jié)
5.3 Spark shuffle實(shí)現(xiàn)
介紹Spark shuffle發(fā)展史及實(shí)現(xiàn)邏輯
5.4 Spark算子的內(nèi)部機(jī)制
以reduce By Key和group By Key為例介紹spark算子的內(nèi)部實(shí)現(xiàn)原理

Spark與外部系統(tǒng)整合

6.1 Spark與Kafka和flume結(jié)合
介紹如何使用kafka和flume將數(shù)據(jù)導(dǎo)入hadoop中，以便使用spark處理
6.2 Spark與Storm結(jié)合
介紹如何使用spark實(shí)時(shí)處理數(shù)據(jù)
6.3 Spark與HBase和HDFS結(jié)合
介紹Spark如何與HBase和HDFS實(shí)現(xiàn)數(shù)據(jù)的讀寫交互
6.4 Spark與關(guān)系型數(shù)據(jù)庫和hive結(jié)合
介紹如何使用spark與關(guān)系型數(shù)據(jù)庫和hive結(jié)合

Spark調(diào)優(yōu)方法

Spark調(diào)優(yōu)思想、方法

Spark案例分析

基于Spark的商品推薦系統(tǒng)，包括：項(xiàng)目背景、項(xiàng)目架構(gòu)、項(xiàng)目實(shí)施

Spark Streaming應(yīng)用及案例分析

8.1 Spark Streaming產(chǎn)生動(dòng)機(jī)
8.2 Spark Streaming程序設(shè)計(jì)
（1）創(chuàng)建DStream
（2）基于DStream進(jìn)行流式處理
8.3 Spark Streaming容錯(cuò)與性能優(yōu)化
（1）Spark Streaming容錯(cuò)機(jī)制
（2）如何對(duì)spark Streaming進(jìn)行優(yōu)化
8.4 Spark Streaming案例分析
基于Spark Streaming的用戶標(biāo)簽系統(tǒng)，內(nèi)容包括項(xiàng)目背景，項(xiàng)目架構(gòu)以及實(shí)施方法

Spark SQL

9.1 Spark SQL定位
9.2 如何使用SparkSQL處理數(shù)據(jù)
（1）使用SparkSQL處理HDFS上數(shù)據(jù)
（2）使用SparkSQL處理Hive中的數(shù)據(jù)
9.3 Spark SQL與Spark及Spark Streaming結(jié)合

MLlib

10. 介紹Spark的數(shù)據(jù)挖掘庫MLlib，重點(diǎn)介紹其內(nèi)部的幾個(gè)分類算法，聚類算法和推薦算法，包括邏輯回歸，K-Means，協(xié)同過濾等

GraphX

11. 介紹Spark內(nèi)部的圖計(jì)算框架GraphX，重點(diǎn)介紹它的基本原理及使用方法