Spark
生態(tài)介紹

? Mapreduce、storm和spark模型的比較和使用場景介紹
? Spark產(chǎn)生背景
? Spark（內存計算框架）
? SparkSteaming（流式計算框架）
? Spark SQL（ad-hoc）
? Mllib（MachineLearning）
? GraphX（bagel將被代）
? DlinkDB介紹
? SparkR介紹

Spark
安裝部署

? Spark安裝簡介
? Spark的源碼編譯
? Spark Standalone安裝
? Spark Standalone HA安裝
? Spark應用程序部署工具spark-submit
? Spark的高可用性部署

Spark
運行架構和解析

? Spark的運行架構
? 基本術語
? 運行架構
? Spark on Standalone運行過程
? Spark on YARN 運行過程
? Spark運行實例解析
? Spark on Standalone實例解析
? Spark on YARN實例解析

Spark
scala編程

? Scala基本語法
? Scala開發(fā)環(huán)境搭建
? Scala開發(fā)Spark應用程序
? 使用java編程
? 使用scala編程
? 使用python編程

Spark
編程模型和解析

? Spark的編程模型
? Spark編程模型解析
? RDD的特點、操作、依賴關系
? Spark應用程序的配置

Spark Streaming原理和實踐

? Spark Streaming與Strom的區(qū)別
? Kafka的部署
? Kafka與Spark Streaming的整合
? Spark Streaming原理
? Spark流式處理架構
? DStream的特點
? Dstream的操作和RDD的區(qū)別
? Spark Streaming的優(yōu)化
? Spark Streaming實例
? 文本實例
? 網(wǎng)絡數(shù)據(jù)處理
? Kafka+Spark Streaming實現(xiàn)日志的實時分析案例

Spark?
SQL原理和實踐

? Spark SQL原理
? Spark SQL的Catalyst優(yōu)化器
? Spark SQL內核
? Spark SQL和Hive
? Spark SQL的實例和編程
? Spark SQL的實例操作demo
? Spark SQL的編程
? DataFrame架構和原理
? DataFrame支持的統(tǒng)計和數(shù)學函數(shù)介紹
? 從RDD創(chuàng)建DataFrame
? 從Hive表創(chuàng)建DataFrame
? 從數(shù)據(jù)源創(chuàng)建DataFrame

Spark的數(shù)據(jù)源

? Spark與HDFS的整合
? HDFS RDD原理和實現(xiàn)
? Spark與Hbase的整合
? Spark與Cassendera整合
? Hbase RDD的分區(qū)讀取
? Hbase RDD的原理和實現(xiàn)
? Spark parallelism RDD的工作機制

Spark 數(shù)據(jù)挖掘

? Mllib的介紹
? graphX核心原理
? table operator和graph operator區(qū)別
? vertices、edges和triplets介紹
? 構建一個graph
? SparkR原理
? SparkR實戰(zhàn)

典型項目
案例實戰(zhàn)

? 基于spark日志分析
? 個性化推薦系統(tǒng)：帶你揭開其神秘面紗
? 在線投放引擎
? 揭開淘寶點擊推薦系統(tǒng)的神秘面紗
? 淘寶數(shù)據(jù)服務架構—實時計算平臺

Spark的優(yōu)化

? 序列化優(yōu)化——Kryo
? Spark參數(shù)優(yōu)化實戰(zhàn)
? Spark 任務的均勻分布策略
? Partition key傾斜的解決方案
? Spark任務的監(jiān)控
? GC的優(yōu)化
? Spark Streaming吞吐量優(yōu)化
? Spark RDD使用內存的優(yōu)化策略
? Spark在使用中的感想分享