課程介紹

 

其他精品課程班: ABB symphony培訓(xùn) catia汽車內(nèi)外飾設(shè)計(jì)培訓(xùn) FLds模塊模擬培訓(xùn) 失效分析培訓(xùn) sherlock機(jī)器視覺培訓(xùn) CFD流體力學(xué)培訓(xùn) AMESIM電機(jī)熱培訓(xùn) AIGC培訓(xùn)培訓(xùn) 機(jī)械可靠性培訓(xùn) ansys模具行業(yè)仿真應(yīng)用培訓(xùn) HRS培訓(xùn) Chatgpt培訓(xùn) 數(shù)模混合IC設(shè)計(jì)培訓(xùn) 嵌入式產(chǎn)品測(cè)試培訓(xùn) Abaqus復(fù)合材料培訓(xùn) Vue培訓(xùn) 敏捷培訓(xùn) DevOps培訓(xùn) AIGC培訓(xùn) EBMI5培訓(xùn) CHI培訓(xùn) Scrum培訓(xùn) AI培訓(xùn) SEAi培訓(xùn) EtherCAT培訓(xùn) 尺寸鏈培訓(xùn) 3C半導(dǎo)體設(shè)備維護(hù)和調(diào)試培訓(xùn) 降噪設(shè)計(jì)培訓(xùn) 白盒測(cè)試培訓(xùn) 人機(jī)培訓(xùn) 通信培訓(xùn) AI職場(chǎng)培訓(xùn) Apollo培訓(xùn) Twin Builder培訓(xùn) 安全開發(fā)培訓(xùn) 公式培訓(xùn)

 

 

曙海教學(xué)優(yōu)勢(shì)

　 本課程面向企事業(yè)項(xiàng)目實(shí)際需要,秉承二十一年積累的教學(xué)品質(zhì)，Spark大數(shù)據(jù)處理案例分析與實(shí)踐培訓(xùn)課程-以項(xiàng)目實(shí)現(xiàn)為導(dǎo)向,老師將會(huì)與您分享設(shè)計(jì)的全流程以及工具的綜合使用經(jīng)驗(yàn)、技巧。線上/線下/上門皆可,Spark大數(shù)據(jù)處理案例分析與實(shí)踐培訓(xùn)課程-專家,課程可定制,熱線:4008699035。

　 曙海的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。曙海的課程在業(yè)內(nèi)有著響亮的知名度。大批企業(yè)和曙海
建立了良好的合作關(guān)系,20多年來(lái)，合作企事業(yè)單位以達(dá)30多萬(wàn)。

 

精品課程班級(jí)列表

• 　　目標(biāo)收益

  　　本次Spark培訓(xùn)將為大家全面而又深入的介紹Spark平臺(tái)的構(gòu)建流程，涉及Spark系統(tǒng)基礎(chǔ)知識(shí)，概念及架構(gòu)， Spark實(shí)戰(zhàn)技巧，Spark經(jīng)典案例等。

  　　通過本課程實(shí)踐，幫助學(xué)員對(duì)Spark生態(tài)系統(tǒng)有一個(gè)清晰明了的認(rèn)識(shí);理解Spark系統(tǒng)適用的場(chǎng)景;掌握Spark等初中級(jí)應(yīng)用開發(fā)技能;搭建穩(wěn)定可靠的Spark集群，滿足生產(chǎn)環(huán)境的標(biāo)準(zhǔn);了解和清楚大數(shù)據(jù)應(yīng)用的幾個(gè)行業(yè)中的經(jīng)典案例，包括阿里巴巴，騰訊，百度等互聯(lián)網(wǎng)行業(yè)，中國(guó)移動(dòng)和聯(lián)通等運(yùn)營(yíng)商。

  　　培訓(xùn)特色

  　　Spark已經(jīng)被不少互聯(lián)網(wǎng)公司采用，大部分?jǐn)?shù)據(jù)挖掘算法和迭代式算法在逐步MapReduce平臺(tái)遷移到Spark平臺(tái)中，包括阿里巴巴(廣告系統(tǒng))，騰訊(廣點(diǎn)通精準(zhǔn)推薦)，百度，優(yōu)酷土豆，360，支付寶等互聯(lián)網(wǎng)公司已經(jīng)在線上產(chǎn)品中使用spark，且取得了令人滿意的效果，另外，部分省份的運(yùn)營(yíng)商也正在嘗試使用spark解決數(shù)據(jù)挖掘和分析問題，部分銀行，如工商銀行，也正在嘗試spark平臺(tái)。

  　　培訓(xùn)對(duì)象

  　　各類 IT/軟件企業(yè)和研發(fā)機(jī)構(gòu)的軟件架構(gòu)師、軟件設(shè)計(jì)師、程序員。對(duì)于懷有設(shè)計(jì)疑問和問題，需要梳理解答的團(tuán)隊(duì)和個(gè)人，效果最佳。

  　　學(xué)員基礎(chǔ)

  　　1) 了解Java語(yǔ)言(Scala語(yǔ)言會(huì)作為課程內(nèi)容進(jìn)行介紹);

  　　2) 了解Linux系統(tǒng);

  　　課程大綱

  　　Spark大數(shù)據(jù)架構(gòu)概述及案例簡(jiǎn)介

  　　1. 1介紹Spark大數(shù)據(jù)層級(jí)架構(gòu)及各層軟件設(shè)計(jì)要求，包括數(shù)據(jù)收集，大數(shù)據(jù)存儲(chǔ)，大數(shù)據(jù)計(jì)算框架，大數(shù)據(jù)應(yīng)用等

  　　1.2. Hadoop與Spark區(qū)別與關(guān)系

  　　1.3. Spark生態(tài)系統(tǒng)概述以及版本演化，并給出spark版本選擇建議

  　　1.4. Spark典型案例簡(jiǎn)介(簡(jiǎn)要介紹案例，具體在后面各節(jié)會(huì)詳細(xì)介紹)

  　　Spark商品推薦系統(tǒng)、用戶標(biāo)簽系統(tǒng)

  　　Spark產(chǎn)生動(dòng)機(jī)與基本概念

  　　2.1 Spark產(chǎn)生背景，與MapReduce對(duì)比，其優(yōu)缺點(diǎn)是什么

  　　2.2 Spark核心概念

  　　(1)RDD

  　　(2)基本操作：transformation與 action

  　　2.2 Spark程序架構(gòu)

  　　(1)Driver/executor

  　　(2)容錯(cuò)機(jī)制

  　　Spark安裝部署

  　　3.1 Spark運(yùn)行模式簡(jiǎn)介、standlone模式、Spark on yarn模式

  　　3.2 搭建一個(gè)spark on yarn集群、搭建yarn集群、運(yùn)行第一個(gè)spark程序

  　　Spark程序設(shè)計(jì)實(shí)例

  　　4.1 Scala語(yǔ)言基礎(chǔ)，常用語(yǔ)法以及庫(kù)函數(shù)

  　　4.2 Spark程序設(shè)計(jì)方法

  　　1.Spark程序基本構(gòu)成,SparkContext，RDD，transformation/action

  　　2.Spark API介紹

  　　(1) 如何創(chuàng)建RDD(scala集合，HDFS文件，HBase文件等)

  　　(2)如何基于RDD進(jìn)行數(shù)據(jù)處理，介紹常見的分布式算子

  　　(3)如何保存處理結(jié)果(返回到driver端，寫入hdfs等)

  　　(4)廣播變量與累加器

  　　4.3 Spark程序設(shè)計(jì)實(shí)例

  　　(1)分布式Pi估算程序

  　　(2)K-means分類算法實(shí)現(xiàn)

  　　(3)邏輯回歸算法實(shí)現(xiàn)

  　　Spark內(nèi)部原理

  　　5.1 Spark程序運(yùn)行流程概述

  　　介紹Spark從提交，到調(diào)度，到最后執(zhí)行完成整個(gè)過程

  　　5.2 Spark內(nèi)部執(zhí)行流程

  　　介紹Spark程序內(nèi)部的邏輯查詢計(jì)劃，物理查詢計(jì)劃，調(diào)度等幾個(gè)環(huán)節(jié)

  　　5.3 Spark shuffle實(shí)現(xiàn)

  　　介紹Spark shuffle發(fā)展史及實(shí)現(xiàn)邏輯

  　　5.4 Spark算子的內(nèi)部機(jī)制

  　　以reduce By Key和group By Key為例介紹spark算子的內(nèi)部實(shí)現(xiàn)原理

  　　Spark與外部系統(tǒng)整合

  　　6.1 Spark與Kafka和flume結(jié)合

  　　介紹如何使用kafka和flume將數(shù)據(jù)導(dǎo)入hadoop中，以便使用spark處理

  　　6.2 Spark與Storm結(jié)合

  　　介紹如何使用spark實(shí)時(shí)處理數(shù)據(jù)

  　　6.3 Spark與HBase和HDFS結(jié)合

  　　介紹Spark如何與HBase和HDFS實(shí)現(xiàn)數(shù)據(jù)的讀寫交互

  　　6.4 Spark與關(guān)系型數(shù)據(jù)庫(kù)和hive結(jié)合

  　　介紹如何使用spark與關(guān)系型數(shù)據(jù)庫(kù)和hive結(jié)合

  　　Spark調(diào)優(yōu)方法

  　　Spark調(diào)優(yōu)思想、方法

  　　Spark案例分析

  　　基于Spark的商品推薦系統(tǒng)，包括：項(xiàng)目背景、項(xiàng)目架構(gòu)、項(xiàng)目實(shí)施

  　　Spark Streaming應(yīng)用及案例分析

  　　8.1 Spark Streaming產(chǎn)生動(dòng)機(jī)

  　　8.2 Spark Streaming程序設(shè)計(jì)

  　　(1)創(chuàng)建DStream

  　　(2)基于DStream進(jìn)行流式處理

  　　8.3 Spark Streaming容錯(cuò)與性能優(yōu)化

  　　(1)Spark Streaming容錯(cuò)機(jī)制

  　　(2)如何對(duì)spark Streaming進(jìn)行優(yōu)化

  　　8.4 Spark Streaming案例分析

  　　基于Spark Streaming的用戶標(biāo)簽系統(tǒng)，內(nèi)容包括項(xiàng)目背景，項(xiàng)目架構(gòu)以及實(shí)施方法

  　　Spark SQL

  　　9.1 Spark SQL定位

  　　9.2 如何使用SparkSQL處理數(shù)據(jù)

  　　(1)使用SparkSQL處理HDFS上數(shù)據(jù)

  　　(2)使用SparkSQL處理Hive中的數(shù)據(jù)

  　　9.3 Spark SQL與Spark及Spark Streaming結(jié)合

  　　MLlib

  　　10. 介紹Spark的數(shù)據(jù)挖掘庫(kù)MLlib，重點(diǎn)介紹其內(nèi)部的幾個(gè)分類算法，聚類算法和推薦算法，包括邏輯回歸，K-Means，協(xié)同過濾等

  　　GraphX

  　　11. 介紹Spark內(nèi)部的圖計(jì)算框架GraphX，重點(diǎn)介紹它的基本原理及使用方法

  
  
  

  ---
• 聯(lián)系曙海客服