主題

內(nèi)容見要

Apache Kafka消息系統(tǒng)

·?什么是消息系統(tǒng)

·?異步接口設計的主要業(yè)務場景

·?異步消息隊列的應用

·?同步與異步接口在解決不同業(yè)務場景時的選型

·?超大型應用系統(tǒng)中消息系統(tǒng)的應用場景深入解析

·?消息系統(tǒng)在應用服務構(gòu)建時的應用場景

·?消息系統(tǒng)在數(shù)據(jù)體系構(gòu)建時的應用場景

·?異步消息隊列設計的核心性能調(diào)優(yōu)4大原則

·?在不同的場景下選用不同調(diào)優(yōu)策略

·?Apache Kafka的基本架構(gòu)和概念

·?Kafka的設計目標

·?消息隊列的分類

·?Kafka與同類系統(tǒng)的對比

·?Kafka的集群機制

·?Kafka的擴容機制

·?Kafka的消息隊列機制

·?為什么Kafka的吞吐性能極高，其物理IO的設計機制

·?Kafka的容錯機制

案例分析：通過一個超大型百萬級并發(fā)微服務架構(gòu)中Kafka規(guī)劃案例解析，如何在應用系統(tǒng)架構(gòu)中采用Kafka，Kafka所解決的核心關鍵問題

Kafka的架構(gòu)深度解析

·?Kafka主要組件及其作用

·?AMQP協(xié)議

·?Apache Kafka在ZooKeeper上的存儲結(jié)構(gòu)

·?Producer-消息生產(chǎn)者的深入解析與應用場景

·?Consumer-消息消費者的深入解析與應用場景

·?Broker-Kafka服務器集群的實現(xiàn)， 分析應用非功能性需求，定義吞吐定義Broker服務器數(shù)量，業(yè)務訪問量的推算與集群服務器數(shù)量未來增長的預測方案， 當前服務器集群規(guī)劃

·?Topic-消息類別定義，如何依據(jù)應用特征設計Topic

·?Partition-定義消息分區(qū)，為什么需要定義消息分區(qū)

·?Replication?副本數(shù)定義

·?Offset：消息偏移量的主要應用方法， 使用Offset進行消息的檢索與唯一性保障

·?Consumer Group：多Consumer的應用場景解析，及其在架構(gòu)中的應用關鍵點

·?In-Sync Replicas

·?Zookeeper?：集群管理與選舉機制，Kafka與ZooKeeper集成的目標

·?Leaders and Follows

案例分析：通過一個超大型百萬級并發(fā)微服務架構(gòu)中Kafka規(guī)劃案例解析，如何進行， Broker, Topic, Partition, Replication, ConsumerGroup等的設計過程

Apache Kafka的分布式集群構(gòu)建與基本操作

·?Apache Kafka在ZooKeeper上的存儲結(jié)構(gòu)

·?ZooKeeper集群的架構(gòu)解析

·?ZooKeeper分布式集群搭建

·?Broker的配置與搭建

·?Kakfa關鍵配置信息

·?創(chuàng)建ServerID

·?主節(jié)點的配置與搭建

·?子節(jié)點的配置與搭建

·?集群啟動與集群驗證

·?生產(chǎn)消息與消費消息

·?獲取消息列表

·?刪除Topic

案例實踐：構(gòu)建一個4臺服務器的Kafka分布式集群，并完成Kafka基礎操作

Kafka集群的容器化

在Docker中構(gòu)建Kafka集群

Kafka的分布式集群進階-百萬級并發(fā)消息處理架構(gòu)設計

·?Kafka集群的高可用設計

·?Kafka子節(jié)點下線

·?添加一個子節(jié)點到集群

·?Kafka主機宕機的處理

·?深入解釋Kafka的消息組織原理

·?查看分區(qū)Topic的Offset

·?Topic的Partition與Replication設計

·?Topic的Partition擴容

·?Topic的Replication擴容

·?Consumer Group?的設計

·?消息傳輸機制的設計

·?Consumer的再平衡

·?Log Compaction

·?消費怎么保證不丟數(shù)據(jù)Offset怎么存

·?主節(jié)點關閉異常的處理

·?Kafka實現(xiàn)百萬級并發(fā)消息系統(tǒng)的架構(gòu)設計

典型案例分析：分析大型互聯(lián)網(wǎng)出行類系統(tǒng)的消息系統(tǒng)應用案例，將整體串講到基于Kafka的消息系統(tǒng)幾大核心問題

一個大型的實例大數(shù)據(jù)實時流式處理案例實踐-實時LBS位置數(shù)據(jù)分析-包括數(shù)據(jù)去噪，降維，通勤路線分析， 通勤實踐分析等實時分析過程

具備掌握Storm/Kafka大數(shù)據(jù)實時流式處理/異步消息隊列 應用系統(tǒng)的完整 架構(gòu)設計，具備項目的分析、開發(fā)、部署的全過程的能力，貫穿前面課程的主要內(nèi)容，使大家熟悉一個完整實時流式、異步消息隊列處理額大數(shù)據(jù)項目的分析、架構(gòu)設計、開發(fā)、部署的全過程

Apache Kafka的應用開發(fā)實踐-通過多個案例實踐完成Kafka的關鍵代碼實現(xiàn)

·?Kafka開發(fā)環(huán)境的構(gòu)建

·?Kafka的API接口

·?Producer端代碼編程模型

·?Consumer端代碼編程模型

·?多主題的訂閱代碼編程模型

·?提取Offset

·?使用代碼進行消息的遍歷

·?發(fā)送消息到指定分區(qū)

·?指定分區(qū)的消息拉取

·?消息冪等的代碼實現(xiàn)

·?Acks的代碼實現(xiàn)

·?kafka rebalance的監(jiān)聽

·?Kafka多線程開發(fā)

·?Kafka的事務處理

·?Kafka線程處理

Kafka構(gòu)建微服務解耦消息通知架構(gòu)

·?微服務解耦消息通知架構(gòu)的接口設計

·?對Kafka應用的改造使其能夠進行解耦處理

·?微服務消息發(fā)送方代碼實現(xiàn)

·?微服務消息接收方代碼實現(xiàn)

·?多實例微服務消息接收方設計與代碼實現(xiàn)

·?多微服務消息接收方代碼實現(xiàn)

·?極限并發(fā)下Redis替換Kafka的解決方案實現(xiàn)

·?替換Kafka時避免微服務調(diào)用端代碼的修改

案例實踐：對一個大型微服務系統(tǒng)的解耦架構(gòu)進行解析，實現(xiàn)微服務解耦消息通知架構(gòu)的代碼，通過該案例代碼完成微服務解耦框架的代碼實現(xiàn)

Kafka性能測試設計

·?Kafka性能工具的選型

·?Kafka性能測試的環(huán)境設計

·?Kafka?性能測試的基準測試設計

·?Kafka?性能測試的峰值測試設計

·?Kafka?性能測試的壓力測試設計

·?Kafka?性能測試的疲勞測試設計

案例實踐：構(gòu)建一個性能測試環(huán)境， 開展對Kafka多角度的性能測試

Kafka構(gòu)建極高并發(fā)日志處理系統(tǒng)架構(gòu)設計

·?日志處理系統(tǒng)的應用場景

·?日志處理系統(tǒng)的核心架構(gòu)解析

·?Kafka在日志處理系統(tǒng)中的設計

·?Kafka構(gòu)建日志處理系統(tǒng)的存儲設計

·?Kafka構(gòu)建日志處理系統(tǒng)的

Apache Kafka與Storm集成案例實踐

·?Storm的運行機制和部署

·?Storm的基本概念和編程模型

·?Storm開發(fā)案例

·?Maven pom的配置

·?版本沖突的解決

·?Spout接入Kakfa消息

·?編寫kafka bolt進行消息處理SenqueceBolt

·?Kafka Topic的處理

·?kafka提交topology到storm

·?實時處理應用JAR生成與調(diào)度

·?Storm UI的實時監(jiān)控

案例實踐：通過Kafka集群集成Storm，實現(xiàn)流式數(shù)據(jù)的實時分析

Apache Kafka與HBase集成案例實踐

·?為什么要集成Kafka與HBase

·?HBase的運行機制和部署

·?HBase的基本概念和編程模型

·?Kafka消息在HBase中的存儲模型的設計

·?Maven pom的配置

·?版本沖突的解決

·?Kafka到HBase連接編程模型

·?Kafka消費消息到HBase編程模型

·?提取Kafka 消息 Offset，實現(xiàn)到HBase的順序讀

·?轉(zhuǎn)換消息成為 DF

案例實踐：通過Kafka集群集成HBase，實現(xiàn)Kafka與HBase的集成框架代碼