基于Flink搭建流計算平臺培訓(xùn)課程班

一、流式處理架構(gòu)

1.1 流式處理背景及架構(gòu)介紹
1.2 流式處理行業(yè)案例以及Flink的適用場景及應(yīng)用概述

二、Flink概述

2.1 什么是Flink
2.2 Flink架構(gòu)
2.3 Flink 與 Spark的比較以及為什么選擇Flink
2.4 Flink開發(fā)環(huán)境配置和搭建

三、Flink編程模型

3.1 數(shù)據(jù)集類型
3.2 Flink編程接口
3.3 Flink程序結(jié)構(gòu)
3.4 Flink數(shù)據(jù)類型

四、DataStream API介紹與使用

4.1 DataStream編程模型
4.2 Flink Execution 參數(shù)
4.3 Transformation
4.4 時間概念與Watermark
4.5 Windows窗口計算
4.6 作業(yè)鏈和資源組
4.7 Asynchronous I/O異步API
4.8 Asynchronous I/O異步原理

五、Flink流式計算基本概念介紹

5.1 時間特性：Event Time / Processing Time / Ingestion Time
5.2 WaterMark
5.3 Source/Sink/Operator
5.4 數(shù)據(jù)完整性語義
5.5 State/Checkpoint/Savepoint
5.6 Time window

六、Flink Connector數(shù)據(jù)源

6.1 FlinkKafkaSource序列化、消費模式
6.2 FlinkKafkaSource容錯、動態(tài)分區(qū)及topic
6.3 FlinkKafkaSink序列化、配置、分區(qū)與容錯
6.4自定義Source和Sink

七、DataSet API介紹與使用

7.1 DataSet API，Transformation
7.2 迭代計算
7.3 廣播變量與分布式緩存
7.4 語義注解
7.5 DataSetUtils工具類

八、Table API & SQL介紹與使用

8.1 基本概念

流/表對偶性
Source/Sink Table
數(shù)據(jù)回撤

8.2 Flink Table API
8.3 Flink SQL使用

Flink SQL client
Flink SQL 已支持特性

8.4 自定義函數(shù) UDF/UDTF/UDAF

九、兩個完整的Flink實現(xiàn)案例

9.1 Kafka 數(shù)據(jù)流處理，寫入HDFS
9.2多源數(shù)據(jù)關(guān)聯(lián)與聚合分析

十、Flink有狀態(tài)的計算、狀態(tài)管理和容錯

10.1 什么是有狀態(tài)計算
10.2 有狀態(tài)計算中的數(shù)據(jù)一致性挑戰(zhàn)
10.3 理解state狀態(tài)
10.4 Operator State 的使用及Redistribute
10.5 Keyed State的使用與Redistribute
10.6 Broadcast State的妙用
10.7 Checkpoint核心原理剖析
10.8 Checkpoint使用條件及使用步驟
10.9 Checkpoint相關(guān)配置及重啟策略
10.10 Savepoint的觸發(fā)、Job恢復(fù)及刪除

十一、實戰(zhàn)項目1：用Flink實現(xiàn)一個通用、配置化的海量數(shù)據(jù)流、批處理產(chǎn)品

11.1實現(xiàn)配置管理
11.2實現(xiàn)數(shù)據(jù)源加載
11.3實現(xiàn)主流程控制
11.4實現(xiàn)任務(wù)管理

十二、Flink部署與應(yīng)用

12.1 Flink集群部署
12.2 Flink高可用配置
12.3 Flink安全管理
12.4 Flink集群升級
12.5 Flink on Yarn的原理和運行方式
12.6 Flink on Yarn 提交任務(wù)與停止任務(wù)

十三、Flink監(jiān)控與性能優(yōu)化

13.1 監(jiān)控指標(biāo)
13.2 Backpressure監(jiān)控與優(yōu)化
13.3 Checkpointing監(jiān)控與優(yōu)化
13.4 Flink內(nèi)存優(yōu)化

十四、Flink組件棧介紹與使用

14.1 Flink復(fù)雜事件處理
14.2 Flink Gelly圖計算應(yīng)用
14.3 FlinkML機器學(xué)習(xí)應(yīng)用
14.4 Flink Metrics 與監(jiān)控

十五、Flink源碼學(xué)習(xí)

15.1 Flink源碼編譯
15.2 如何閱讀和學(xué)習(xí)Flink源碼
15.3 Flink源碼實現(xiàn)思路以及依賴管理
15.4 Flink核心模塊源碼帶讀與分析

十六、Flink在各大互聯(lián)網(wǎng)公司的典型應(yīng)用剖析

16.1Flink在阿里的應(yīng)用
16.2Flink在字節(jié)跳動的應(yīng)用
16.3Flink在騰訊的應(yīng)用
16.4Flink在微博的應(yīng)用
16.5Flink在其他互聯(lián)網(wǎng)公司的應(yīng)用
16.6Flink 最佳實踐

十七、實戰(zhàn)項目2：使用Flink實現(xiàn)電商用戶支付行為分析和審計風(fēng)控

17.1電商支付數(shù)據(jù)模型（訂單，流水，賬戶余額，發(fā)現(xiàn)表）
17.2用戶行為分析需求與維度指標(biāo)設(shè)計
17.3審計風(fēng)控的需求與實現(xiàn)思路
17.4Flink代碼實現(xiàn)結(jié)構(gòu)與業(yè)務(wù)邏輯細(xì)節(jié)拆解