Flink+ClickHouse 玩转企业级实时大数据开发
**** Hidden Message *****课程目标
从零开始，原理出发，案例驱动，吃透Flink开发方方面面
搭建Flink完整知识体系
· 快速入门Flink
· 轻松上手项目部署
· 全面掌握六大核心知识
实战企业级大数据项目
· 核心组件二次开发
· 结合ClickHouse开发企业级
大数据实时场景
· 实时数仓项目拓展实践
提升实际问题解决能力
· 架构/框架选型?
· 升级、落地、性能调优？
· 技术大牛如何思考问题？
课程亮点
六大核心模块重点梳理，快速构建Flink完整知识体系
逐步深入，直通企业面试题，轻松达到Flink中级开发水平
实时处理
实时处理核心API编程
自定义Source
自定义Function
自定义Sink
并行度
窗口及水印
时间语义
窗口概念&分类&分配器
Watermark
Window Function
综合编程
状态管理
状态是什么及分类
自定义状态管理
Checkpoint vs
SavePoint
重启策略
StateBackend
Table API&SQL处理
核心概念&编程模型
整合DataStream编程
整合Connector编程
整合Window编程
UDF编程
离线处理
离线编程模型
离线核心API编程
计数器
分布式缓存
广播变量
CEP
复合事件处理
个体模式&组合模式
模式检测
模式提取
风控实战
面试真题
1.Flink是如何保证Exactly-once语义的
3.谈谈对你Flink并行度的认识，如何设置并行度
5. Flink如何做到容错的
7. Flink分布式快照机制是如何实现的
2.Flink如何实现双流JOIN
4.Flink如何完成状态存储，各自的区别有哪些
6.在使用Flink时如何解决数据倾斜
8.Flink作业运行时有作业延迟，谈谈你的解决思路
······
项目实战：Flink+ClickHouse搭建大数据实时分析应用
从架构思想到性能落地，系统指导开发实践
实现功能
解决问题
性能调优
· 数据清洗(同步、异步IO)
· 基于窗口的新老用户指标统计
(操作系统、省份、窗口维度)
· 热门分组TopN指标统计
· Flink整合CH完成明细数据并进行
多维度统计分析
· 基于CEP完成风控告警
· 基于Canal的实时数据同步
· 基于Flink的双流JOIN方案
· 基于Flink+CH通用实时解决方案
· Flink保证Exactly-once语义
· 自定义Source、Transformation、
Sink算子
· 彻底理解基于Flink的自定义状态
管理
· 窗口&水印&窗口函数综合使用
· 引入CH，解决实时多维度分析的
痛点
· 基于Flink的CEP编程· 实时数仓
架构及选型
· 实时数仓的分层模型
· 布隆过滤器整合State编程解决
state过大的问题
· 使用Flink异步IO提升数据处理的
性能
· Flink并行度调整
适用大厂多，学透Flink == 打通大厂晋升跳槽通道
快速变身大厂都在追的大数据人才
课程大纲
第1章Flink认知篇
第2章Flink本地开发快速上手篇
第3章Flink部署篇
第4章Flink实时处理核心API基础篇
第5章Flink实时处理核心API进阶篇
知晓大数据处业界中主流的分布式计算框架有哪些，引出本课程要学习的Flink框架。知道Flink框架是做什么的，在什么场景下使用的比较多。了解业务常见的实
时处理框架有哪些，并知道在大厂中都在使用Flink做什么。
通过Maven+IDEA构建基于Flink的开发工程，结合Flink官方提供的源码轮廓来构建我们的第一个实时和离线分析案例。
带领学员完成Flink环境的部署，理解Flink的架构，通过提交作业到Flink集群上来运行，并认识Flink UI上核心参数的意思。
介绍基于Flink的DataStream API内置的三大核心要素的编程：Source、Tranformation、Action。
介绍基于Flink的DataStream API的三大核心要素的的高级特性以及自定义实现对应的三大核心要素。
查看完整目录
专属服务
每个IT资源网课程，都是一个专业的技术社区
个性化增值服务，学习有保障更高效
答疑专区+技术社区
连百度谷歌都搜不到的问题，在这里讲
师都将耐心详细解答，更有小伙伴一起
交流互动，共同进步。
学练一体
课程不仅包括视频讲解，还提供相关
练习、巩固学习效果的环节。
源码开放
提供课程全套源下载包含：
全套组件封装镜像、私有仓库、各个服
务的镜像、项目源代码。
教辅材料
丰富的教辅材料实时上传。
适宜人群
1. 大数据领域从业者或想转型大数据开发的工程师
2. 想彻底学习Flink框架的小伙伴
技术储备要求
Java、Linux基本命令使用
Hadoop基本命令使用
技术参数
JDK: 1.8 Mavem：3.6.3 Hadoop: 3.2.2
Kafka：2.5.0 Flink：1.12 ClickHouse：21.4.5.46
Canal：1.1.4 Redis：5.x
**** Hidden Message *****
页:
[1]