大数据开发之Flink从入门到精通
  
收藏课程
9999+

大数据开发之Flink从入门到精通

这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有 Hadoop、Storm,以及后来的 Spark,他们都有着各自专注的应用场...

适合人群:中级
课时数量:65课时
用到技术:Flink、cep
涉及项目:风控项目实战

  • 课程顾问贴心解答

    为你推荐精品课程,无论就业还是升职加薪,毫无压力。

  • 名企定制紧随大流

    量身打造紧贴企业需求的实用性课程。

  • 系统教学把控效果

    集学、测、练为一体的学习系统为你科学的安排学习进度,提高效率。

  • 一线大师1对1指导

    课程研发团队内一线资深讲师一对一指导,手把手教学,直到学会。

  • 点播答疑完美结合

    每周2-3次直播解答,保证学员日常学习问题能得到解决。

  • 量身定制学习计划

    告别杂乱的学习方式,我们会根据你的情况定制学习计划。

 

这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有 Hadoop、Storm,以及后来的 Spark,他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河,也以内存为赌注,赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink,也就在这个时候默默的发展着。
Flink 是一个针对流数据和批数据的分布式处理引擎。它主要是由 Java 代码实现。目前主要还是依靠开源社区的贡献而发展。对 Flink 而言,其所要处理的主要场景就是流数据,批数据只是流数据的一个极限特例而已。再换句话说,Flink 会把所有任务当成流来处理,这也是其最大的特点。
这流处理和批处理统一的背景下,录制了这门课程。 

 

 

1.课程研发环境
开发工具:IDEA;
数据库工具:redis 2.9.0 mysql 5.7
其他工具:kafka 0.10


2.内容简介
    Flink核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎,Flink提供了诸多更高抽象层的API以便用户编写分布式任务:
    DataSet API, 对静态数据进行批处理操作,将静态数据抽象成分布式的数据集,用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理,支持Java。
    DataStream API,对数据流进行流处理操作,将流式的数据抽象成分布式的数据流,用户可以方便地对分布式数据流进行各种操作,支持Java和Scala。
    Table API,对结构化数据进行查询操作,将结构化数据抽象成关系表,并通过类SQL的DSL对关系表进行各种查询操作,支持Java和Scala。
    CEP API,对复杂时间处理,提供了自己的处理方式。
    最后以风控项目结尾,更加切合实际的巩固知识。

 

 

JOJO老师:
多年任职一线互联网企业大数据开发,丰富的生产项目经验,专注于离线和实时数据处理,精通spark、kafka、flink等处理框架。

 

 

第一、基础技能储备
1.Scala基础讲解
2.Flink安装介绍


第二、Flink DataSet讲解
1.DataSet转换算子
2.DataSet数据源
3.DataSet数据接收
4.DataSet数据迭代
5.DataSet语义标注
6.DataSet广播变量
7.DataSet分布式缓存


第三、Flink Dstream讲解
1.Windows分配器(Tumbling Sliding Session Global)
2.Window 函数数据来源统计分析
3.触发器
4.延迟策略和水印


第四、Flink SQL讲解
1.Flink SQL基本概念
2.流式SQL处理
3.Table Api & SQL
4.表的输入源和输出
5.自定义UDF
6.Flink SQL客户端


第五、Flink 打包运行
1.Flink执行配置
2.Flink程序执行计划
3.Flink重启策略


第六、Flink CEP
1.概念介绍
2.模式API
3.检测模式
4.事件迟到处理


第七、实时风控项目
1.项目背景需求介绍
2.基于规则的实时交易次数统计
3.基于规则的实时交易频数统计
4.基于规则的交易风险统计
5.10亿数量级交易去重算法讲解
6.交易规则库的添加
7.风控黑名单单入库(mysql/redis展示)
8.基于规则的实时登陆地点限制

 

 

 

 

 

 

 

目标一. 了解Flink的环境配置
目标二. 了解Flink相关调优和原理
目标三. 掌握Flink相关java、scala代码编写
目标四. 掌握Flink相关复杂事件处理
目标五. 风控知识相关学习

 

 

亮点一、实战驱动、全程代码编写


亮点二、原理、调优讲解

 

 

1.课程针对人群
本课程针对具有一定的java、scala基础(不要求懂scala)与相关大数据框架经验,想通过本项目的学习,了解使用Flink相关原理和代码编写的相关开发人员。   


2.我该怎么学,如何才能学好这门课程,给些建议。
  2.1、时间上的安排建议
    本课程共65讲,如果您时间上充分,建议以每天4-5讲的进度往前学习。 
  2.2、学习要求
    如果您没有基础,建议还是中规中矩的按照课程进度一点一点仔细观看学习,并一定要把看完的视频中的代码自己手敲一遍,以加深理解和记忆
    如果您有基础,可不必按部就班进行,可以拿你感兴趣的部分去学习,但一定要注意实践,并学会举一反三 
  2.3、讲师建议
    1.最好看完视频之后,抛开视频,独立自己去把上课中的示例写一遍,看自己是否理解,如果不正确,可以回过头看再看下视频,如果反复,达到真正理解和熟练掌握的目的。
    2.对于项目实战部分,一定要自己亲自动手做一遍,不要满足听完就OK了
    3. 建议一边听视频,一边拿个纸和笔,做一些记录和笔记,这是一种非常好的学习习惯。
    4. 一定不要过于依赖视频,要学会看API和使用百度,学会思考,学会举一反三
    5. 最后祝您学有所成

 

 

课程是属于某个特定的专业技术,掌握该技术后,你可以从事以下职位的相关工作
  1.大数据开发工程师