零基础入门大数据开发之深入浅出Hadoop生态圈体系
  
收藏课程
9999+

零基础入门大数据开发之深入浅出Hadoop生态圈体系

以Apache Hadoop 2.6.0为基准,进行深入浅出的讲解各个模块的功能、架构、使用,涵盖Hadoop全部的组件,包括24个大的章节,分别为数据入门、H...

适合人群:高级
课时数量:88课时
用到技术:大数据、hadoop、人工智能、数据科学、ElasticSearch、hive、sqoop、kafka
涉及项目:1、Hadoop集群的安装和部署 2、南京市出租车GPS日志分析 3、基于Hive的GPS数据分析 4、基于hbase日志的存储项目 5、应用MR算法得出统计单词的计数 6、使用Kafka的日志收集案

  • 课程顾问贴心解答

    为你推荐精品课程,无论就业还是升职加薪,毫无压力。

  • 名企定制紧随大流

    量身打造紧贴企业需求的实用性课程。

  • 系统教学把控效果

    集学、测、练为一体的学习系统为你科学的安排学习进度,提高效率。

  • 一线大师1对1指导

    课程研发团队内一线资深讲师一对一指导,手把手教学,直到学会。

  • 点播答疑完美结合

    每周2-3次直播解答,保证学员日常学习问题能得到解决。

  • 量身定制学习计划

    告别杂乱的学习方式,我们会根据你的情况定制学习计划。

 


Hadoop是大数据处理的入门,通过学习hadoop我们可以了解到在实际的生成环境中使用大数据工具处理大规模数据问题。通过学习hadoop生态圈的相关知识,我们能够为更加深入学习大数据处理的相关知识提供一定的基础。大数据在电商、金融、电信、医疗、旅游等各个领域用途非常广泛,因为这些领域会有大量的数据需要处理,此时hadoop就成为了首要之选。
鉴于目前大数据Hadoop2.x被企业广泛使用,在实际的企业项目中需要更加深入的灵活运用,并且Hadoop2.x是大数据平台处理的框架的基石,尤其在海量数据的存储HDFS、分布式资源管理和任务调度YARN及分布式计算框架MapReduce。然而当前众多书籍和视频教程资料中,没有一套完整的、深入浅出的、实战性操作强的一套资料,一此种情况下,结合鄙人多年实际项目经验,以项目中使用为主线,编纂筹划此套Hadoop2.x从零基础到项目实战的课程,带领大家从零基础开始上手,到如何理解HDFS、YARN、MapReduce的使用和实际项目的分析。希望新手通过此视频课程可以快速上手Hadoop2.x,从环境的搭建、框架的理解使用到MapReduce编程,一步一步成功进阶,也希望有基础的学员通过此套课程视频,更加深入理解Hadoop 2.x的使用与原理,做到知其然知其所以然.最后预祝每位学员都能在坚持学习的情况下成为大数据Hadoop2.x高手。




1.课程研发环境
JDK版本: jdk1.8和JDK1.7
开发工具:eclipse和Idea14.1
Linux版本:Linux2.7
虚拟机:VMware Workstation12
Hadoop生态圈相关环境:Hadoop2.6


2.内容简介
以Apache Hadoop 2.6.0为基准,进行深入浅出的讲解各个模块的功能、架构、使用,涵盖Hadoop全部的组件,包括24个大的章节,分别为数据入门、Hadoop快速入门、南京市出租车GPS日志分析等章节。通过理论结合实际的方法讲解了Hadoop生态圈所有的技术知识点。通俗易懂的贯彻整个技术圈,大量的例子实际演练。




Kiven刘老师:
专业大数据讲师,5年相关项目实践经历,长期从事大数据相关的工作。
精通大数据全部的相关技术,熟悉Hadoop、HDFS、MySQL、Hbase、Hive、 elasticsearch等技术。对大数据实时处理框架和引擎有独特的理解,对Storm\Spark\SparkStreaming等有较深的认识。
授课风格独特,通俗易懂,理论结合实际。熟悉零售、电信等行业。
技术实力派教员,讲课生动风趣,深得学员喜爱。




 

01-01-大数据入门
01-02-主流大数据工具介绍
01-03-统计单词出现次数例子
01-04-大数据架构问题
01-05-大数据官网
02-01-环境安装准备
02-02-服务器网络配置
02-03-linux基本操作
02-04-域名映射、主机名、ssh免登陆
02-05-hadoop安装流程
02-06-hdfs shell基本使用
02-07-IDEA搭建maven项目
03-01-Idea的快捷键
03-02-打成jar包提交到集群
03-03-HDFS快速入门
03-04-HDFS上传文件
03-05-HDFS上传文件流程
03-06-HDFS写文件流程
03-07-HDFS api代码编写
03-08-namenode角色分析
04-01-昨日回顾
04-02-定期上传日志到HDFS
04-03-log4j代码编写
04-04-上传log4j代码到服务器,定期执行
04-05-定期上传文件到HDFS
04-06-MapReducer
04-07-MapReducer-01
04-08-MapReducer-02
05-01-block和split区别
05-02-yarn资源调度策略
05-03-hdfs-mapreduce-yran
05-04-手机流量
05-06-自定义Partitioner
05-07-mapreduce压缩
05-08-GPS案例题1
06-01-GPS案例题2
06-02-GPS案例3,4
06-03-GPS案例3
06-04-GPS案例4
06-05-把数据写入到数据库
06-06-echarts的简单入门
06-07-前后台数据交互
07-01-combiner介绍
07-02-计数器的使用
07-03-Hadoop序列化和Java序列化对比
07-04-手机流量封装对象案例
07-05-对象做Key的时候需要其具有可比性
07-06-SequenceFile
07-07-小文件合并
07-08-自定义输入(1)
07-09-自定义输入(2)
07-10-自定义输出
07-11-groupingcomparator
08-01-Hadoop在Idea里面把任务提交到集群
08-02-IDEA本地伪造HDFS权限问题
08-03-Hadoop监控的安装
08-04-HadoopLocal监控
08-05-Hadoop的jmx
08-06-Zookeeper原理篇
09-01-hadoop HA原理篇
09-02-hadoopHA的架构图详解
09-03-hadoopHA集群搭建
10-01-zookeeper集群和结构
10-02-zookeeper数据结构和ACL
10-03-zookeeper基本命令使用
10-04-zookeeper api使用
10-05-zookeeper监听器
10-06-zookeeper上下线感知
11-01-数据仓库和数据库和ETL原理
11-02-数据仓库和数据库案例
11-03-HIVE原理篇
11-04-数据库MySQL的安装
11-05-安装hive
11-06-内外表区别和hwi页面的安装
12-01-hive分区表
12-02-hive分桶
12-03-hive列修改
12-04-hive其它命令
12-05-hive动态分区
12-06-hive导出数据
12-07-hive的join操作
12-08-hive的maperjoin操作
13-01-UDF函数0903
13-02-统计每一年每个月有效访问总和
13-03-把上述结果存储到分区表里面
13-04-计算UA的有效访问比
13-05-统计用户来源情况
13-06-sqoop组件导出
13-07-hive导入HDFS
13-08-Hive访问时长统计
13-09-Hive级联求和
14-01-基于hive的GPS项目分析
14-02-Zepplin数据分析工具的安装
15-01-hbase概念篇
15-02-hbase安装
15-03-hbase shelll
15-04-hbase shell 1
15-05-hbase shell 2
15-06-hbase预分区
16-01-HBASE原理介绍
16-02-Memstore刷入磁盘
16-03-Hbase物理存储
16-04-Hbase的读写过程
16-05-Hbase的wal机制和读取
17-01-Hbase的api
17-02-Hbase的Bulk进行Loading操作
17-03-Hbase的hive进行SQL整合
17-04-Hbase的hive进行SQL整合2
18-01-flume快速入门
18-02-flume hdfs
18-03-flume 2级串连
19-01-WebLogIntecetor类补充
19-02-sqoop分布式权限问题
19-03-hive分析flume采集到HDFS数据
20-01-访问日志分析--离线业务
20-02-访问日志分析--离线业务2
21-01-kafka解耦和异步和缓冲
21-02-Kafka核心组件
21-03-kafka分区和leader和ISR
21-04-kafak的leader选举和leader和follower数据同步策略
21-05-分区策略
21-06-KafkaOffsetMonitor
22-01-kafka分区策略1
22-02-kafak分区策略2
22-03-正向索引,倒排索引
22-04-es的核心概念
22-05-es安装
22-06-es基本命令
22-07-es的head安装
22-08-head应用和kibana的install
22-09-es的bulk操作
23-01-es分布式文档存储
23-02-检索文档
23-03-kibana探索ES集群
23-04-es的query的string和dsl
23-05-es的过滤查询
23-06-es的短语搜索和高亮显示
23-07-es的下钻分析1
23-08-es的下钻分析2
24-01-es状态和索引创建原则和悲观锁乐观锁
24-02-es避免深度分页
24-03-019cs的api的crud操作
24-04-es的query的string和dsl和api
24-05-es的聚合分析的api
24-06-es的mysql2es和kibanba数据报表


















目标一. 熟悉大数据概念,明确大数据职位都有哪些;
目标二. 熟悉Hadoop生态系统都有哪些组件;
目标三. 掌握Hadoop生态环境架构,了解分布式集群优势;
目标四. 动手操作Hbase的例子,成功部署分布式集群;
目标五. 动手完成Hadoop安装和配置部署;
目标六. 动手实操 完成Hive例子实现;
目标七. 动手实现完成GPS项目的操作;
目标八. 动手实现完成Kafka消息队列例子.




亮点一、从0基础开始,大数据基础架构,大数据基本原理,大数据组件
亮点二、现场编写和讲解大量的图文并茂,详细的讲解了大数据架构和组件的技术原理
亮点三、以实际操作为主线,一边演示一边讲解技术难点和重点
亮点四、实际操作演练,能够深入浅出的讲解课程的实际案例,浅显易懂




1.课程针对人群
本课程针对具备java基础,具备linux基础的学员,希望了解hadoop的相关项目,了解大数据项目开发的学员,也适合有志于大数据开发的hadoop开发工程师岗位的学员。 系统架构师、系统分析师、高级程序员、大数据运维工程师。


2.我该怎么学,如何才能学好这门课程,给些建议。

2.1、时间上的安排建议
本课程共88课时,如果您
时间上充分,建议以每天4-5讲的进度往前学习。如果您时间不充分,建议至少每天学习一讲的内容。
2.2、学习要求
如果您没有基础,建议还是中规中矩的按照课程进度一点一点仔细观看学习,并一定要把看完的视频中的代码自己手敲一遍,以加深理解和记忆
如果您有基础,可不必按步就搬进行,可以拿你感兴趣的部分去学习,但一定要注意实践,并学会举一反三
2.3、讲师建议
        1.最好看完视频之后,抛开视频,独立自己去把上课中的示例写一遍,看自己是否理解,如果不正确,可以回过头看再看下视频,如果反复,达到真正理解和熟练掌握的目的。
        2.对于项目实战部分,一定要自己亲自动手做一遍,不要满足听完就OK了
        3. 建议一边听视频,一边拿个纸和笔,做一些记录和笔记,这是一种非常好的学习习惯。
        4. 一定不要过于依赖视频,要学会看API、使用百度、google等搜索引擎并且学会从对应官网的帮助文档中学习一些相关知识,学会思考,学会举一反三
        5. 最后祝您学有所成




课程是属于某个特定的专业技术,掌握该技术后,你可以从事以下职位的相关工作
1、Hadoop开发工程师
2、大数据运维工程师
3、大数据架构工程师
4、大数据开发工程师
5、人工智能开发工程师
6、数据分析师