公告:因课程即将全面升级,2017年度所有课程进行统一调价!              公告:因课程即将全面升级,2017年度所有课程进行统一调价               

Hadoop应用开发实战(flume应用开发、搜索引擎算法、Pipes、集群、PageRank算法)
  完毕
收藏课程
9999+

Hadoop应用开发实战(flume应用开发、搜索引擎算法、Pipes、集群、PageRank算法)

Hadoop高级课程采用了全新平台:Oracle VirtualBox + CentOs + 最新的Hadoop 1.x稳定版本,提供了更稳定,安全的平台,更加...

适合人群:高级
课时数量:28课时
用到技术:flume应用开发、Pipes、Hadoop Streaming
涉及项目:搜索引擎自动推荐、PageRank算法、 最短路径算法、好友智能推荐

  • 课程顾问贴心解答

    为你推荐精品课程,无论就业还是升职加薪,毫无压力。

  • 名企定制紧随大流

    量身打造紧贴企业需求的实用性课程。

  • 系统教学把控效果

    集学、测、练为一体的学习系统为你科学的安排学习进度,提高效率。

  • 一线大师1对1指导

    课程研发团队内一线资深讲师一对一指导,手把手教学,直到学会。

  • 点播答疑完美结合

    每周2-3次直播解答,保证学员日常学习问题能得到解决。

  • 量身定制学习计划

    告别杂乱的学习方式,我们会根据你的情况定制学习计划。

推荐学习

Hadoop是2013年最热门的技术之一,通过北风网robby老师深入浅出Hadoop实战开发Hadoop应用开发实战 两套课程的学习,普通Java开发人员可以在最快的时间内提升工资超过15000.成为一位完全精通Hadoop应用开发的高端人才。

 

 

 

Hadoop是什么,为什么要学习Hadoop?


Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。

 

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。Hadoop 还是可伸缩的,能够处理 PB 级数据。此外,Hadoop 依赖于社区服务器,因此它的成本比较低,任何人都可以使用。

 

Hadoop带有用Java 语言编写的框架,因此运行在 Linux 生产平台上是非常理想的。本课程的讲解是采用linux平台进行模拟讲解,完全基于真实场景进行模拟现实

 

亮点一:技术先进,经典应用

 

新的课程采用了全新平台:Oracle VirtualBox + CentOs + 最新的Hadoop 1.x稳定版本,提供了更稳定,安全的平台,更加贴近企业级应用的真实环境。课程完整,详细的介绍并实现了多个Hadoop经典应用:搜索引擎自动推荐,好友智能推荐,最短路径算法,PageRank。他们代表了当前最成功,应用范围最广的Hadoop应用案例,特别是PageRank,更是Google赖以发家的法宝,直到如今,仍然是Google搜索引擎最为重要的技术。通过这些案例,对于学习如何开发成功的Hadoop应用有极大的帮助。

 

亮点二:内容实用,全面深入

 

非Java的MapReduce应用是Hadoop重要内容之一,Streaming和Pipes是将现有应用移植到Hadoop平台的重要技术。另外,Hadoop提供了海量数据的处理方案,但是如何进行原始数据收集,Apache Flume给出了答案,新的Apache Flume的解决方案,更加简单,实用和高效。课程还详细介绍了如何借助Hadoop提供的工具,对集群中的节点进行有效的管理,这些都是一个Hadoop管理人员必备知识。

 

亮点三:讲师丰富的电信集团云平台运作经验

 

讲师robby拥有丰富的电信集团工作经验,目前负责云平台的各方面工作,并拥有多年的企业内部培训经验。讲课内容完全贴近企业需求,绝不纸上谈兵。

 


第1章节: (4课时)

 

搜索引擎自动推荐(4课时)


> 新平台搭建: 使用VirtualBox创建CentOs虚拟机,并使用RPM的方式安装和使用Hadoop


> 内存数据库Redis的安装和基本使用


> 搜索引擎自动推荐算法讲解


> 使用JqueryUI + Ajax + Redis搭建前后台框架


> 使用Map Reduce实现数据统计算法


> 定制Map Reduce输出,将数据直接写入Redis内存数据库

 


第2章节: (3课时)

 

好友智能推荐 (3课时)


> 应用背景和算法详细讲解


> Web框架搭建Struts2 + Redis


> 使用Map Reduce结合Redis实现潜在好友查找算法


> 完整的应用逻辑实现:前台好友关注,后台潜在好友查找,再到前台潜在好友推荐

 


第3章节:(2课时)

 

Hadoop Streaming(2课时)


> 非Java的Map Reduce实现


> 如何使用脚本语言实现一个Map Reduce任务
 

> 如何使用C语言实现一个Map Reduce任务


第4章节: (1课时)

 

Hadoop Pipes (1课时)


> 基于Hadoop Pipes,使用C++实现Map Reduce任务

 


第5章节: (2课时)

 

Apache Flume基础 (2课时)


> Apache Flume概述


> Flume Agent详细介绍及使用


> 深入Flume子模块: Source, Sink及Channel的使用

 


第6章节:  (3课时)

 

Flume实践及分布式应用 (3课时)


> 与搜索引擎自动推荐应用的结合


> 搭建分布式的flume应用

 


第7章节: (5课时)

 

最短路径算法的Hadoop实现(约5课时)


> 最短路径算法介绍


> 如何使用MapReduce实现最短路径算法


> 找到城市任意公交站点之间的最短路径

 


第8章节: (3课时)

 

Hadoop集群管理(约3课时)


> Hadoop的日志管理


> 动态添加和删除Hadoop节点


> Namenode和Datanode目录结构介绍


> HDFS的数据安全性:fsimage和editlog
 

> Hadoop管理工具dfsadmin和fsck的使用

 


第9章节:(5课时)

 

PageRank算法的Hadoop实现(约5课时)


> Google的成名之作:PageRank算法介绍


> 如何使用Hadoop实现PageRank算法