基于大数据技术推荐系统算法案例实战教程
  
收藏课程
9999+

基于大数据技术推荐系统算法案例实战教程

本次培训以商业实战项目作为驱动来学习大数据技术在推荐系统项目中的应用。使得学员能够亲身体会大数据项目的使用场景和开发场景及其所产生的商业价值,零距离接触企业实战...

适合人群:高级
课时数量:45课时
用到技术:Spark ML Spark Streaming Kafka Hadoop Mahout Flume Sqoop Redis 机器学习算法 ALS算法 KNN算法
涉及项目:个性化实时电信推荐案例

  • 课程顾问贴心解答

    为你推荐精品课程,无论就业还是升职加薪,毫无压力。

  • 名企定制紧随大流

    量身打造紧贴企业需求的实用性课程。

  • 系统教学把控效果

    集学、测、练为一体的学习系统为你科学的安排学习进度,提高效率。

  • 一线大师1对1指导

    课程研发团队内一线资深讲师一对一指导,手把手教学,直到学会。

  • 点播答疑完美结合

    每周2-3次直播解答,保证学员日常学习问题能得到解决。

  • 量身定制学习计划

    告别杂乱的学习方式,我们会根据你的情况定制学习计划。

 


互联网行业是大数据应用最前沿的阵地,目前主流的大数据技术,包括 hadoop,spark等,全部来自于一线互联网公司。从应用角度讲,大数据在互联网领域主要有三类应用:搜索引擎(比如百度,谷歌等),广告系统(比如百度凤巢,阿里妈妈等)和推荐系统(比如阿里巴巴天猫推荐,优酷视频推荐等)。
随着电子商务规模的不断扩大,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统在提高用户体验的同时,可以大大增加用户购买量,据统计,亚马逊的 30%收入来自于他的推荐引擎。近几年,国内互联网公司也非常重视推荐系统建设,包括阿里巴巴,京东,腾讯等。




1.课程研发环境
课程软件环境如下:


软件

版本

Hadoop

2.6.5

Spark

1.6.2

Scala

2.10.4

Hbase

1.2.6

kafka

2.10.0

sqoop

1.4.6

redis

3.0.7

mahout

0.12.2

Flume

1.7.0


2.内容简介
本次培训以商业实战项目作为驱动来学习大数据技术在推荐系统项目中的应用。使得学员能够亲身体会大数据项目的使用场景和开发场景及其所产生的商业价值,零距离接触企业实战型项目,学以致用,不在停留在大数据的概念环节而是进入大数据技术实战项目开发的阶段。  




迪伦King老师: 10年IT行业从业经验,5年知名软件培训机构专职讲师经历、Cloudera高级认证讲师,曾任IBM高级独立顾问、项目经理、大数据架构师等职位。曾经参与或主导的大数据项目包括:上海银行大数据日志分析系统、中国电信海量日志实时计算系统、中信银行广告活动推荐系统、广东检察院中文搜索引擎系统、广州银行决策支持系统、广东省省工商大数据中心平台建设等项目。授课的企业包括:中国移动、浙江电信、东方航空、花旗银行、上海银行、上海公安、广西电力、广东电信、全国各高校等




01-推荐系统与大数据的关系
101-大数据应用案例
102-大数据技术框架
103-推荐系统的技术栈
104-课程的基础要求和安排


02-认识推荐系统
201-什么是推荐系统
202-推荐系统的应用案例
203-推荐系统的评测方法
204-推荐系统的评测指标


03-推荐系统设计
301-推荐系统的设计
302-用户界面的重要性


04-大数据lambda架构
401-什么是lambda架构
402-Lambda架构之批处理层
403-Lambda架构之实时处理层
404-Lambda架构之服务层
405-大数据平台快速部署-实践
406-配置Mysql和Redis-实践
407-安装Kafka-实践
408-安装测试Spark-实践


05-用户画像系统
501-什么是用户画像
502-用户画像的数学描述
503-用户画像系统流程
504-用户画像系统架构
505-用户标签使用案例
506-算法和模型的评价
507-SparkML代码实现
508-代码实例1之模型训练及参数设置-实践
509-代码实例1之参数设置及模型测试-实践
510-代码实例2之使用管道
511-代码实例2之使用管道-实践
512-代码实例3之模型调优
513-代码示例3之模型调优-实践
514-代码示例4之模型调优-实践
515-用户画像系统应用


06-推荐算法
601-推荐模型构建流程
602-推荐算法概述
603_基于协同过滤的推荐算法
604_相似度的计算
605_基于模型的方法
606_协同过滤的实现
607-推荐系统冷启动问题
608-推荐案例实践准备
609-推荐案例IDE环境配置-实践


07-Mahout推荐算法实战
701-Mahout概述
702_Mahout推荐系统组件
703-Mahout推荐系统评估
704-Mahout开发环境部署-实践
705-Mahout推荐实例1之偏好数组-实践
706-Mahout推荐实例2之数据模型-实践
707-Mahout推荐实例3之构建模型-实践
708-Mahout推荐实例4之模型评估1-实践
709-Mahout推荐实例5之模型评估2-实践
710-Mahout推荐实例6之电影推荐1-实践
711-Mahout推荐实例6之电影推荐2-实践
712-Mahout推荐实例6之电影推荐3-实践
713-Mahout推荐实例7之图书推荐1-实践
714-Mahout推荐实例7之图书推荐2-实践
715-Mahout推荐实例7之图书推荐3-实践
716-Mahout推荐实战-实践


08-Spark推荐算法实战
801-Mahout推荐实战补充-实践
802-Spark MLlib概述
803-MLlib推荐算法介绍
804-MLlib推荐算法实战
805-MLlib推荐实例之定义解析函数-实践
806_MLlib推荐实例之探索DataFrame-实践
807-MLlib推荐实例之ALS模型推荐-实践
808-MLlib推荐实例之模型评估-实践
809-推荐实战之开发环境准备-实践
810-推荐实战之实现用户评分函数-实践
811-推荐实战之实现计算RMSE函数-实践
812-推荐实战之参数设置及数据加载-实践
813-推荐实战之用户调查及数据拆分-实践
814-推荐实战之模型训练及评估-实践
815-推荐实战之个性化推荐-实践
816-推荐实战之测试部署-实践


09-推荐系统与Lambda架构
901-推荐系统与Lambda架构
902_推荐系统数据收集背景
903-FlumeNG数据收集系统
904-Web日志数据采集Flume部署配置-实践
905-Web日志数据采集Flume运行测试-实践
906_Sqoop数据收集工具
907-Sqoop收集账户数据-实践
908-HDFS数据存储系统
909-上传知识库文档到HDFS
910-HBase数据库存储系统
911-加载并访问Hbase的评分数据-实践
912-推荐系统综合实战
913-推荐系统离线层实现-实践
914-推荐系统服务层实现-实践
915-推荐系统实时层实现-实践














目标一. 熟悉推荐系统基本原理和设计思路


目标二. 了解通过大数据技术来实现推荐系统


目标三. 掌握用户画像的实现流程


目标四. 熟悉常用的推荐算法


目标五. 掌握通过Mahout和Spark来实现推荐系统模型


目标六. 能够设计完整的推荐系统




亮点一、接地气,讲企业真正需要的知识


亮点二、重实操,手把手带你构建推荐系统


亮点三、内容新颖,通用场景


亮点四、强师资




1.课程针对人群
本课程针对具有一定的Hadoop、Spark基础。想要进一步深入学习这些技术在企业项目实战应用的学员准备的。 

  
2.我该怎么学,如何才能学好这门课程,给些建议。
  4.1、时间上的安排建议
      本课程共45课时,如果您时间上充分,建议以每天4-5讲的进度往前学习。 
  4.2、学习要求
      如果您没有基础,建议还是中规中矩的按照课程进度一点一点仔细观看学习,并一定要把看完的视频中的代码自己手敲一遍,以加深理解和记忆
      如果您有基础,可不必按步就搬进行,可以拿你感兴趣的部分去学习,但一定要注意实践,并学会举一反三 
  4.3、讲师建议
      1.最好看完视频之后,抛开视频,独立自己去把上课中的示例写一遍,看自己是否理解,如果不正确,可以回过头看再看下视频,如果反复,达到真正理解和熟练掌握的目的。
      2.对于项目实战部分,一定要自己亲自动手做一遍,不要满足听完就OK了
      3. 建议一般听视频,一般拿个纸和笔,做一些记录和笔记,这是一种非常好的学习习惯。
      4. 一定不要过于依赖视频,要学会看API和使用百度,学会思考,学会举一反三
      5. 最后祝您学有所成




课程是属于某个特定的专业技术,掌握该技术后,你可以从事以下职位的相关工作

1.推荐算法工程师
2.推荐系统工程师
3.推荐系统架构师