大数据实战课程第一季Python基础和网络爬虫数据分析
  完成
收藏课程
9999+

大数据实战课程第一季Python基础和网络爬虫数据分析

本课程面向从未接触过Python的学员,从最基础的语法开始讲起,逐步进入到目前各种流行的应用。整个课程分为基础和实战两个单元。 基础部分包括Python语法和...

适合人群:中级
课时数量:28课时
用到技术:Python 爬虫 数据库 NoSQL Django Scrapy SQLAlchemy
涉及项目:网络爬虫 关系数据库和NoSQL数据库的使用 Django系统的开发

  • 课程顾问贴心解答

    为你推荐精品课程,无论就业还是升职加薪,毫无压力。

  • 名企定制紧随大流

    量身打造紧贴企业需求的实用性课程。

  • 系统教学把控效果

    集学、测、练为一体的学习系统为你科学的安排学习进度,提高效率。

  • 一线大师1对1指导

    课程研发团队内一线资深讲师一对一指导,手把手教学,直到学会。

  • 点播答疑完美结合

    每周2-3次直播解答,保证学员日常学习问题能得到解决。

  • 量身定制学习计划

    告别杂乱的学习方式,我们会根据你的情况定制学习计划。

 

 

python语言近年来越来越被程序相关人员喜欢和使用,因为其不仅简单容易学习和掌握,而且还有丰富的第三方程序库和相应完善的管理工具;从命令行脚本程序到gui程序,从B/S到C/S,从图形技术到科学计算,软件开发到自动化测试,从云计算到虚拟化,所有这些领域都有python的身影;python已经深入到程序开发的各个领域,并且会越来越多的人学习和使用。
Python同时具有面向对象和函数式编程的特点,它的面向对象比java更彻底,它的函数式编程比Scala更人性化, 作为一种通用语言,Python几乎可以用在任何领域和场合,软件质量控制、提升开发效率、可移植性、组件集成、丰富库支持等各个方面均处于先进地位。同样学习编程语言,当然要选择学习业内目前最先进、最热门、将来应用最广泛、最有前途和前景的编程语言。有人预言, Python会成为继C++和Java之后的第三个主流编程语言。
 
 
1.课程研发环境   
开发环境:Python 2.7、MySQL、MongoDB、Scrapy
IDE:PyCharm 5
 
2.内容简介
本课程面向从未接触过Python的学员,从最基础的语法开始讲起,逐步进入到目前各种流行的应用。整个课程分为基础和实战两个单元。
基础部分包括Python语法和面向对象、函数式编程两种编程范式,基础部分会介绍Python语言中的各种特色数据结构,如何使用包和函数,帮助同学快速通过语法关。
在实战部分选择了网络爬虫、数据库开发、Web网站3种最基础的应用类型,详细介绍其思想原理,并通过案例讲解Python中的实现方案,让学员真正达到融会贯通、举一反三的效果。并应用到自己的工作环境中。
 
大圣,16年IT工作经验,10年的数据分析经验,曾就职阿里巴巴、雅虎,现为大数据独立顾问、北风网兼职讲师。
擅长技术:Hadoop、Oracle、R、Linux、Python等。
 
 
1.Python语言开发要点详解
一、模块的概念.主模块和非主模块的区别.pycharm中定义代码模版
二、安装pip 多个虚拟python环境
三、语法.变量.内置类型.运算符
四、if.for.while.else
五、数据结构.列表.元组.字典.集合
六、函数.类.异常
 
2.Python数据类型
七、列表和列表解析
八、filter和map
九、生成器表达是
十、元组
十一、字符串
十二、字符串之中文处理
十三、字典
十四、集合
 
3.函数和函数式编程
十五、函数参数和变长参数列表
十六、函数返回值.变量作用域.和函数__doc__属性
十七、函数的嵌套定义和闭包和装饰器介绍
十八、装饰器例子(日志装饰器和身份认证装饰器)
十九、迭代器和生成器1
二十、生成器例子
 
4.面向对象编程
二十一、认识经典类和新式类
二十二、公有属性和私有属性属性
二十三、访问属性.属性装饰器.描述符
二十四、描述符
二十五、方法.实例方法.静态方法.类方法
二十六、特殊方法.运算符重载
二十七、继承.多重继承.super
 
5.网页爬虫(单线程,保存到文本文件)
二十八、爬虫介绍
二十九、工具包介绍
三十、request使用演示
三十一、xpath介绍
三十二、xpath使用演示
三十三、新闻爬虫
三十四、分页栏爬虫
三十五、豆瓣爬虫
 
6.mysql数据库
三十六、概述.sql数据库和nosql数据库的区别
三十七、环境准备.驱动包介绍
三十八、mysqlconnector的使用
三十九、mysqldb使用
四十、sqlalchemy介绍.ORM的优点介绍
四十一、sqlalchemy开发流程
四十二、sqlalchemy代码演示.1
四十三、sqlalchemy代码演示2
 
7.mongodb数据库
四十四、mongodb介绍
四十五、安装.命令行.mongovue演示
四十六、python中插入记录
四十七、python中查询记录
四十八、python中更新记录
四十九、python中删除记录
五十、聚合操作
 
8.多线程和多进程
五十一、概述
五十二、多线程编程
五十三、多进程编程
五十四、综合案例-网络爬虫3
 
9.scrapy实战
五十五、scrapy介绍和安装
五十六、scrapy项目框架
五十七、scrapy框架和案例需求分析
五十八、实战
 
10.django实战
五十九、django架构介绍
六十、阶段1.安装.创建项目.创建应用.初始配置
六十一、阶段1.配置URL映射.视图函数
六十二、阶段2.定义ORM并注册到后台管理模块
六十三、阶段3.模版的继承.表单的使用.数据的展示
六十四、阶段4.多应用URL配置.数据的DML操作
六十五、部署知识介绍
 
 
 
 
 
 
 
 
 
 
 
 
 
目标一.熟练掌握Python语言语法知识和使用技巧
 
目标二.全面掌握面向对象变成和函数式编程两种编程范式;
 
目标三.熟练掌握数据库的使用开发(包括关系型数据库MySQL、NoSQL数据库MongoDB)
 
目标四.掌握多进程开发技巧
 
目标五.掌握Scrapy爬虫框架的使用
 
目标六.掌握SQLAlchemy ORM框架的使用
 
目标七.掌握Django Web框架的使用,并能开发简单的web程序
 
 
亮点一、本课程不要求学员有任何开发背景,课程中知识会用最通俗的方式进行讲解,保证学员掌握其原理.,即知其然也知其所以然、
 
亮点二、理论与实战相结合,由浅入深。通过对最佳场景反复剖析,大大提升学员经验值,可以轻松做到学以己用。
 
亮点三、课程绝大多数代码均是一行一行手工敲入,手把手一步步带领学员从入门到精通.。
 
亮点四、整个课程虽集数不多, 却涵盖了互联网行业经典模型,含金量极高。
 
 
1.课程针对人群
本课程针对有志于从事Python开发的学员,对编程经验无要求。  
 
2.我该怎么学,如何才能学好这门课程,给些建议。
4.1、时间上的安排建议
本课程共28讲,如果您时间上充分,前四课基础部分建议以每周1-2课,后面六次课程可以适当加快进度。 
4.2、学习要求
如果您没有基础,建议还是中规中矩的按照课程进度一点一点仔细观看学习,并一定要把看完的视频中的代码自己手敲一遍,以加深理解和记忆
如果您有基础,可不必按步就搬进行,可以拿你感兴趣的部分去学习,但一定要注意实践,并学会举一反三 
4.3、讲师建议
1.一定要跟着课程实操一遍,勤动手、多思考,训练肌肉记忆。
2.建议边看视频,边做一些记录和笔记,这是一种非常好的学习习惯。
3.定不要过于依赖视频,要学会看文档和使用网络,学会思考,学会举一反三
4.如果学习过程中遇到吃力的地方,多和老师或同学交流,自己钻牛角尖是很痛苦的事情。
   最后祝您学有所成!