数据采集与预处理

第1章 概述
1.1 大数据采集
1.1.1 大数据来源
1.1.2 大数据采集方式
1.1.3 数据预处理
1.2 网络爬虫原理和分类
1.2.1 爬虫原理
1.2.2 爬虫分类
1.2.3 常用爬虫工具
1.3 网络爬虫法律规范
1.3.1 数据隐私保护
1.3.2 Robots协议
1.3.3 法律法规
本章小结
本章习题
第2章 Python基础
2，1 Python环境搭建
2.1.1 Python解释器
2.1.2 PyCharm的安装
2.2 Python基础
2.2.1 Python语法基础
2.2.2 数据类型
2.2.3 程序结构
2.2.4 函数
2.2.5 面向对象
本章小结
本章习题
第3章 静态网页爬取
3.1 HTTP协议概述
3.1.1 请求响应模型
3.1.2 请求报文
3.1.3 响应报文
3.2 使用Requests库提取网页数据
3.2.1 Requests库的安装
3.2.2 Requests库的请求方法
3.2.3 使用Requests库发送GET请求
3.2.4 使用Requests库发送POST请求
3.2.5 Requests库的响应对象
3.2.6 HTTP状态码
3.2.7 定制请求头
3.2.8 Requests库发送GET请求的通用代码
3.3 使用urllib库提取网页数据
3.3.1 使用urllib库发送GET请求
3.3.2 使用urllib库发送POST请求
3.3.3 urllib库的用户代理
3.4 案例1 QQ表情包图片爬取
3.4.1 任务描述
3.4.2 任务分析
3.4.3 任务实现
3.5 案例 2手机号码归属地查询
3.5.1 任务描述
3.5.2 任务分析
3.5.3 任务实现
本章小结
本章习题
第4章 网页解析
4.1 使用BeautifulSoup解析网页
4.1.1 BeautifulSoup库的安装
4.1.2 BeautifulSoup解析器
……
第5章 数据存储
第6章 动态网页爬取
第7章 Scrpay框架初探
第8章 Scrpay框架深入
第9章 数据预处理
第10章 招聘网站数据分析
参考文献