大数据采集与爬虫

目录
前言
任务1 Python环境搭建
11 任务描述
12 Python概述
13 Python编程环境搭建
131 在Windows操作系统下安装Python
132 在 Linux操作系统下安装Python
133 在 Mac OS操作系统下安装Python
14 安装集成开发环境PyCharm
141 PyCharm概述
142 PyCharm的安装和运行
15 Python的数据类型
151 整型
152 浮点型
153 字符串类型
154 列表类型
155 集合类型
156 字典类型
157 元组类型
16 Python语句与函数
161 条件判断语句
162 循环语句
163 自定义函数
17 任务实现
18 小结
19 习题
任务2 实现简单数据采集
21 任务描述
22 网络爬虫基础知识
221 网络爬虫概述
222 使用网络爬虫的风险
223 Python爬虫的工作过程
23 网络基础知识
231 HTML
232 URI和URL
233 HTTP
234 Request和Response
24 requests库的安装及使用
241 requests库概述
242 requests库的安装
243 requests库的基本用法
25 lxml库和BeautifulSoup库的安装及使用
251 lxml库概述
252 BeautifulSoup库概述
253 lxml库和BeautifulSoup库的安装
254 lxml库和BeautifulSoup库的基本用法
26 任务实现
27 小结
28 习题
任务3 存储数据
31 任务描述
32 MySQL的安装及使用
321 MySQL概述
322 MySQL的安装
323 MySQL的操作
33 PyMySQL的使用
34 CSV和JSON格式
341 CSV格式概述
342 输出CSV文件头部
343 使用Python读取CSV文件数据
344 使用Python向CSV文件写入数据
345 JSON格式概述
346 使用Python读取JSON文件数据
347 使用Python向JSON文件写入数据
35 任务实现
36 小结
37 习题
任务4 使用Web API采集数据
41 任务描述
42 GitHub
421 GitHub概述
422 GitHub的基本用法
43 Web API
431 Web API概述
432 GitHub开放API的数据特点
433 GitHub的API请求数据
434 获取API的响应数据
435 处理API的响应数据
44 任务实现
45 小结
46 习题
任务5 使用AJAX采集数据
51 任务描述
52 AJAX
521 AJAX的起源
522 AJAX概述
523 AJAX的特点
524 静态数据
525 动态数据
526 分析AJAX采集的数据
527 提取AJAX采集的数据
53 任务实现
54 小结
55 习题
任务6 主流验证码解析
61 验证码概述
62 自定义图形验证码解析
621 任务描述
622 图形验证码概述
623 tesserocr库概述
624 tesserocr库的安装
625 自定义图形验证码的生成
626 使用tesserocr库解析自定义图形验证码
627 任务实现
63 滑动验证码解析
631 任务描述
632 滑动验证码概述
633 ChromeDriver概述
634 ChromeDriver的安装
635 Selenium概述
636 Selenium的安装
637 Selenium和ChromeDriver的基本用法
638 任务实现
64 点击式验证码解析
641 任务描述
642 点击式验证码概述
643 聚合数据平台接口概述
644 任务实现
65 小结
66 习题
任务7 模拟登录
71 使用Selenium和ChromeDriver实现模拟登录
711 任务描述
712 GET概述
713 GET的基本用法
714 POST概述
715 POST的基本用法
716 GET和POST的区别
717 任务实现
72 使用Cookie实现模拟登录
721 任务描述
722 Cookie概述
723 Session概述
724 Cookie和Session的区别
725 任务实现——使用Cookie模拟登录
726 任务实现——使用requests库实现用Cookie和Session模拟登录
73 小结
74 习题
任务8 使用Scrapy爬虫框架采集数据
81 任务描述
82 Scrapy
821 Scrapy概述
822 Scrapy的工作原理
83 Scrapy的安装
831 在Windows操作系统下安装Scrapy
832 在Linux操作系统下安装Scrapy
84 Scrapy各组件的用法
841 Selector类
842 Spider类
843 下载器中间件
844 条目管道
845 网络爬虫中间件
85 任务实现
86 小结
87 习题
任务9 综合案例
91 任务描述
92 页面分析
93 模拟登录
94 获取静态数据
95 获取动态数据
96 数据持久化保存
97 小结