机器学习与大数据技术

第 1章 绪论 1
1．1 机器学习 3
1．1．1概述 3
1．1．2评价准则 4
1．1．3分类 6
1．1．4常用工具 7
1．2 大数据 9
1．3 人工智能 10
1．4 图像处理技术 12
第 2章 机器学习理论与方法 13
2．1 回归分析与最小二乘法 13
2．2聚类 15
2．2．1简介 15
2．2．2基本原理 15
2．2．3常用聚类算法 17
2．3 遗传算法 20
2．3．1简介 20
2．3．2基本原理 21
2．3．3特点与应用 23
2．4 蚁群算法 23
2．4．1简介 23
2．4．2基本原理 24
2．4．3特点与应用 26
2．5 粒子群算法 27
2．5．1简介 27
2．5．2基本原理 27
2．5．3特点与应用 28
2．6 人工神经网络 29
2．6．1简介 29
2．6．2神经网络基础 31
2．6．3 BP神经网络 37
2．6．4 RBF神经网络 38
2．7支持向量机 40
2．7．1简介 40
2．7．2基本原理 40
2．7．3特点与应用 46
2．8 隐马尔科夫模型 46
第3章 深度学习理论与方法 50
3．1 简介 50
3．2 常见模型 51
3．2．1卷积神经网络 52
3．2．2受限玻尔兹曼机 54
3．2．3深度信念网络 56
3．2．4自动编码器 57
3．2．5降噪自动编码器 59
3．2．6堆叠降噪自动编码器 59
3．3 应用场景 60
3．4 发展趋势 61
3．4．1深度集成学习 61
3．4．2深度强化学习 62
3．4．3深度迁移学习 63
第4章 大数据处理技术 65
4．1 大数据简介 65
4．1．1大数据概念与特点 65
4．1．2大数据类型 66
4．1．3大数据应用 67
4．2 大数据技术 68
4．2．1数据获取与预处理技术 68
4．2．2存储与管理技术 71
4．2．3分析与挖掘技术 72
4．2．4可视化技术 74
4．3 大数据处理框架 79
4．3．1简介 79
4．3．2 Hadoop 80
4．3．3 Spark 82
4．3．4 Storm 84
4．3．5 HBase 85
4．3．6 Hive 86
4．4 大数据面临挑战 86
4．4．1数据安全性 87
4．4．2计算复杂性 87
4．4．3计算时效性 87
第5章 大数据与智能系统开发——以农业应用为例 88
5．1 农业信息化概述 88
5．1．1农业信息概念 88
5．1．2农业信息分类 88
5．1．3农业信息技术 89
5．2 农业大数据概述 89
5．2．1农业大数据概念 89
5．2．2农业大数据特点 90
5．2．3农业大数据标准 90
5．2．4农业大数据发展趋势 91
5．3 农业大数据技术 92
5．3．1获取与预处理技术 92
5．3．2存储与集成技术 95
5．3．3挖掘与可视化技术 95
5．3．4发展趋势 96
5．4 农业大数据机遇、挑战与对策 97
5．4．1机遇 97
5．4．2挑战与对策 97
5．5 基于安卓的农业智能 99
5．5．1简介 99
5．5．2APP开发步骤 100
5．5．3农业APP 101
第6章 图像处理与分析技术 102
6．1 简介 102
6．1．1常用术语 102
6．1．2图像处理与分析基础 106
6．2 图像处理技术在农业中的应用 111
6．2．1农业图像特点 111
6．2．2农业应用场景 111
6．3图像细化算法 112
6．3．1细化算法原理 112
6．3．2改进算法 114
第7章 机器学习、大数据技术和图像处理技术的应用——以农业应用为例 118
7．1 简介 118
7．2 随机森林在棉蚜等级预测中的应用 118
7．2．1随机森林原理 118
7．2．2随机森林构建 119
7．2．3袋外数据OOB和OOB估计 120
7．2．4实验结果与分析 121
7． 3 基于邻域核函数的局部支持向量机在树木图像分类中的应用 127
7．3．1邻域核函数 128
7．3．2基于邻域核函数的局部支持向量机 129
7．3．3实验结果与分析 129
7．4 局部支持向量回归在小麦蚜虫预测中的应用 132
7．4．1小麦蚜虫预测原理 132
7．4．2数据来源与预处理 132
7．4．3支持向量回归与局部支持向量回归 134
7．4．4实验结果与分析 136
7．5 深度学习在小麦蚜虫短期预测中的应用 138
7．5．1数据来源与预处理 138
7．5．2模型评价指标 139
7．5．3基于DBN_LSVR的小麦蚜虫短期预测模型 140
7．5．4实验结果与分析 141
7．6 基于Spark的支持向量机在小麦病害图像识别中的应用 143
7．6．1数据来源与预处理 144
7．6．2 基于Spark的支持向量机 149
7．6．3实验结果与分析 151
7．7 Hadoop平台下基于粒子群的局部支持向量机 153
7．7．1相关技术及算法 154
7．7．2改进算法原理 155
7．7．3 MapRuduce实现 155
7．7．4改进思想 156
7．7．5实验结果与分析 157
第8章 Python基础 160
8．1 基础知识 160
8．1．1Python安装与使用 160
8．1．2编码规范 160
8．1．3模块导入 161
8．1．4异常处理 163
8．2 语言基础 164
8．2．1基本数据类型 164
8．2．2运算符与表达式 166
8．2．3选择与循环 172
8．2．4字符串 176
8．2．5列表、元组与字典 178
8．2．6正则表达式 187
8．3 函数 190
8．3．1函数定义 190
8．3．2 函数调用 191
8．3．3函数参数 192
8．3．4返回值 195
8．3．5变量作用域 196
8．4 类 197
8．4．1类定义 197
8．4．2类方法 198
8．4．3继承与多态 199
8．4．4应用举例 199
8．5 文件 206
8．5．1打开和关闭 206
8．5．2读写 207
8．5．3其他操作 208
8．5．4目录操作 209
第9章 Python数据处理与机器学习 210
9．1 矩阵计算 210
9．1．1基础知识 210
9．1．2应用举例 218
9．2 网络爬虫 222
9．2．1基础知识 222
9．2．2应用举例 226
9．3 数据库 226
9．3．1 Sqlite数据库 226
9．3．2 MySQL数据库 228
9．4 OpenCV图像编程 230
9．4．1图像基础操作 230
9．4．2图像几何变换 231
9．4．3图像滤波 233
9．4．4数学形态学 235
9．4．5应用举例 236
9．5 数据可视化 237
9．5．1 matplotlib可视化 237
9．5．2 plotly可视化 238
9．6 基于Python机器学习算法 240
9．6．1线性回归 240
9．6．2 Logistic回归 242
9．6．3 K近邻算法 245
9．6．4 K均值聚类 247
9．6．5决策树 250
9．7 基于Python大数据处理技术 255
9．7．1 MapReduce编程 255
9．7．2 应用举例 256
9．8 Tensorflow编程 256
9．8．1简介 256
9．8．2基础知识 258
9．8．3应用举例 260
参考文献 261