大数据与人工智能导论

1
第一章 绪论\t10
1．1日益增长的数据\t10
1．1．1大数据基本概念\t11
1．1．2大数据发展历程\t11
1．1．3大数据的特征\t12
1．1．4大数据的基本认识\t13
1．2人工智能\t14
1．2．1认识人工智能\t14
1．2．2人工智能的派别与发展历史\t14
1．2．3人工智能的现状与应用\t14
1．2．3 当人工智能遇上大数据\t15
1．3 大数据与人工智能的机遇与挑战\t16
1．3．1大数据与人工智能面临的难题\t16
1．3．2大数据与人工智能的前景\t17
第二章 数据工程\t18
2．1数据的多样性\t18
2．1．1数据格式的多样性\t18
2．1．2数据来源的多样性\t19
2．1．3数据用途的多样性\t20
2．2数据工程的一般流程\t21
2．2．1 数据获取\t21
2．2．2 数据存储\t21
2．2．3 数据清洗\t21
2．2．4 数据建模\t21
2．2．5 数据处理\t22
2．3数据的获取\t22
2．3．1数据来源\t23
2．3．2数据采集方法\t23
2．3．3 大数据采集平台\t25
2．4数据的存储与数据仓库\t25
2．4．1数据存储\t25
2．4．2数据仓库\t26
2．5数据的预处理技术\t27
2．5．1 为什么要进行数据预处理\t27
2．5．2 数据清理\t28
2．5．3 数据集成\t29
2．5．4 数据变换\t30
2．5．5 数据规约\t30
2．6模型的构建与评估\t31
2．6．1模型的构建\t31
2．6．2评价指标\t31
2．7数据的可视化\t33
2．7．1 可视化的发展\t34
2．7．2 可视化工具\t34
第三章 机器学习算法\t41
3-1机器学习绪论\t41
3．1．1 机器学习基本概念\t41
3．1．2评价标准\t43
3．1．3 机器模型的数学基础\t46
3-2决策树理论\t50
3．2．1决策树模型\t50
3．2．2 决策树的训练\t53
3．2．3 本节总结\t58
3．3 朴素贝叶斯理论\t59
3．4线性回归\t63
3．5逻辑斯蒂回归\t66
3．5．1二分类逻辑回归模型\t66
3．5．2 二分类逻辑斯蒂回归的训练\t68
3．5．3 softmax分类器\t71
3．5．4逻辑斯蒂回归和softmax的应用\t72
3．5．5本节总结\t72
3．6神经网络\t73
3．6．1生物神经元和人工神经元\t73
3．6．2感知机\t75
3．6．3\tBP神经网络\t77
3．6．4\tSklearn中的神经网络\t80
3．6．5本章小结\t81
3．6．6 拓展阅读\t81
3．7支持向量机\t81
3．7．1 间隔\t82
3．7．2 支持向量机的原始形式\t84
3．7．3 支持向量机的对偶形式\t86
3．7．4特征空间的隐式映射：核函数\t87
3．7．5 支持向量机拓展\t90
3．7．6 支持向量机的应用\t90
3．8集成学习\t91
3．8．1 基础概念\t91
3．8．2 Boosting\t94
3．8．3 Bagging\t98
3．8．4 Stacking\t99
3．9聚类\t100
3．9．1聚类思想\t100
3．9．2性能计算和距离计算\t100
3．9．3原型聚类：K-means\t101
3．9．4密度聚类：DBSCAN\t103
3．9．5层次聚类\t105
3．9．6\tSklearn中的聚类\t105
3．9．7本章小结\t106
3．9．8拓展阅读\t106
3．10降维与特征选择\t106
3．10．1维数爆炸与降维\t106
3．10．2降维技术\t107
3．10．3特征选择算法\t109
3．10．4 Sklearn中的降维\t112
3．10．5本章小结\t112
第四章 大数据框架\t113
4-1 Hadoop简介\t113
4．1．1 Hadoop的由来\t113
4．1．2 MapReduce和HDFS\t114
4-2 Hadoop大数据处理框架\t115
4．2．1 HDFS组件与运行机制\t116
4．2．2 MapReduce组件与运行机制\t120
4．2．3 Yarn框架和运行机制\t122
4．2．4 Hadoop相关技术\t123
4-3 Hadoop安装与部署\t124
4．3．1 安装配置单机版Hadoop\t124
4．3．2 单机版WordCount程序\t128
4．3．3 安装配置伪分布式Hadoop\t129
4-4 MapReduce编程\t135
4．4．1 MapReduce综述\t136
4．4．2 Map阶段\t136
4．4．3 shuffle阶段\t137
4．4．4 Reduce阶段\t138
4-5 HBase、Hive和Pig和简介\t138
4．5．1 HBase简介\t139
4．5．2 Hive简介\t139
4．5．3 Pig简介\t141
4-6 Spark简介\t141
4．6．1 spark概述\t141
4．6．2 Spark基本概念\t142
4．6．3 spark生态系统\t143
4．6．4 spark组件与运行机制\t144
4-7 Spark安装使用\t145
4．7．1 JDK安装\t146
4．7．2 Scala安装\t148
4．7．3 Spark安装\t148
4．7．4 Winutils安装\t148
4．7．5 使用Spark Shell\t149
4．7．6 Spark文件目录\t151
4-8 Spark实例讲解\t152
第五章 分布式数据挖掘算法\t153
5-1 K-Means聚类方法\t154
5．1．1 K-Means聚类算法简介\t154
5．1．2 K-Means算法的分布式实现\t154
5-2 朴素贝叶斯分类算法\t160
5．2．1 朴素贝叶斯分类并行化设计思路\t160
5．2．2 朴素贝叶斯分类并行化实现\t161
5-3 频繁项集挖掘算法\t166
5．3．1 Apriori频繁项集挖掘算法简介\t167
5．3．2 Apriori频繁项集挖掘的并行化实现\t167
5-4参考资料\t172
第六章 深度学习简介\t173
6-1从神经网络到深度神经网络\t173
6．1．1深度学习应用\t173
6．1．2 深度神经网络的困难\t175
6-2卷积神经网络CNN\t176
6．2．1卷积神经网络的生物学基础\t176
6．2．2卷积神经网络结构\t177
6-3循环神经网络RNN\t182
6．3．1循环神经网络简介\t182
6．3．2循环神经网络结构\t182
第七章 数据分析实例\t185
7-1 基本数据分析\t185
7．1．1数据介绍\t185
7．1．2数据导入与数据初识\t185
7．1．3分类\t189
7．1．4 聚类\t191
7．1．5回归\t192
7．1．6降维\t194
7．2深度学习项目实战\t195
7．2．1 Tensorflow与keras安装部署\t196
7．2．2使用卷积神经网络进行手写数字识别\t198
7．2．3使用LSTM进行文本情感分类\t201
附 录\t206
A 矩阵基础\t206
B 梯度下降\t209
牛顿法\t210
C 拉格朗日对偶性\t211
D python 语法知识\t213
E Java语法基础介绍\t228