R语言商业分析实战

目    录

第1章  商业分析简介 1

1.1  本书目的 3

1.2  容易混淆的术语 3

1.3  商业分析的发展动因 4

1.3.1  计算机软件包和应用程序的增长 5

1.3.2  整合各种数据源的可行性 5

1.3.3  无限存储和计算能力的增长 6

1.3.4  简单易用的编程工具和平台 6

1.3.5  竞争激烈世界中的生存与发展 6

1.3.6  全球化商业的复杂性 6

1.4  商业分析的应用 6

1.4.1  市场营销与销售 7

1.4.2  人力资源 7

1.4.3  产品设计 7

1.4.4  服务设计 8

1.4.5  客户服务和支持范围 8

1.5  商业分析师的必备技能 8

1.5.1  理解商业和商业问题 8

1.5.2  理解数据分析技术和算法 9

1.5.3  具备良好的计算机编程知识 9

1.5.4  理解数据结构和数据存储/仓储技术 9

1.5.5  了解统计学和数学的相关概念知识 9

1.6  商业分析项目的分析过程 10

1.7  商业分析框架 11

1.8  小结 12

第2章  R语言概述 13

2.1  数据分析工具 13

2.2  R语言安装 16

2.2.1  安装R语言 16

2.2.2  安装RStudio 17

2.2.3  探索RStudio界面 18

2.3  R编程基础 19

2.3.1  赋值 20

2.3.2  创建向量 21

2.4  R语言对象类型 21

2.5  R语言的数据结构 23

2.5.1  矩阵 23

2.5.2  数组 24

2.5.3  数据框 26

2.5.4  列表 27

2.5.5  因子 28

2.6  小结 29

第3章  R语言数据分析 31

3.1  读写数据 31

3.1.1  从文本文件读取数据 32

3.1.2  从Microsoft Excel文件读取数据 35

3.1.3  从Web读取数据 37

3.2  在R语言中使用控制结构 37

3.2.1  if-else 38

3.2.2  for循环 39

3.2.3  while循环 39

3.2.4  循环功能 40

3.2.5  在R语言中自编函数 47

3.3  使用R语言软件包和库 48

3.4  小结 49

第4章  描述性分析概述 51

4.1  描述性分析 54

4.2  总体和样本 54

4.3  有关的统计参数 55

4.3.1  均值 55

4.3.2  中位数 57

4.3.3  众数 59

4.3.4  全距 59

4.3.5  分位数 60

4.3.6  标准差（Standard Deviation） 61

4.3.7  方差（Variance） 64

4.3.8  R语言的summary命令 64

4.4  数据的图形描述 65

4.4.1  R语言的plot命令 65

4.4.2  直方图 67

4.4.3  条形图 68

4.4.4  箱线图 68

4.5  数据框计算 69

4.6  概率 73

4.6.1  互斥事件的概率 74

4.6.2  相互独立事件的概率 74

4.6.3  非互斥事件概率 75

4.6.4  概率分布 75

4.7  小结 77

第5章  商业分析过程与数据探索 79

5.1  商业分析过程 79

5.1.1  第一阶段：理解商业问题 79

5.1.2  第二阶段：收集和整合数据 79

5.1.3  第三阶段：预处理数据 80

5.1.4  第四阶段：探索和可视化数据 80

5.1.5  第五阶段：选择建模技术和算法 81

5.1.6  第六阶段：评估模型 81

5.1.7  第七阶段：管理和审查报告 81

5.1.8  第八阶段：部署模型 81

5.2  理解商业问题 82

5.3  收集和整合数据 82

5.3.1  抽样 83

5.3.2  变量选择 84

5.4  预处理数据 85

5.4.1  数据类型 85

5.4.2  数据准备 86

5.4.3  使用R语言进行数据预处理 87

5.5  数据探索和数据可视化 91

5.5.1  表格 92

5.5.2  汇总表 92

5.5.3  图形 93

5.5.4  散点图矩阵 97

5.5.5  数据转换 101

5.6  使用建模技术和算法 102

5.6.1  描述性分析 103

5.6.2  预测分析 103

5.6.3  机器学习 103

5.7  评估模型 106

5.7.1  训练数据分区 106

5.7.2  测试数据分区 106

5.7.3  验证数据分区 107

5.7.4  交叉验证 107

5.7.5  分类模型评估 108

5.7.6  回归模型评估 111

5.8  提交管理报告和审查 112

5.8.1  描述问题 112

5.8.2  使用的数据集 112

5.8.3  执行数据清洗 112

5.8.4  创建模型的方法 112

5.8.5  模型部署前提条件 113

5.8.6  模型部署和使用 113

5.8.7  问题处理 113

5.9  部署模型 113

5.10  小结 114

第6章  监督机器学习：分类 115

6.1  什么是分类？什么是预测？ 115

6.2  概率分类器模型 116

6.2.1  示例 117

6.2.2  R语言朴素贝叶斯分类器 118

6.2.3  朴素贝叶斯分类器的优点和局限性 119

6.3  决策树 120

6.3.1  递归分割决策树算法 121

6.3.2  信息增益 121

6.3.3  决策树示例 123

6.3.4  决策树归纳 124

6.3.5  树分类规则 127

6.3.6  过拟合和欠拟合 127

6.3.7  偏差和方差（Bias and Variance） 128

6.3.8  避免过拟合误差和确定决策树生长的规模 129

6.4  其他分类器类型 131

6.4.1  K-最近邻 131

6.4.2  随机森林 132

6.5  R语言分类示例 134

6.6  小结 138

第7章  无监督机器学习 139

7.1  聚类概述 139

7.2  什么是聚类 140

7.2.1  两个记录之间的测量方法 141

7.2.2  分类变量的距离度量 142

7.2.3  混合型数据的距离度量 142

7.2.4  两个聚类之间的距离 143

7.3  层次聚类 145

7.3.1  树状图 145

7.3.2  层次聚类的局限性 145

7.4  非层次聚类 146

7.4.1  k-means算法 146

7.4.2  k-means聚类的局限性 147

7.5  聚类案例研究 148

7.5.1  仅保留数据集中的相关变量 149

7.5.2  从数据集中删除任何异常值 149

7.5.3  数据归一化（Standardize the Data） 150

7.5.4  计算数据点之间的距离 150

7.6  关联规则 157

7.6.1  选择规则 158

7.6.2  关联规则生成示例 160

7.6.3  解读结果 161

7.7  小结 162

第8章  简单线性回归分析 163

8.1  概述 163

8.2  相关性 164

8.3  假设检验 167

8.4  简单线性回归分析 168

8.4.1  回归假设 168

8.4.2  简单线性回归方程 168

8.4.3  R语言创建简单回归方程 169

8.4.4  检验回归假设 171

8.4.5  结论 176

8.4.6  预测响应变量 176

8.4.7  补充说明 177

8.5  小结 178

第9章  多元线性回归分析 179

9.1  使用多元线性回归分析 180

9.1.1  数据 181

9.1.2  相关性 181

9.1.3  构建模型 182

9.1.4  验证回归假设 184

9.1.5  多重共线性 188

9.1.6  逐步多元线性回归分析 190

9.1.7  全子集多元线性回归分析 191

9.1.8  多元线性回归方程 193

9.1.9  结论 193

9.2  R语言的替代方法 193

9.3  预测响应变量 194

9.4  训练和测试模型 195

9.5  交叉验证 196

9.6  小结 198

第10章  逻辑回归分析 201

10.1  逻辑回归 202

10.1.1  数据 203

10.1.2  构建模型 204

10.1.3  模型拟合验证 207

10.1.4  一般注意事项 208

10.1.5  多重共线性 208

10.1.6  离散 209

10.1.7  逻辑回归分析结论 209

10.2  模型训练和测试 209

10.2.1  预测响应变量 211

10.2.2  验证逻辑回归模型的其他替代方法 212

10.3  多项逻辑回归分析 213

10.4  正则化 214

10.5  小结 220

第11章  大数据分析：介绍及未来趋势 221

11.1  大数据生态系统 222

11.2  大数据分析的未来趋势 225

11.2.1  发展壮大的社交媒体 225

11.2.2  创建数据湖 225

11.2.3  企业用户手中的可视化工具 225

11.2.4  规范性分析 225

11.2.5  物联网 226

11.2.6  人工智能 226

11.2.7  全数据处理 226

11.2.8  数据垂直应用和横向应用 226

11.2.9  实时分析 226

11.2.10  将数据分析工具交由企业用户使用 227

11.2.11  将解决方案从一个工具迁移到另一个工具 227

11.2.12  云无处不在 227

11.2.13  数据库内分析 227

11.2.14  内存分析 228

11.2.15  机器学习的自主服务 228

11.2.16  安全和合规性 228

11.2.17  医疗保健 228

引用 95

第4章  制作自动机器车 97

自动系统介绍 97

介绍移动机器人 99

搭建机器车 100

DIY机器人平台 100

集成的机器人平台 102

使用Pololu Zumo robot for Arduino 104

用计算机控制机器车 109

使用GPS模块导航 117

介绍地图引擎平台 124

制作基于GPS的小车 128

制作自动机器车 130

总结 131

引用 131

第5章  在物联网项目中添加语音技术 133

语音技术介绍 133

声音传感器和驱动器介绍 134

语音技术的模式识别介绍 143

介绍语音和声音模块 143

为物联网项目增加语音控制 145

设置EasyVR shield 3 145

创建语音命令 148

给语音板布线 151

编写Sketch程序 151

测试 157

让IoT板说话 157

设置 157

布线 157

编写Sketch程序 158

测试 159

让Raspberry Pi说话 159

设置 159

编写Python程序 162

下一步是什么？ 163

总结 163

引用 163

第6章  为物联网项目搭建数据云 165

对云技术的介绍 165

介绍基于云的数据科学 166

连接IoT板到云服务器 167

微软Azure IoT 167

亚马逊AWS IoT 168

Arduino云 168

使用微软Azure IoT Hub 180

设置微软Azure IoT Hub 180

注册IoT设备 182

编写程序 186

构建科学型云平台 192

部署Azure机器学习 193

发布到Azure ML作为Web服务 194

构建带有科学型数据云的IoT应用 196

总结 196

引用 197