TensorFlow+Keras自然语言处理实战

第1章  自然语言之道     1
1.1  何谓自然语言处理     1
1.1.1  自然语言处理是门技术     1
1.1.2  传统自然语言处理     2
1.2  自然语言处理为什么难——以简单的情感分析为例     3
1.3  自然语言处理的展望     5
1.3.1  自然语言处理对于人工智能的意义     6
1.3.2  自然语言在金融、法律、医疗健康等方面的应用     6
1.4  搭建环境1：安装Python  7
1.4.1  Anaconda的下载与安装     7
1.4.2  Python编译器PyCharm的安装     10
1.4.3  使用Python计算softmax函数     14
1.5  搭建环境2：安装TensorFlow 2.1  15
1.5.1  安装TensorFlow 2.1的CPU版本     15
1.5.2  安装TensorFlow 2.1的GPU版本     15
1.5.3  练习——Hello TensorFlow   18
1.6  实战——酒店评论的情感分类     19
1.6.1  步：数据的准备     19
1.6.2  第二步：数据的处理     20
1.6.3  第三步：模型的设计     20
1.6.4  第四步：模型的训练     21
1.6.5  第五步：模型的结果和展示     22
1.7  本章小结     22
 
第2章  Hello TensorFlow & Keras  23
2.1  TensorFlow & Keras  23
2.1.1  模型！模型！还是模型！     24
2.1.2  使用Keras API实现鸢尾花分类的例子（顺序模式）     24
2.1.3  使用Keras函数式编程实现鸢尾花分类的例子（重点）     27
2.1.4  使用保存的Keras模式对模型进行复用     30
2.1.5  使用TensorFlow标准化编译对iris模型进行拟合     31
2.1.6  多输入单一输出TensorFlow编译方法（选学）     35
2.1.7  多输入多输出TensorFlow编译方法（选学）     38
2.2  全连接层详解     40
2.2.1  全连接层的定义与实现     40
2.2.2  使用TensorFlow自带的API实现全连接层     42
2.2.3  打印显示已设计的model结构和参数     45
2.3  懒人的福音——Keras模型库     47
2.3.1  ResNet50模型和参数的载入     47
2.3.2  使用ResNet50作为特征提取层建立模型     49
2.4  本章小结     51
 
第3章  深度学习的理论基础     52
3.1  BP神经网络简介     53
3.2  BP神经网络两个基础算法详解     56
3.2.1  小二乘法（LS算法）详解     56
3.2.2  道士下山的故事——梯度下降算法     58
3.3  反馈神经网络反向传播算法介绍     61
3.3.1  深度学习基础     61
3.3.2  链式求导法则     62
3.3.3  反馈神经网络原理与公式推导     64
3.3.4  反馈神经网络原理的激活函数     69
3.3.5  反馈神经网络原理的Python实现     70
3.4  本章小结     74
 
第4章  卷积层与MNIST实战     75
4.1  卷积运算基本概念     75
4.1.1  卷积运算     76
4.1.2  TensorFlow中卷积函数实现详解     78
4.1.3  池化运算     80
4.1.4  softmax激活函数     81
4.1.5  卷积神经网络原理     82
4.2  编程实战：MNIST手写体识别     85
4.2.1  MNIST数据集     85
4.2.2  MNIST数据集特征和标签介绍     87
4.2.3  TensorFlow 2.X编程实战：MNIST数据集     89
4.2.4  使用自定义的卷积层实现MNIST识别     93
4.3  本章小结     96
 
第5章  TensorFlow Datasets和TensorBoard详解     97
5.1  TensorFlow Datasets简介     97
5.1.1  Datasets数据集的安装     99
5.1.2  Datasets数据集的使用     99
5.2  Datasets数据集的使用——FashionMNIST  101
5.2.1  FashionMNIST数据集下载与展示     102
5.2.2  模型的建立与训练     104
5.3  使用Keras对FashionMNIST数据集进行处理     106
5.3.1  获取数据集     106
5.3.2  数据集的调整     107
5.3.3  使用Python类函数建立模型     107
5.3.4  Model的查看和参数打印     108
5.3.5  模型的训练和评估     110
5.4  使用TensorBoard可视化训练过程     112
5.4.1  TensorBoard文件夹的设置     113
5.4.2  TensorBoard的显式调用     114
5.4.3  TensorBoard的使用     116
5.5  本章小结     119
 
第6章  从冠军开始：ResNet  120
6.1  ResNet基础原理与程序设计基础     121
6.1.1  ResNet诞生的背景     121
6.1.2  模块工具的TensorFlow实现——不要重复造轮子     124
6.1.3  TensorFlow高级模块layers用法简介     125
6.2  ResNet实战：CIFAR100数据集分类     132
6.2.1  CIFAR100数据集简介     132
6.2.2  ResNet残差模块的实现     135
6.2.3  ResNet网络的实现     137
6.2.4  使用ResNet对CIFAR100数据集进行分类     140
6.3  ResNet的兄弟——ResNeXt  141
6.3.1  ResNeXt诞生的背景     141
6.3.2  ResNeXt残差模块的实现     143
6.3.3  ResNeXt网络的实现     145
6.3.4  ResNeXt和ResNet的比较     146
6.4  本章小结     147
 
第7章  有趣的word embedding  148
7.1  文本数据处理     148
7.1.1  数据集介绍和数据清洗     149
7.1.2  停用词的使用     151
7.1.3  词向量训练模型word2vec使用介绍     154
7.1.4  文本主题的提取：基于TF-IDF（选学）     157
7.1.5  文本主题的提取：基于TextRank（选学）     161
7.2  更多的word embedding方法——fastText和预训练词向量     164
7.2.1  fastText的原理与基础算法     164
7.2.2  fastText训练以及与TensorFlow 2.X的协同使用     166
7.2.3  使用其他预训练参数做TensorFlow词嵌入矩阵（中文）     172
7.3  针对文本的卷积神经网络模型简介——字符卷积     173
7.3.1  字符（非单词）文本的处理     173
7.3.2  卷积神经网络文本分类模型的实现——conv1d（一维卷积）     180
7.4  针对文本的卷积神经网络模型简介——词卷积     182
7.4.1  单词的文本处理     183
7.4.2  卷积神经网络文本分类模型的实现——conv2d（二维卷积）     184
7.5  使用卷积对文本分类的补充内容     188
7.5.1  汉字的文本处理     188
7.5.2  其他细节     191
7.6  本章小结     191
 
第8章  实战——站在冠军肩膀上的情感分类实战     193
8.1  GRU与情感分类     193
8.1.1  什么是GRU   193
8.1.2  使用GRU的情感分类     195
8.1.3  TensorFlow中的GRU层详解     196
8.1.4  单向不行就双向     197
8.2  站在巨人肩膀上的情感分类     198
8.2.1  使用TensorFlow自带的模型做文本分类     199
8.2.2  使用自定义的DPCNN做模型分类     203
8.3  本章小结     207
 
第9章  从0起步——自然语言处理的编码器     208
9.1  编码器的核心——注意力模型     209
9.1.1  输入层——初始词向量层和位置编码器层     210
9.1.2  自注意力层（本书重点）     211
9.1.3  ticks和LayerNormalization  216
9.1.4  多头自注意力     217
9.2  编码器的实现     221
9.2.1  前馈层的实现     221
9.2.2  构建编码器架构     223
9.3  实战编码器——汉字拼音转化模型     226
9.3.1  汉字拼音数据集处理     227
9.3.2  汉字拼音转化模型的确定     229
9.3.3  模型训练部分的编写     232
9.3.4  推断函数的编写     233
9.4  本章小结     234
 
第10章  从1起步——自然语言处理的解码器     236
10.1  解码器的核心——注意力模型     236
10.1.1  解码器的输入和交互注意力层的掩码     237
10.1.2  为什么通过掩码操作能够减少干扰     242
10.1.3  解码器的输出（移位训练方法）     243
10.1.4  解码器的实现     244
10.2  解码器实战——拼音汉字翻译模型     246
10.2.1  翻译模型     246
10.2.2  拼音汉字模型的训练（注意训练过程的错位数据输入）     252
10.2.3  拼音汉字模型的使用（循环输出的问题）     254
10.3  本章小结     256