基于混合方法的自然语言处理：神经网络模型与知识图谱的结合

推荐序一
推荐序二
译者序
前言
第一部分　预备知识和构建模块
第1章　混合自然语言处理简介 2
1.1　知识图谱、嵌入和语言模型简史 2
1.2　自然语言处理中知识图谱和神经网络方法的结合 4
第2章　单词、意义和知识图谱嵌入 6
2.1　引言 6
2.2　分布式单词表示 6
2.3　词嵌入 7
2.4　意义和概念嵌入 8
2.5　知识图谱嵌入 9
2.6　本章小结 13
第3章　理解词嵌入和语言模型 14
3.1　引言 14
3.2　语言模型 15
3.2.1　统计语言模型 15
3.2.2　神经语言模型 16
3.3　NLP迁移学习的预训练模型微调 16
3.3.1　ELMo 16
3.3.2　GPT 17
3.3.3　BERT 17
3.4　机器人检测中预训练语言模型的微调 18
3.4.1　实验结果与讨论 21
3.4.2　使用Transformer库对BERT进行微调 21
3.5　本章小结 27
第4章　从文本中捕获意义作为词嵌入 28
4.1　引言 28
4.2　下载一个小文本语料库 29
4.3　一种学习词嵌入的算法 29
4.4　使用Swivel prep生成共现矩阵 30
4.5　从共现矩阵中学习嵌入 31
4.6　读取并检查存储的二进制嵌入 32
4.7　练习：从古腾堡工程中创建词嵌入 33
4.7.1　下载语料库并进行预处理 33
4.7.2　学习嵌入 34
4.7.3　检查嵌入 34
4.8　本章小结 34
第5章　捕获知识图谱嵌入 35
5.1　引言 35
5.2　知识图谱嵌入 35
5.3　为WordNet创建嵌入 37
5.3.1　选择嵌入算法：HolE 37
5.3.2　将WordNet知识图谱转换为所需输入 39
5.3.3　学习嵌入 44
5.3.4　检查嵌入结果 44
5.4　练习 47
5.4.1　练习：在自己的知识图谱上训练嵌入 47
5.4.2　练习：检查WordNet 3.0的预计算嵌入 47
5.5　本章小结 48
第二部分　神经网络与知识图谱的结合
第6章　从文本语料库、知识图谱和语言模型中构建混合表达 50
6.1　引言 50
6.2　准备工作和说明 51
6.3　Vecsigrafo的概念及构建方式 51
6.4　实现 53
6.5　训练Vecsigrafo 54
6.5.1　标记化和词义消歧 56
6.5.2　词汇表和共现矩阵 58
6.5.3　从共现矩阵学习嵌入 62
6.5.4　检查嵌入 64
6.6　练习：探索一个预先计算好的Vecsigrafo 66
6.7　从Vecsigrafo到Transigrafo 68
6.7.1　安装设置 70
6.7.2　训练Transigrafo 71
6.7.3　扩展知识图谱的覆盖范围 73
6.7.4　评估 Transigrafo 73
6.7.5　检查Transigrafo中的义项嵌入 75
6.7.6　探索Transigrafo嵌入的稳定性 77
6.7.7　额外的反思 81
6.8　本章小结 81
第7章　质量评估 82
7.1　引言 82
7.2　评估方法的概述 83
7.3　练习1：评估单词和概念嵌入 84
7.3.1　可视化探索 84
7.3.2　内在评估 85
7.3.3　词汇预测图 87
7.3.4　外在评估 90
7.4　练习2：评价通过嵌入获取的关系知识 90
7.4.1　下载embrela项目 91
7.4.2　下载生成的数据集 91
7.4.3　加载待评估的嵌入 92
7.4.4　学习模型 94
7.4.5　分析模型的结果 94
7.4.6　数据预处理：合并且增加字段 96
7.4.7　计算范围阈值和偏差数据集检测 97
7.4.8　发现统计上有意义的模型 99
7.4.9　关系型知识的评估结论 101
7.5　案例研究：评估和对比Vecsigrafo嵌入 101
7.5.1　比较研究 101
7.5.2　讨论 111
7.6　本章小结 114
第8章　利用Vecsigrafo捕获词法、语法和语义信息 116
8.1　引言 116
8.2　方法 118
8.2.1　Vecsigrafo：基于语料的单词–概念嵌入 118
8.2.2　联合嵌入空间 119
8.2.3　嵌入的评估 119
8.3　评估 120
8.3.1　数据集 121
8.3.2　单词相似度 121
8.3.3　类比推理 124
8.3.4　单词预测 125
8.3.5　科学文档的分类 127
8.4　讨论 129
8.5　练习：使用surface form对科学文献进行分类 130
8.5.1　导入所需的库 130
8.5.2　下载surface form的词嵌入和SciGraph论文 131
8.5.3　读取并准备分类数据集 131
8.5.4　surface form的词嵌入 133
8.5.5　创建嵌入层 134
8.5.6　训练一个卷积神经网络 134
8.6　本章小结 136
第9章　知识图谱的词嵌入空间对齐与应用 137
9.1　引言 137
9.2　概述及可能的应用 138
9.2.1　知识图谱的补全 139
9.2.2　超越多语言性：跨模态的词嵌入 139
9.3　词嵌入空间的对齐技术 140
9.3.1　线性对齐 140
9.3.2　非线性对齐 146
9.4　练习：寻找古代英语和现代英语的对应 146
9.4.1　下载小型文本语料库 146
9.4.2　学习基于老莎士比亚语料库的Swivel词嵌入 147
9.4.3　在WordNet之上加载UMBC的Vecsigrafo 149
9.4.4　练习的结论 149
9.5　本章小结 150
第三部分　应用
第10章　一种虚假信息分析的混合方法 152
10.1　引言 152
10.2　虚假信息检测 153
10.2.1　定义和背