第1章 字符串操作\t1
1.1 切分\t1
1.1.1 将文本切分为语句\t2
1.1.2 其他语言文本的切分\t2
1.1.3 将句子切分为单词\t3
1.1.4 使用TreebankWordTokenizer
执行切分\t4
1.1.5 使用正则表达式实现
切分\t5
1.2 标准化\t8
1.2.1 消除标点符号\t8
1.2.2 文本的大小写转换\t9
1.2.3 处理停止词\t9
1.2.4 计算英语中的停止词\t10
1.3 替换和校正标识符\t11
1.3.1 使用正则表达式替换
单词\t11
1.3.2 用另一个文本替换文本的
示例\t12
1.3.3 在执行切分前先执行替换操作\t12
1.3.4 处理重复字符\t13
1.3.5 去除重复字符的示例\t13
1.3.6 用单词的同义词替换\t14
1.3.7 用单词的同义词替换的
示例\t15
1.4 在文本上应用Zipf定律\t15
1.5 相似性度量\t16
1.5.1 使用编辑距离算法执行相似性度量\t16
1.5.2 使用Jaccard系数执行相似性度量\t18
1.5.3 使用Smith Waterman距离算法执行相似性度量\t19
1.5.4 其他字符串相似性度量\t19
1.6 小结\t20
第2章 统计语言建模\t21
2.1 理解单词频率\t21
2.1.1 为给定的文本开发
MLE\t25
2.1.2 隐马尔科夫模型估计\t32
2.2 在MLE模型上应用平滑\t34
2.2.1 加法平滑\t34
2.2.2 Good Turing平滑\t35
2.2.3 Kneser Ney平滑\t40
2.2.4 Witten Bell平滑\t41
2.3 为MLE开发一个回退机制\t41
2.4 应用数据的插值以便获取混合
搭配\t42
2.5 通过复杂度来评估语言模型\t42
2.6 在语言建模中应用
Metropolis-Hastings算法\t43
2.7 在语言处理中应用Gibbs
采样法\t43
2.8 小结\t46
第3章 形态学:在实践中学习\t47
3.1 形态学简介\t47
3.2 理解词干提取器\t48
3.3 理解词形还原\t51
3.4 为非英文语言开发词干
提取器\t52
3.5 形态分析器\t54
3.6 形态生成器\t56
3.7 搜索引擎\t56
3.8 小结\t61
第4章 词性标注:单词识别\t62
4.1 词性标注简介\t62
默认标注\t67
4.2 创建词性标注语料库\t68
4.3 选择一种机器学习算法\t70
4.4 涉及n-gram的统计建模\t72
4.5 使用词性标注语料库开发
分块器\t78
4.6 小结\t80
第5章 语法解析:分析训练资料\t81
5.1 语法解析简介\t81
5.2 Treebank建设\t82
5.3 从Treebank提取上下文无关
文法规则\t87
5.4 从CFG创建概率上下文无关
文法\t93
5.5 CYK线图解析算法\t94
5.6 Earley线图解析算法\t96
5.7 小结\t102
第6章 语义分析:意义很重要\t103
6.1 语义分析简介\t103
6.1.1 NER简介\t107
6.1.2 使用隐马尔科夫模型的
NER系统\t111
6.1.3 使用机器学习工具包训练
NER\t117
6.1.4 使用词性标注执行
NER\t117
6.2 使用Wordnet生成同义词
集id\t119
6.3 使用Wordnet进行词义消歧\t122
6.4 小结\t127
第7章 情感分析:我很快乐\t128
7.1 情感分析简介\t128
7.1.1 使用NER执行情感
分析\t134
7.1.2 使用机器学习执行情感
分析\t134
7.1.3 NER系统的评估\t141
7.2 小结\t159
第8章 信息检索:访问信息\t160
8.1 信息检索简介\t160
8.1.1 停止词删除\t161
8.1.2 使用向量空间模型进行
信息检索\t163
8.2 向量空间评分及查询操作符
关联\t170
8.3 使用隐性语义索引开发IR
系统\t173
8.4 文本摘要\t174
8.5 问答系统\t176
8.6 小结\t177
第9章 语篇分析:理解才是可信的\t178
9.1 语篇分析简介\t178
9.1.1 使用中心理论执行语篇
分析\t183
9.1.2 指代消解\t184
9.2 小结\t188
第10章 NLP系统评估:性能分析\t189
10.1 NLP系统评估要点\t189
10.1.1 NLP工具的评估(词性标注器、词干提取器及形态分析器)\t190
10.1.2 使用黄金数据执行解析器
评估\t200
10.2 IR系统的评估\t201
10.3 错误识别指标\t202
10.4 基于词汇搭配的指标\t202
10.5 基于句法匹配的指标\t207
10.6 使用浅层语义匹配的指标\t207
10.7 小结\t208