藏语自然语言处理基本理论和方法

目录
《信息科学技术学术著作丛书》序
前言
第1章 藏语语法单位 1
1.1 藏文字符 1
1.2 藏文字 2
1.2.1 藏文字结构 2
1.2.2 藏文的书写及字体 3
1.3 藏语词语 3
1.3.1 格助词 4
1.3.2 不自由虚词 7
1.3.3 自由虚词 10
1.3.4 动词概述 12
1.4 藏语短语 13
1.5 藏语句子 14
1.5.1 藏语句子的特点 14
1.5.2 藏语句子的分类 14
第2章 理论基础 17
2.1 集合论基础 17
2.1.1 集合 17
2.1.2 字符串 18
2.1.3 函数 20
2.1.4 图 20
2.2 概率论基础 22
2.2.1 概率 22
2.2.2 似然估计 23
2.2.3 条件概率 24
2.2.4 全概率公式与贝叶斯公式 24
2.2.5 独立性 26
2.2.6 随机变量 26
2.2.7 联合概率分布和条件概率分布 27
2.2.8 贝叶斯决策理论 28
2.2.9 期望和方差 29
2.3 信息论基础 30
2.3.1 信息熵 30
2.3.2 信息熵的性质 32
2.3.3 联合熵和条件熵 34
2.3.4 相对熵 35
2.3.5 互信息 35
2.3.6 交叉熵 36
2.3.7 困惑度 37
2.3.8 噪声信道 37
2.4 齐普夫定律 39
2.5 隐马尔可夫模型 41
2.5.1 马尔可夫模型 41
2.5.2 隐马尔可夫模型的基本原理 42
2.5.3 隐马尔可夫模型的三个基本问题 44
2.6 熵模型 56
2.6.1 熵模型的约束条件 57
2.6.2 熵模型的原则 58
2.6.3 熵模型的参数训练 58
2.7 条件随机场模型 59
2.7.1 条件随机场定义 60
2.7.2 条件随机场模型形式 61
2.7.3 条件随机场模型的参数估计 62
第3章 形式语言与自动机 64
3.1 形式语言 64
3.1.1 形式语言概述 64
3.1.2 形式文法 65
3.1.3 形式文法的类型 66
3.2 自动机 68
3.2.1 自动机概述 68
3.2.2 正规文法与自动机 72
第4章 字符编码 75
4.1 西文字符编码 75
4.2 ISO/IEC 10646与Unicode 76
4.2.1 缘起 76
4.2.2 ISO/IEC 10646体系结构 76
4.2.3 Unicode 79
4.3 中文字符编码 81
4.3.1 汉字字符编码 81
4.3.2 藏文字符编码 85
第5章 藏语语料库的建设 91
5.1 语料库概述 91
5.2 语料库的类型 91
5.3 典型语料库 93
5.4 藏语语料库建设中存在的问题 96
第6章 藏文信息熵 99
6.1 概述 99
6.2 藏文字符的信息熵 100
6.3 藏文字的信息熵 102
6.4 藏语语言模型及其困惑度 105
6.4.1 N元文法模型 105
6.4.2 困惑度 107
6.4.3 数据平滑 109
6.5 藏文输入法的数学模型 111
6.6 藏文文本自动校对 115
第7章 藏文拼写文法的形式化 118
7.1 藏文拼写文法形式化描述 118
7.1.1 术语定义 118
7.1.2 符号映射 119
7.1.3 藏文拼写文法规则 120
7.1.4 藏文的基本拼写结构 122
7.1.5 藏文拼写文法形式化描述 127
7.1.6 藏文拼写文法性质 131
7.2 藏文拼写形式语言 133
7.2.1 藏文拼写形式语言概述 133
7.2.2 藏文拼写形式文法 135
7.3 藏文字组成成分识别 186
7.3.1 藏文字组成成分的识别概述 186
7.3.2 藏文拼写形式文法使用中的二义性问题 188
第8章 藏语自动分词及词性和语义标注 190
8.1 藏语自动分词中的几个关键问题 190
8.1.1 紧缩词问题 190
8.1.2 歧义切分问题 193
8.1.3 未登录词问题 195
8.2 藏语自动分词方法 197
8.2.1 基于规则的分词方法 197
8.2.2 基于统计的分词方法 198
8.2.3 基于条件随机场模型的藏语分词方法 199
8.3 命名实体识别 206
8.3.1 概述 206
8.3.2 命名实体识别方法 207
8.4 词性标注 209
8.4.1 概述 209
8.4.2 词类标记集的确定 211
8.4.3 基于规则的词性标注方法 215
8.4.4 基于统计模型的词性标注方法 217
8.4.5 基于规则与统计相结合的词性标注方法 219
8.5 词义标注 221
8.5.1 概述 221
8.5.2 基于互信息的词义消歧方法 221
8.5.3 基于贝叶斯判别的词义消歧方法 223
8.5.4 基于词典的词义消歧方法 224
第9章 现代藏语短语结构及其形式化描述 225
9.1 概述 225
9.1.1 藏语短语的句法知识理论 225
9.1.2 藏语短语的句法功能分类 226
9.1.3 藏语短语规则的形式表达 229
9.2 名词性短语结构及其形式化描述 231
9.2.1 概述 231 9.2.2 定中结构的NP 232
9.2.3 联合结构的NP 240
9.3 动词性短语结构及其形式化描述 241
9.3.1 概述 241
9.3.2 主谓结构的VP 242
9.3.3 述宾结构的VP 244
9.3.4 述补结构的VP 246
9.3.5 动词联合的VP 250
9.3.6 状中结构的VP 251
9.4 形容词性短语结构及其形式化描述 252
9.4.1 概述 252
9.4.2 联合结构的AP 252
9.4.3 状中结构的AP 255
第10章 藏语句法分析 258
10.1 藏语句型概述 258
10.1.1 NP+PP+VP句型 258
10.1.2 NP+VP句型 259
10.2 短语结构语法 260
10.2.1 形式语法 260
10.2.2 CFG句法分析 264
10.3 藏语CFG 句法分析 265
10.3.1 LR分析算法 265
10.3.2 句法树 273
10.4 依存语法 275
10.4.1 概述 275
10.4.2 依存句法分析方法 277
10.5 藏语依存句法分析 281
10.5.1 概述 281
10.5.2 藏语依存关系体系 282
10.5.3 确定性藏语依存句法分析 286
第11章 统计机器翻译原理 288
11.1 机器翻译概述 288
11.1.1 机器翻译技术的发展 288
11.1.2 机器翻译方法 289
11.2 统计机器翻译 291
11.3 基于噪声信道模型的统计机器翻译基本原理 291
11.4 统计语言模型 293
11.5 统计翻译模型 296
11.5.1 共现 296
11.5.2 对齐 297
11.5.3 IBM模型1 300
11.5.4 学习词汇翻译模型 301
11.5.5 其他更高级的IBM模型 304
参考文献 305