Web中文舆情信息挖掘

目录
第1章 Web中文舆情信息挖掘导论 1
1.1 网络舆情信息挖掘概述 2
1.2 网络舆情研究现状 3
1.2.1 网络舆情的概念、特点与成因 3
1.2.2 网络舆情的传播与导控 4
1.2.3 高校网络舆情研究 4
1.3 数据挖掘简介 5
1.3.1 数据挖掘过程 6
1.3.2 数据挖掘功能 7
1.3.3 数据挖掘应用 8
1.3.4 数据挖掘发展 9
1.4 Web挖掘 10
1.4.1 Web挖掘的分类 11
1.4.2 Web挖掘应用前景 12
1.5 Web文本挖掘 12
1.5.1 Web文本挖掘技术 13
1.5.2 Web文本挖掘过程 14
1.5.3 文本表示和特征抽取 15
1.5.4 Web文档相似性度量 16
1.5.5 Web文本分类 16
1.5.6 Web文本聚类 17
1.5.7 Web文本关联规则挖掘 18
1.6 网络舆情信息采集 18
1.6.1 网络信息搜索发展简况 18
1.6.2 网络信息采集对象 19
1.6.3 信息采集算法 19
1.6.4 网络爬虫 20
1.6.5 信息采集工具 22
1.7 文本分词 23
第2章 网络舆情信息提取 26
2.1 检索词选择 26
2.2 主题词遴选 27
2.3 网站链接过滤 29
2.3.1 网站链接分类 29
2.3.2 链接提取 30
2.4 基于模板的网页正文抽取 30
2.4.1 网页抽取预处理 31
2.4.2 模板学习 31
2.4.3 正文提取 32
2.5 正文过滤 33
2.5.1 基于词频统计的正文过滤 33
2.5.2 主题知识自增长过滤 33
第3章 中文分词 37
3.1 汉语分词基本问题 37
3.1.1 分词规范问题 37
3.1.2 歧义切分问题 38
3.1.3 未登录词问题 39
3.2 汉语分词方法 42
3.2.1 N*短路径方法 43
3.2.2 基于词的n元语法模型的分词方法 45
3.2.3 由字构词的汉语分词方法 48
3.2.4 基于词感知机算法的汉语分词方法 49
3.2.5 基于字的生成式模型和区分式模型相结合的汉语分词方法 52
3.2.6 其他分词方法 54
3.2.7 分词方法比较 54
3.3 命名实体识别 57
3.3.1 方法概述 57
3.3.2 基于CRF的命名实体识别方法 59
3.3.3 基于多特征的命名实体识别方法 61
3.4 词性标注 68
3.4.1 方法概述 68
3.4.2 基于统计模型的词性标注方法 69
3.4.3 基于规则的词性标注方法 73
3.4.4 统计方法与规则方法相结合的词性标注方法 74
3.4.5 词性标注中的生词处理方法 76
3.5 词性标注的一致性检查与自动校对 77
3.5.1 词性标注一致性检查方法 77
3.5.2 词性标注自动校对方法 79
3.6 关于技术测评 81
第4章 文本语义分析 83
4.1 词义消歧概述 83
4.2 有监督的词义消歧方法 84
4.2.1 基于互信息的消歧方法 84
4.2.2 基于贝叶斯分类器的消歧方法 85
4.2.3 基于*大熵的词义消歧方法 87
4.3 基于词典的词义消歧方法 87
4.3.1 基于词典语义定义的消歧方法 88
4.3.2 基于义类词典的消歧方法 88
4.3.3 基于双语词典的消歧方法 89
4.3.4 Yarowsky算法及其相关研究 89
4.4 无监督的词义消歧方法 91
4.5 词义消歧系统评价 92
4.6 语义角色标注概述 93
4.7 语义角色标注基本方法 94
4.7.1 自动语义角色标注的基本流程 94
4.7.2 基于短语结构树的语义角色标注方法 95
4.7.3 基于依存关系树的语义角色标注方法 97
4.7.4 基于语块的语义角色标注方法 99
4.7.5 语义角色标注的融合方法 100
4.8 语义角色标注的领域适应性问题 102
4.9 双语联合语义角色标注方法 105
4.9.1 基本思路 105
4.9.2 系统实现 106
4.9.3 实验 109
第5章 文本特征向量表示 114
5.1 基于特征降维的文本特征表示 114
5.2 相关特征加权算法 115
5.3 基于类别信息的特征加权算法 118
第6章 聚类挖掘 122
6.1 聚类挖掘概述 122
6.1.1 主要聚类算法 123
6.1.2 聚类分析研究方向 125
6.1.3 常用聚类策略 126
6.1.4 聚类的一般步骤 127
6.2 基本概念 127
6.2.1 类的定义 127
6.2.2 样本间距离、类间距离和相关系数 128
6.2.3 聚类分析中的数据类型 129
6.3 基于划分的聚类挖掘 130
6.3.1 k-means算法 130
6.3.2 模糊C均值算法 132
6.4 基于层次的聚类挖掘 132
6.4.1 BIRCH算法 133
6.4.2 CURE聚类算法 134
6.5 基于密度的聚类挖掘 135
6.6 基于网格的聚类挖掘 136
6.7 基于模型的聚类挖掘 137
6.8 高维海量数据的聚类挖掘 138
6.8.1 高维海量数据特点 138
6.8.2 高维海量数据聚类算法 139
6.9 基于蚁群算法的聚类挖掘 145
6.9.1 蚁群算法特征 147
6.9.2 蚁群算法的研究热点 148
6.9.3 基于蚁穴清理行为的聚类算法 150
6.9.4 基于蚁群觅食行为的聚类算法 152
6.9.5 粒子群优化算法 153
6.9.6 蚁群算法分析 154
6.10 文本特征词加权 155
6.11 主成分分析 155
6.12 分析文本聚类 156
6.12.1 粒子群密度聚类 156
6.12.2 基于模糊矩阵的蚁群聚类 157
6.13 本章小结 160
第7章 文本舆情倾向性分析及发现 162
7.1 文本倾向性分析 162
7.1.1 词语语义倾向性判别 162
7.1.2 词语的上下文倾向性判别 163
7.1.3 段落文本倾向性分析 164
7.2 舆情关键点发现 165
参考文献 168
附录 179