注册 | 登录读书好,好读书,读好书!
读书网-DuShu.com
当前位置: 首页出版图书科学技术计算机/网络人工智能预训练语言模型

预训练语言模型

预训练语言模型

定 价:¥109.00

作 者: 邵浩 著
出版社: 电子工业出版社
丛编项:
标 签: 暂缺

购买这本书可以去


ISBN: 9787121409998 出版时间: 2021-05-01 包装: 平装
开本: 16开 页数: 216 字数:  

内容简介

  预训练语言模型属于人工智能领域中自然语言处理领域的一个细分。 本书主要介绍预训练语言模型。预训练语言模型是自然语言处理领域的重要突破,得到了越来越广泛的关注,相关研究者和从业人员在实际应用的过程中,亟需一本理论翔实、代码细节充分的参考书。本书详细梳理了预训练语言模型的基本概念和理论基础,并通过实际代码的讲解, 阐述了具有代表性的预训练语言模型的实现细节,非常适合需要快速、全面掌握预训练语言模型的从业者阅读。

作者简介

  邵 浩日本国立九州大学工学博士,现就职于vivo。曾任狗尾草智能科技AI研究院院长,带领团队打造了AI虚拟生命产品的交互引擎。曾是上海对外经贸大学副教授,硕士生导师。是上海市静安区首届优秀人才,上海市人才发展基金获得者,杭州市高层次人才。任中国中文信息学会青年工作委员会委员,语言与知识计算专委会委员,中国计算机学会语音对话与听觉专业组委员,中文信息技术专委会委员。发表论文50余篇,获专利10余项,主持多项***及省部级课题,曾在联合国、世界贸易组织、亚利桑那州立大学、香港城市大学等机构任访问学者。刘一烽全国中学生物理竞赛保送生,清华大学电子系硕士,曾获学习成绩优异奖学金。现任vivo人工智能研究院AI算法工程师,主要研究方向为强化学习、自然语言处理,主导游戏AI和机器翻译核心算法研发工作。

图书目录

第 1 章 预训练语言模型简介 1
1.1自然语言处理研究进展 1
1.2预训练语言模型:为什么要预训练 4
1.2.1预训练 4
1.2.2自然语言表示 5
1.2.3预训练语言模型发展史及分类 8
第 2 章 预训练语言模型基础知识 13
2.1统计语言模型 14
2.2神经网络语言模型 17
2.3词向量:解决相似单词的距离问题 19
2.4RNN 和 LSTM 基础 25
2.5基于 RNN 的语言模型 29
2.6ELMo:解决多义词的表示问题 32
第 3 章 Transformer 与 Attention 37
3.1Transformer 的结构 37
3.2Self-Attention:从全局中找到重点 43
3.3位置编码:为什么有效 54
3.4单向掩码:另一种掩码机制 58
3.5代码解读:模型训练技巧 61
3.5.1训练技巧 1:归一化层前置 62
3.5.2训练技巧 2:梯度累积 64
第 4 章 GPT 系列模型 69
4.1GPT 的结构:基于 Transformer Decoder 69
4.2GPT 任务改写:如何在不同任务中使用 GPT 71
4.3GPT 核心代码解读 74
4.4GPT-2:Zero-shot Learning 的潜力 79
4.4.1N-shot Learning 79
4.4.2核心思想 80
4.4.3模型结构 81
4.5GPT-3:Few-shot Learning 的优秀表现 82
4.5.1看词造句 84
4.5.2语法纠错 84
4.5.3GPT-3 的争议 85
第 5 章 BERT 模型 87
5.1BERT:公认的里程碑 87
5.2BERT 的结构:强大的特征提取能力 88
5.3无监督训练:掩码语言模型和下句预测 91
5.3.1MLM 91
5.3.2NSP 93
5.3.3输入表示 94
5.4微调训练:适应下游任务 95
5.4.1句对分类 95
5.4.2单句分类 96
5.4.3文本问答 97
5.4.4单句标注 99
5.5核心代码解读:预训练和微调 100
5.5.1BERT 预训练模型 101
5.5.2BERT 微调模型 110
5.6BERT 总结 117
第 6 章 后 BERT 时代的模型 119
6.1XLM:跨语言模型 119
6.1.1优化方向 119
6.1.2算法细节 120
6.1.3 小结 121
6.2MT-DNN:多任务融合 121
6.2.1优化方向 121
6.2.2算法细节 122
6.2.3 小结 124
6.3UniLM:获得文本生成能力 124
6.3.1优化方向 124
6.3.2算法细节 125
6.3.3 小结 127
6.4SpanBERT:扩大掩码范围 127
6.4.1优化方向 127
6.4.2算法细节 128
6.4.3 小结 129
6.5XLNet:置换自回归 130
6.5.1优化方向 130
6.5.2算法细节 130
6.5.3 小结 135
6.6ERNIE:知识图谱 136
6.6.1优化方向 136
6.6.2算法细节 136
6.6.3 小结 139
6.7VideoBERT:多模态融合 139
6.7.1优化方向 139
6.7.2算法细节 140
6.7.3 小结 141
6.8ALBERT:参数共享 142
6.8.1优化方向 142
6.8.2算法细节 143
6.8.3 小结 145
6.9RoBERTa:更大的模型 145
6.9.1优化方向 145
6.9.2算法细节 146
6.9.3 小结 146
6.10BART:编解码结构 146
6.10.1优化方向 146
6.10.2算法细节 147
6.10.3 小结 149
6.11T5:大一统模型 149
6.11.1优化方向 149
6.11.2算法细节 150
6.11.3 小结 153
6.12 总结 154
第 7 章 评测和应用 157
7.1评测任务 157
7.1.1通用评测任务 157
7.1.2领域评测任务 162
7.1.3其他评测任务 167
7.2模型应用:Transformers 代码实战 168
7.2.1 安装 168
7.2.2快速上手指南 170
7.2.3微调训练 172
7.2.4BERT 应用 175
7.3模型压缩:量化、剪枝和蒸馏 179
7.3.1BERT 模型分析 179
7.3.2 量化 181
7.3.3 剪枝 181
7.3.4 蒸馏 182
7.3.5 结构无损压缩 187
7.4模型扩展:多模态预训练 188
7.4.1单流模型 189
7.4.2双流模型 191
第 8 章 总结和展望 195
8.1预训练语言模型的发展现状 195
8.2预训练语言模型的未来展望 199
参考文献 203

本目录推荐