与AI对话：ChatGPT提示工程揭秘

第1部分 基础知识

1 ChatGPT：开启人工智能的新时代 2

1.1 ChatGPT是什么 2

1.2 ChatGPT的历史 4

1.2.1 GPT-1：预训练加微调 4

1.2.2 GPT-2：更大更强 5

1.2.3 GPT-3：能力涌现 7

1.2.4 ChatGPT：与AI对话 10

1.2.5 GPT-4：多模态 12

1.3 ChatGPT的应用场景 14

1.4 ChatGPT的局限性 17

2 从网页到API：手把手教你使用ChatGPT 20

2.1 使用官方网站与ChatGPT进行交互 20

2.2 用API的方式访问ChatGPT 27

2.3 使用ChatGPT的其他方式 30

3 演进之路：从语言模型到提示工程 37

3.1 什么是语言模型 38

3.2 语言模型的发展历程 40

3.2.1 20世纪50年代之前：雏形初现 40

3.2.2 20世纪的后五十年：由兴到衰 41

3.2.3 21世纪：新时代 42

3.3 Transformer模型的结构和原理 47

3.3.1 注意力机制 47

3.3.2 自注意力机制 48

3.3.3 位置信息 49

3.3.4 缩放点乘注意力 49

3.3.5 多头自注意力 50

3.3.6 多层自注意力 51

3.3.7 交叉注意力 51

3.3.8 完整的Transformer模型 52

3.4 语言模型的训练 53

3.4.1 自回归训练 54

3.4.2 基于人工反馈的强化学习 57

3.5 提示工程 61

3.5.1 提示工程是什么 61

3.5.2 设计良好提示的常见技巧 63

3.5.3 提示工程的重要性 70

第2部分 提示工程

4 人人都能用AI：构建提示指令，化解各类难题 74

4.1 难题已攻克：AI助你跨越语言的障碍 74

4.2 不只是纠错：AI让语言表达更精准 80

4.3 文学创作新思路：人机协作让作品更具灵感 85

4.4 新闻报道加速器：从收集素材到成稿只需几秒 97

4.5 一问即答：AI让信息获取更简单 103

4.6 专家意见何处寻：AI扮演领域专家角色为你答疑解惑 108

4.7 决策神器：如何让AI给出明确回答，助你做决定 118

4.8 逻辑驱动的能力提升：数学和编程是一回事儿 122

5 从新手到专家：普通人如何成为提示工程师 131

5.1 词法和句法分析 132

5.1.1 中文分词 133

5.1.2 命名实体 135

5.1.3 词性标注 137

5.1.4 依存句法分析 139

5.1.5 总结 144

5.2 信息抽取 145

5.2.1 关键词提取 145

5.2.2 实体关系抽取 150

5.2.3 结构化事件抽取 153

5.2.4 总结 156

5.3 分类与聚类 157

5.3.1 文本分类 157

5.3.2 情感分析 160

5.3.3 文本聚类 164

5.3.4 总结 172

5.4 理解和问答 172

5.4.1 常识知识问答 172

5.4.2 阅读理解问答 176

5.4.3 问题理解和意图识别 181

5.4.4 总结 188

5.5 受控文本生成 189

5.5.1 文本摘要 189

5.5.2 文本复述 194

5.5.3 数据到文本的生成 199

5.5.4 总结 206

5.6 谣言和不实信息检测 206

第3部分 延伸讨论

6 狂欢将至：国产“ChatGPT”接踵而来 216

6.1 元语智能：ChatYuan 216

6.2 复旦大学：MOSS 218

6.3 百度：文心一言 219

6.4 清华大学：ChatGLM 221

6.5 其他 223

7 道阻且长：“ChatGPT”们的缺陷与局限 224

7.1 幻觉：一柄双刃剑 224

7.2 毒性：一个社会问题 231

7.3 记忆：短期的更困难 231

7.4 多模态：到底有什么用 234

参考文献 242