MindSpore深度学习高阶技术

第1章数据处理00
1.1转换数据集为MindRecord00
1.1.1背景与现状00
1.1.2MindRecord技术原理00
1.1.3使用示例00
1.2自动数据增强00
1.2.1背景与现状00
1.2.2自动数据增强技术原理00
1.2.3使用示例0
1.3轻量化数据处理0
1.3.1背景与现状0
1.3.2Eager模式原理0
1.3.3使用示例0
1.4单节点缓存加速0
1.4.1背景与现状0
1.4.2单节点缓存原理0
1.4.3单节点预处理数据缓存功能的使用0
1.4.4性能优势展示0
1.5优化数据处理0
1.5.1背景与现状0
1.5.2数据处理优化途径0
1.6本章小结0
第2章网络构建0
2.1自定义算子0
2.1.1算子原语0
2.1.2算子实现和算子信息注册0
2.1.3使用自定义算子0
2.1.4定义算子反向传播函数0
2.1.5小结0
2.2深度概率学习0
2.2.1框架模块0
2.2.2深度概率推断算法与概率模型0
2.2.3贝叶斯神经网络0
2.2.4贝叶斯应用工具箱0
2.2.5小结0
2.3高阶自动微分0
2.3.1微分求解方法概述0
2.3.2技术原理0
2.3.3相关案例0
2.4本章小结0

第3章训练与推理性能优化0
3.1千亿参数模型自动并行0
3.1.1分布式训练基础0
3.1.2关键问题0
3.1.3整体流程0
3.1.4流水线并行0
3.1.5并行子图切分0
3.1.6算子级并行0
3.1.7优化器切分0
3.1.8异构图切分0
3.1.9重计算0
3.1.10GPT3超大规模分布式并行方案0
3.1.11小结0
3.2二阶优化0
3.2.1优化器背景介绍0
3.2.2THOR简介0
3.2.3THOR的实践应用0
3.2.4小结0
3.3模型量化0
3.3.1量化算法原理0
3.3.2感知量化训练0
3.3.3训练后量化
3.3.4小结

3.4类型推导
3.4.1静态分析技术背景
3.4.2静态分析设计
3.4.3静态分析模块设计
3.4.4小结
3.5图算融合
3.5.1技术原理
3.5.2MindSpore上的图算融合
3.5.3小结
3.6推理图优化
3.6.1算子融合
3.6.2算子替换
3.6.3常量折叠
3.6.4算子重排
3.6.5小结
3.7kernel优化
3.7.1硬件优化
3.7.2算法优化
3.7.3小结
3.8本章小结
第4章模型安全与隐私
4.1对抗攻防
4.1.1背景
4.1.2MindArmour的攻防能力
4.1.3使用示例
4.2差分隐私训练
4.2.1差分隐私
4.2.2使用示例
4.3AI Fuzzer测试模型安全性
4.3.1AI Fuzzer原理
4.3.2使用示例
4.4隐私泄露风险评估
4.4.1原理
4.4.2使用示例
4.5本章小结
第5章模型可靠性
5.1模型鲁棒性度量及提升
5.1.1技术现状
5.1.2推荐方案
5.1.3应用结果
5.1.4技术发展
5.1.5小结
5.2概念漂移检测
5.2.1问题背景
5.2.2业界现状
5.2.3常用检测算法
5.2.4小结
5.3基于故障注入的测试
5.3.1故障模式库
5.3.2故障注入测试
5.3.3小结
5.4本章小结
第6章可解释AI
6.1扰动类可解释AI算法的问题与改进
6.1.1扰动类可解释方法简介
6.1.2扰动类可解释方法的问题分析
6.1.3改进方法通用框架
6.1.4RISE+
6.1.5使用示例
6.1.6扩展分析
6.2基于层级遮掩的反事实解释
6.2.1技术原理
6.2.2使用示例
6.2.3小结
6.3基于塔桥网络模型的推荐解释
6.3.1发展现状
6.3.2技术原理
6.3.3推荐解释应用示例
6.3.4训练TBNet网络
6.3.5小结
6.4本章小结
第7章AI中的公平性问题
7.1多样的公平性定义
7.1.1群体公平
7.1.2个体公平
7.1.3过程公平
7.2偏见消减
7.2.1数据预处理
7.2.2模型构建与训练
7.2.3后矫正
7.3AI公平性的应用场景
7.3.1内容生成与分类任务
7.3.2资源分配与决策任务
7.4本章小结
第8章数据驱动AI建模
8.1医药生物计算案例
8.1.1背景介绍
8.1.2发展现状
8.1.3相关案例
8.1.4小结
8.2天气预报案例
8.2.1背景介绍
8.2.2发展现状
8.2.3相关案例
8.2.4小结
8.3金属材料模拟
8.3.1背景介绍
8.3.2发展现状
8.3.3相关案例
8.3.4小结
8.4AI求解薛定谔方程
8.4.1背景介绍
8.4.2发展现状
8.4.3相关案例
8.4.4小结
8.5本章小结
第9章AI求解科学计算方程
9.1业界经典微分方程学术进展
9.1.1背景介绍
9.1.2物理信息神经网络
9.1.3傅里叶神经算子
9.1.4小结
9.2SimNet
9.2.1背景介绍
9.2.2框架介绍
9.2.3相关案例
9.3SciML
9.3.1框架介绍
9.3.2典型案例
9.3.3小结
9.4本章小结
第10章AI加速科学方法
10.1海洋模式背景介绍
10.2基于OpenArray的区域海洋模式GOMO
10.2.1OpenArray算子库
10.2.2区域海洋模式GOMO
10.3MindSpore加速GOMO求解
10.3.1算子抽象
10.3.2图算融合
10.3.3Halo区并行
10.4本章小结
参考文献