随机逼近及自适应算法

第一章预备知识
1.1概率论的若干基本概念
1.1.1随机变量及其分布
1.1.2随机变量列的收敛性
1.1.3随机变量的期望和条件期望
1.1.4条件期望的基本性质
1.2离散参数鞅
1.2.1停时
1.2.2鞅
1.2.3离散鞅的基本不等式
1.2.4离散鞅的收敛定理
1.2.5Coob停时定理
1.3马尔可夫链
1.3.1马尔可夫链的定义及其转移概率
1.3.2状态的分类
1.3.3状态空间的分类
1.3.4P的渐近性质与平稳分布
1.3.5离散时间连续状态的马尔可夫链
第二章随机逼近算法的分析方法
2.1随机逼近算法
2.2鞅方法
2.3常微分方程方法
2.4Lyapunov函数方法
第三章具有局部有界矩随机逼近算法的几乎必然收敛性
3.1一般算法的引进
3.1.1算法模型
3.1.2例子
3.1.3关于H,ρn和II的一般假设
3.1.4例子(续3.1.2)
3.2一般算法的分解
3.3L2估计
3.4通过常微分方程的解作算法的逼近
3.5算法的渐近分析
3.6收敛定理的另一种叙述
3.7一个全局收敛性定理
3.8一些算法的L2收敛速度
3.8.1Robbins-Monro算法
3.8.2一般算法的局部L2上界
第四章应用
4.1马尔可夫链的几何遍历性
4.1.1预备引理
4.1.2不变概率与Poisson方程的解
4.1.3由Li(p)到Li(p)的连续转移函数P的情形
4.2依赖于参数θ的马尔可夫链
4.2.1υθ关于θ的Holder正则性
4.2.2定理4.2.1的意义
4.2.3定理4.2.1的证明
4.2.4υθ关于θ为Lipschitz的情形
4.2.5定理4.2.2的证明
4.2.6转移概率Pθ不依赖于θ情形
4.3线性动力系统
4.3.1假设和记号
4.3.2预备结果
4.3.3Pθ的性质
4.3.4验证假设(A.4)
4.4例子
4.4.1接收信号的马尔可夫表示
4.4.2横向均衡器,学习阶段
4.4.3最小二乘算法
第五章遗传算法
5.1基本概念
5.2遗传算子及其性质
5.3遗传机制的过程分析
5.4遗传算法的马氏链模型
第六章抽象遗传算法及其收敛性的一般理论
6.1演化算子及其特征数
6.1.1选择算子
6.1.2变异算子
6.1.3杂交算子
6.2遗传算法收敛性的一般理论
6.2.1
6.2.2
6.3两类特殊类型遗传算法的收敛性
第七章模拟退火算法
7.1模拟退火算法的数学模型
7.1.1算法介绍
7.1.2算法的数学模型
7.2齐次算法的渐近收敛性
7.2.1平稳分布的存在性
7.2.2平稳分布的收敛性
7.3非齐次算法的渐近收敛性
第八章主成分分析神经网络算法
8.1主成分分析
8.2主成分分析神经网络算法
8.2.1Hebbian规则
8.2.2对于单个主成分的Oja规则
8.2.3广义的Hebbian算法(GHA)
8.2.4多分量的子空间规则
参考文献