马尔可夫链基本概念、分类、性质及应用领域解析

# 马尔可夫链
- 基本概念
  - 定义
    - 状态空间
      - 有限状态空间
      - 无限状态空间
    - 转移概率
      - 转移概率矩阵
      - 条件概率
    - 无记忆性（Markov Property）
      - 当前状态与未来状态
      - 与过去状态的独立性
  - 数学表示
    - 状态序列: X₀, X₁, ..., Xₙ
    - 转移矩阵: P = [pᵢⱼ]
      - 转移概率计算
      - 稀疏矩阵的处理
- 分类
  - 按状态空间
    - 离散时间马尔可夫链
      - 定义与特点
      - 性质与实例
    - 连续时间马尔可夫链
      - 定义与特点
      - 性质与实例
  - 按转移概率
    - 时齐马尔可夫链
      - 定义与例子
      - 应用场景
    - 非时齐马尔可夫链
      - 定义与例子
      - 应用场景
- 重要性质
  - 可达性
    - 相通状态
      - 定义与性质
      - 实例分析
    - 闭集
      - 定义
      - 特性
  - 周期性
    - 周期状态
      - 定义
      - 例子
    - 非周期状态
      - 定义
      - 例子
  - 常返性
    - 常返状态
      - 定义
      - 例子
    - 非常返状态
      - 定义
      - 例子
- 稳态分析
  - 平稳分布
    - 定义方程: π = πP
    - 存在条件
      - 特征值分析
      - 消失率条件
  - 极限定理
    - 收敛条件
    - 遍历定理
      - 平稳性分析
      - 历史依赖性
- 应用领域
  - 自然语言处理
    - 语言模型
      - n-gram模型
      - 贝叶斯语言模型
    - 文本生成
      - Markov链文本生成
      - 应用实例
  - 金融工程
    - 信用评级迁移
      - 模型设定
      - 数据分析
    - 期权定价
      - Black-Scholes模型
      - 期权定价理论
  - 生物信息学
    - DNA序列分析
      - 序列比对
      - 碱基频率计算
    - 蛋白质折叠
      - 折叠预测模型
      - 结构分类
- 扩展模型
  - 隐马尔可夫模型
    - 观测序列
      - 模型建构
      - 观测隐状态
    - 维特比算法
      - 算法流程
      - 实际应用
  - 马尔可夫决策过程
    - 动作空间
      - 定义与性质
      - 状态转移
    - 奖励函数
      - 奖励的定义
      - 应用案例
- 计算方法
  - 矩阵计算
    - 特征值分解
      - 计算步骤
      - 应用
    - 幂迭代法
      - 方法论
      - 收敛性
  - 蒙特卡洛模拟
    - MCMC方法
      - 基本概念
      - 应用示例
    - Gibbs采样
      - 原理
      - 应用案例