极限学习机

维基百科,自由的百科全书
跳到导航 跳到搜索

极限学习机英文:Extreme Learning Machines,縮寫ELM),又名超限学习机,為人工智能機器學習領域中的一種人工神經網絡模型,是一种求解单隐层前馈神经网络的学习算法

特點[编辑]

传统的前馈神经网络(如BP神经网络)需要人为设置大量的网络训练参数,此算法卻只需要设定网络的结构,而不需设置其他参数,因此具有简单易用的特点。其输入层到隐藏层的权值是一次随机确定的,算法执行过程中不需要再调整,而隐藏层到输出层的权值只需解一个线性方程组来确定,因此可以提升计算速度。

開發[编辑]

极限学习机的名稱來自新加坡南洋理工大學黃廣斌教授所建立的模型[1]。黃教授指出,此算法的泛化性能良好,且其學習速度比運用反向传播算法訓練的速度要快上1000倍[1]

算法[编辑]

极限学习机中最简单的原理如下:

其中W1是输入向量到隐藏节点层的权重矩阵,σ激活函数W2是隐藏节点层到输出向量的权重矩阵。算法按下列步骤进行:

  1. 用随机产生的高斯噪声给矩阵W1的每个元素赋值;
  2. 最小二乘法估计使期望输出Y与实际输出误差最小的输出权重矩阵W2,数学上能够证明计算隐藏节点层输出矩阵的广义逆 + 即可[1]

參見[编辑]

參考資料[编辑]

  1. ^ 1.0 1.1 1.2 Huang, Guang-Bin; Zhu, Qin-Yu; Siew, Chee-Kheong. Extreme learning machine: theory and applications. Neurocomputing. 2006, 70 (1): 489–501. doi:10.1016/j.neucom.2005.12.126. 

外部链接[编辑]