极限学习机：修订间差异
删除的内容 添加的内容
| 第1行： | 第1行： | ||
{{about|机器学习中的一种'''人工神经网络模型'''|教育类电子产品学习机|小霸王 (公司)}} |
{{about|机器学习中的一种'''人工神经网络模型'''|教育类电子产品学习机|小霸王 (公司)}} |
||
{{机器学习导航栏}} |
{{机器学习导航栏}} |
||
'''极限学习机'''（[[英文]]：Extreme Learning Machines，縮寫ELM），又名'''超限学习机'''，為[[人工智能]][[機器學習]]領域中的一種[[人工神經網絡]]模型，是一种求解单隐层[[前馈神经网络]]的学习[[算法]]。 |
'''极限学习机'''（[[英文]]：Extreme Learning Machines，縮寫ELM），又名'''超限学习机'''，為[[人工智能]][[機器學習]]領域中的一種[[人工神經網絡]]模型，是一种求解单隐层[[前馈神经网络]]的学习[[算法]]。极限学习机是用于分类、回归、聚类、稀疏逼近、压缩和特征学习的前馈神经网络，具有单层或多层隐层节点，其中隐层节点的参数（不仅仅是将输入连接到隐藏节点的权重）不需要被调整。这些隐层节点可以随机分配并且不必再更新（即它们是随机投影但具有非线性变换），或者可以从其祖先继承下来而不被更改。在大多数情况下，隐层节点的输出权重通常是一步学习的，这本质上相当于学习一个线性模型。“超限学习机”（ELM）的名称是由其主要发明者黄广斌教授及其他学者共同商议后赋予此类模型的。 |
||
据其发明者称，这些模型能够产生良好的泛化性能，并且比使用反向传播训练的网络快数千倍<ref>{{cite journal |author1=Huang, Guang-Bin |author2=Zhu, Qin-Yu |author3=Siew, Chee-Kheong |title=Extreme learning machine: theory and applications |journal=Neurocomputing |date=2006 |volume=70 |issue=1 |pages=489–501 |doi=10.1016/j.neucom.2005.12.126}}</ref>。研究表明这些模型在分类和回归应用中一般都可以胜过Support Vector Machines (SVM, 支持向量机)。<ref>{{cite journal |author1=Huang, Guang-Bin |author2=Zhou, Hongming |author3=Ding, Xiaojian |author4=Zhang, Rui |title=Extreme Learning Machine for Regression and Multiclass Classification |journal=IEEE Transactions on Systems, Man, and Cybernetics - Part B: Cybernetics |date=2012 |volume=42 |issue=2 |pages=513–529 |doi=10.1109/tsmcb.2011.2168604 |pmid=21984515}}</ref> <ref>{{cite journal |author1=Huang, Guang-Bin |title=What are Extreme Learning Machines? Filling the Gap Between Frank Rosenblatt's Dream and John von Neumann's Puzzle |journal=Cognitive Computation |date=2015 |volume=7 |issue=3 |pages=263–278 |doi=10.1007/s12559-015-9333-0}}</ref> <ref>{{cite journal |author1=Huang, Guang-Bin |title=An Insight into Extreme Learning Machines: Random Neurons, Random Features and Kernels |journal=Cognitive Computation |date=2014 |volume=6 |issue=3 |pages=376–390 |doi=10.1007/s12559-014-9255-2}}</ref> |
|||
==特點== |
==特點== |
||
2021年11月19日 (五) 08:52的版本
| 机器学习与数据挖掘 |
|---|
 |
极限学习机（英文：Extreme Learning Machines，縮寫ELM），又名超限学习机，為人工智能機器學習領域中的一種人工神經網絡模型，是一种求解单隐层前馈神经网络的学习算法。极限学习机是用于分类、回归、聚类、稀疏逼近、压缩和特征学习的前馈神经网络，具有单层或多层隐层节点，其中隐层节点的参数（不仅仅是将输入连接到隐藏节点的权重）不需要被调整。这些隐层节点可以随机分配并且不必再更新（即它们是随机投影但具有非线性变换），或者可以从其祖先继承下来而不被更改。在大多数情况下，隐层节点的输出权重通常是一步学习的，这本质上相当于学习一个线性模型。“超限学习机”（ELM）的名称是由其主要发明者黄广斌教授及其他学者共同商议后赋予此类模型的。
据其发明者称，这些模型能够产生良好的泛化性能，并且比使用反向传播训练的网络快数千倍[1]。研究表明这些模型在分类和回归应用中一般都可以胜过Support Vector Machines (SVM, 支持向量机)。[2] [3] [4]
特點
传统的前馈神经网络（如BP神经网络）需要人为设置大量的网络训练参数，此算法卻只需要设定网络的结构，而不需设置其他参数，因此具有简单易用的特点。其输入层到隐藏层的权值是一次随机确定的，算法执行过程中不需要再调整，而隐藏层到输出层的权值只需解一个线性方程组来确定，因此可以提升计算速度。
開發
极限学习机的名稱來自新加坡南洋理工大學黃廣斌教授所建立的模型[5]。黃教授指出，此算法的泛化性能良好，且其學習速度比運用反向传播算法訓練的速度要快上1000倍[5]。
算法
极限学习机中最简单的原理如下：
其中W1是输入向量到隐藏节点层的权重矩阵，σ是激活函数，W2是隐藏节点层到输出向量的权重矩阵。算法按下列步骤进行：
參見
參考資料
- ^ Huang, Guang-Bin; Zhu, Qin-Yu; Siew, Chee-Kheong. Extreme learning machine: theory and applications. Neurocomputing. 2006, 70 (1): 489–501. doi:10.1016/j.neucom.2005.12.126.
- ^ Huang, Guang-Bin; Zhou, Hongming; Ding, Xiaojian; Zhang, Rui. Extreme Learning Machine for Regression and Multiclass Classification. IEEE Transactions on Systems, Man, and Cybernetics - Part B: Cybernetics. 2012, 42 (2): 513–529. PMID 21984515. doi:10.1109/tsmcb.2011.2168604.
- ^ Huang, Guang-Bin. What are Extreme Learning Machines? Filling the Gap Between Frank Rosenblatt's Dream and John von Neumann's Puzzle. Cognitive Computation. 2015, 7 (3): 263–278. doi:10.1007/s12559-015-9333-0.
- ^ Huang, Guang-Bin. An Insight into Extreme Learning Machines: Random Neurons, Random Features and Kernels. Cognitive Computation. 2014, 6 (3): 376–390. doi:10.1007/s12559-014-9255-2.
- ^ 5.0 5.1 5.2 Huang, Guang-Bin; Zhu, Qin-Yu; Siew, Chee-Kheong. Extreme learning machine: theory and applications. Neurocomputing. 2006, 70 (1): 489–501. doi:10.1016/j.neucom.2005.12.126.