查看“︁极限学习机”︁的源代码

{{about|机器学习中的一种'''人工神经网络模型'''|教育类电子产品学习机|小霸王 (公司)}}
{{机器学习导航栏}}
'''极限学习机'''（[[英文]]：Extreme Learning Machines，縮寫ELM），又名'''超限学习机'''，為[[人工智能]][[機器學習]]領域中的一種[[人工神經網路]]模型，是一种求解单隐层[[前馈神经网路]]的学习[[演算法]]。极限学习机是用于分类、回归、聚类、稀疏逼近、压缩和特征学习的前馈神经网络，具有单层或多层隐层节点，其中隐层节点的参数（不仅仅是将输入连接到隐层节点的权重）不需要被调整。这些隐层节点可以随机分配并且不必再更新（即它们是随机投影但具有非线性变换），或者可以从其祖先继承下来而不被更改。在大多数情况下，隐层节点的输出权重通常是一步学习的，这本质上相当于学习一个线性模型。“超限学习机”（ELM）的名称是由其主要发明者黄广斌教授及其他学者共同商议后赋予此类模型的。

据其发明者称，这些模型能够产生良好的泛化性能，并且比使用反向传播训练的网络快数千倍<ref name="ExtremeLearningMachine" />。研究表明这些模型在分类和回归应用中一般都可以胜过Support Vector Machines (SVM, 支持向量机)。<ref name="elmsvm">{{cite journal |author1=Huang, Guang-Bin |author2=Zhou, Hongming |author3=Ding, Xiaojian |author4=Zhang, Rui |title=Extreme Learning Machine for Regression and Multiclass Classification |journal=IEEE Transactions on Systems, Man, and Cybernetics - Part B: Cybernetics |date=2012 |volume=42 |issue=2 |pages=513-529 |doi=10.1109/tsmcb.2011.2168604 |pmid=21984515}}</ref> <ref name="elmwhat">{{cite journal |author1=Huang, Guang-Bin |title=What are Extreme Learning Machines? Filling the Gap Between Frank Rosenblatt's Dream and John von Neumann's Puzzle |journal=Cognitive Computation |date=2015 |volume=7 |issue=3 |pages=263–278 |doi=10.1007/s12559-015-9333-0}}</ref> <ref name="elminsight">{{cite journal |author1=Huang, Guang-Bin |title=An Insight into Extreme Learning Machines: Random Neurons, Random Features and Kernels |journal=Cognitive Computation |date=2014 |volume=6 |issue=3 |pages=376–390 |doi=10.1007/s12559-014-9255-2}}</ref>

==历史==
2001-2010年，ELM研究主要集中在“广义”单隐层前馈神经网路（Single-Hidden-Layer Feedforward Networks, SLFNs）的统一学习框架，包括但不限于Sigmoid网路、Radial Basis Function (RBF)网路、阈值网路<ref>{{cite journal |author1=Huang, Guang-Bin |author2=Zhu, Qin-Yu |author3=Mao, K. Z. |author4=Siew, Chee-Kheong |author5=Saratchandran, P. |author6=Sundararajan, N. |title=Can Threshold Networks Be Trained Directly? |journal=IEEE Transactions on Circuits and Systems-II: Express Briefs |date=2006 |volume=53 |issue=3 |pages=187–191 |doi=10.1109/tcsii.2005.857540}}</ref>、三角网路、模糊推理系统、傅里叶级数<ref>{{cite journal |author1=Huang, Guang-Bin |author2=Chen, Lei |author3=Siew, Chee-Kheong |title=Universal Approximation Using Incremental Constructive Feedforward Networks with Random Hidden Nodes |journal=IEEE Transactions on Neural Networks |date=2006 |volume=17 |issue=4 |pages=879–892 |doi=10.1109/tnn.2006.875977 |pmid=16856652}}</ref> <ref>{{cite conference |author=Rahimi, Ali |coauthors=Benjamin Recht |title=Weighted Sums of Random Kitchen Sinks: Replacing Minimization with Randomization in Learning |conference=Advances in Neural Information Processing Systems |date=2008}}</ref>、 拉普拉斯变换、小波网路<ref>{{cite journal |author1=Cao, Jiuwen |author2=Lin, Zhiping |author3=Huang, Guang-Bin |title=Composite Function Wavelet Neural Networks with Extreme Learning Machine |journal=Neurocomputing |date=2010 |volume=73 |issue=7 |pages=1405–1416 |doi=10.1016/j.neucom.2009.12.007}}</ref>等。这些年取得的主要成果之一是在理论上成功地证明了 ELM 的通用逼近和分类能力<ref name="elmuniversal">{{cite journal |author1=Huang, Guang-Bin |author2=Chen, Lei |author3=Siew, Chee-Kheong |title=Universal Approximation Using Incremental Constructive Feedforward Networks with Random Hidden Nodes |journal=IEEE Transactions on Neural Networks |date=2006 |volume=17 |issue=4 |pages=879–892 |doi=10.1109/tnn.2006.875977 |pmid=16856652}}</ref> <ref name="elmconvex">{{cite journal |author1=Huang, Guang-Bin |author2=Chen, Lei |title=Convex Incremental Extreme Learning Machine |journal=Neurocomputing |date=2007 |volume=70 |issue=16 |pages=3056–3062 |doi=10.1016/j.neucom.2007.02.009}}</ref> <ref name="elmenhanced">{{cite journal |author1=Huang, Guang-Bin |author2=Chen, Lei |title="Enhanced Random Search Based Incremental Extreme Learning Machine |journal=Neurocomputing |date=2008 |volume=71 |issue=16 |pages=3460–3468 |doi=10.1016/j.neucom.2007.10.008}}</ref>

从 2010 年到 2015 年，ELM 研究扩展到统一的学习框架，统一了核学习（Kernel Learning）的、SVM 和一些典型的特征学习方法，如主成分分析 (Principal Component Analysis, PCA) 和非负矩阵分解 (Non-Matrix Factorization, NMF)。研究表明，与 ELM 相比，SVM 实际上提供了次优解决方案。ELM可以提供白盒（White-Box）内核映射，这是通过 ELM 随机特征映射实现的，而不是 SVM 中使用的黑盒（Black-Box）内核。 PCA 和 NMF 可以被视为ELM的隐层使用线性节点的特殊情况。<ref>{{cite journal |author1=He, Qing |author2=Jin, Xin |author3=Du, Changying |author4=Zhuang, Fuzhen |author5=Shi, Zhongzhi |title="Clustering in Extreme Learning Machine Feature Space |journal=Neurocomputing |date=2014 |volume=128 |pages=88–95 |doi=10.1016/j.neucom.2012.12.063}}</ref> <ref>{{cite journal |author1=Kasun, Liyanaarachchi Lekamalage Chamara |author2=Yang, Yan |author3=Huang, Guang-Bin |author4=Zhang, Zhengyou |title=Dimension Reduction With Extreme Learning Machine |journal=IEEE Transactions on Image Processing |date=2016 |volume=25 |issue=8 |pages=3906–3918 |doi=10.1109/tip.2016.2570569 |pmid=27214902}}</ref>

从 2015 年到 2017 年，越来越多的ELM研究开始聚焦于多层实现<ref>{{cite journal |author1=Huang, Guang-Bin |author2=Bai, Zuo |author3=Kasun, Liyanaarachchi Lekamalage Chamara |author4=Vong, Chi Man |title=Local Receptive Fields Based Extreme Learning Machine |journal=IEEE Computational Intelligence Magazine |date=2015 |volume=10 |issue=2 |pages=18–29 |doi=10.1109/mci.2015.2405316}}</ref> <ref>{{cite journal |author1=Tang, Jiexiong |author2=Deng, Chenwei |author3=Huang, Guang-Bin |title=Extreme Learning Machine for Multilayer Perceptron |journal=IEEE Transactions on Neural Networks and Learning Systems |date=2016 |volume=27 |issue=4 |pages=809–821 |doi=10.1109/tnnls.2015.2424995 |pmid=25966483}}</ref>。此外，自 2011 年以来，ELM理论得到越来越多的生物学研究发现的验证。<ref>{{cite journal |author1=Barak, Omri |author2=Rigotti, Mattia |author3=Fusi, Stefano |title=The Sparseness of Mixed Selectivity Neurons Controls the Generalization-Discrimination Trade-off |journal=Journal of Neuroscience |date=2013 |volume=33 |issue=9 |pages=3844–3856 |doi=10.1523/jneurosci.2753-12.2013 |pmid=6119179}}</ref> <ref>{{cite journal |author1=Rigotti, Mattia |author2=Barak, Omri |author3=Warden, Melissa R. |author4=Wang, Xiao-Jing |author5=Daw, Nathaniel D. |author6=Miller, Earl K. |author7=Fusi, Stefano |title="The Importance of Mixed Selectivity in Complex Cognitive Tasks |journal=Nature |date=2013 |volume=497 |issue=7451 |pages=585–590 |doi=10.1038/nature12160 |pmid=4412347}}</ref> <ref>{{cite journal |author1=Fusi, Stefano |author2=Miller, Earl K |author3=Rigotti, Mattia |title="Why Neurons Mix: High Dimensionality for Higher Cognition |journal=Current Opinion in Neurobiology |date=2015 |volume=37 |pages=66–74 |doi=10.1016/j.conb.2016.01.010 }}</ref>

从2017年开始，为了克服训练LU分解过程中的低收敛问题，基于Hessenberg分解和QR分解的正则化方法开始受到关注<ref>{{cite journal |author1=Kutlu, Yakup Kutlu |author2=Yayik, Apdullah |author3=Yıldırım, Esen |author4=Yıldırım, Serdar |title=LU triangularization extreme learning machine in EEG cognitive task classification |journal=Neural Computation and Applications |date=2017 |volume=31 |issue=4 |pages=1117–1126 |doi=10.1007/s00521-017-3142-1}}</ref> <ref>{{cite web |author1=Yayık, Apdullah Yayık |author2=Kutlu, Yakup |author3=Altan,Gökhan |title=Regularized HessELM and Inclined Entropy Measurement for Congestive Heart Failure Prediction |url=https://arxiv.org/pdf/1907.05888.pdf |website=arXiv.org |accessdate=2019 |archive-date=2021-11-19 |archive-url=https://web.archive.org/web/20211119191718/https://arxiv.org/pdf/1907.05888.pdf |dead-url=no }}</ref>

2017年，Google Scholar在其“经典论文：过去10年时间考验的文章”，有两篇 ELM 论文被列入“2006 年人工智能前 10 名”，分别排名第 2 和第 7 位。

==特點==
传统的[[前馈神经网络]]（如BP神经网络）需要人为设置大量的网络训练参数，此算法卻只需要设定网络的结构，而不需设置其他参数，因此具有简单易用的特点。其输入层到隐藏层的权值是一次随机确定的，算法执行过程中不需要再调整，而隐藏层到输出层的[[權值_(網路)|权值]]只需解一个[[线性方程组]]来确定，因此可以提升计算速度。

==開發==
极限学习机的名稱來自[[新加坡]][[南洋理工大學]][[黃廣斌]]教授所建立的模型<ref name="ExtremeLearningMachine"/>。黃教授指出，此算法的泛化性能良好，且其學習速度比運用[[反向传播算法]]訓練的速度要快上1000倍<ref name="ExtremeLearningMachine">{{cite journal |last1=Huang |first1=Guang-Bin |first2=Qin-Yu |last2=Zhu |first3=Chee-Kheong |last3=Siew |title=Extreme learning machine: theory and applications |journal=Neurocomputing |volume=70 |issue=1 |year=2006 |pages=489–501 |doi=10.1016/j.neucom.2005.12.126<!-- |citeseerx=10.1.1.217.3692-->}}</ref>。

== 算法 ==
给定一个单隐层的ELM，假设第<math>i</math>个隐层节点的输出函数是：<math>h_i(\mathbf{x})=G(\mathbf{a}_i,b_i,\mathbf{x})</math>, 其中<math>\mathbf{a}_i</math>和 <math>b_i</math>是第<math>i</math>个隐层节点的参数。有<math>L</math>个隐层节点的单隐层ELM的输出函数是:

<math>f_L({\bf x})=\sum_{i=1}^L{\boldsymbol \beta}_ih_i({\bf x})</math>, 其中 <math>{\boldsymbol \beta}_i</math>是第<math>i</math>个隐层节点的输出权值。

<math>\mathbf{h}(\mathbf{x})=[h_i(\mathbf{x}),...,h_L(\mathbf{x})]</math>是ELM的隐层输出映射向量。给定<math>N</math>个训练样本，ELM的隐层输出映射矩阵<math>\mathbf{H}</math>是： <math>{\bf H}=\left[\begin{matrix}
{\bf h}({\bf x}_1)\\
\vdots\\
{\bf h}({\bf x}_N)
\end{matrix}\right]=\left[\begin{matrix}
G({\bf a}_1, b_1, {\bf x}_1) &\cdots & G({\bf a}_L, b_L, {\bf x}_1)\\
\vdots &\vdots&\vdots\\
G({\bf a}_1, b_1, {\bf x}_N) &\cdots & G({\bf a}_L, b_L, {\bf x}_N)
\end{matrix}\right]
</math>

期望的训练数据目标矩阵<math>\mathbf{T}</math>是: <math>{\bf T}=\left[\begin{matrix}
{\bf t}_1\\
\vdots\\
{\bf t}_N
\end{matrix}\right]
</math>

一般而言，ELM是一种正则化神经网络，但其具有未调整的隐层映射（由随机隐层节点、内核或其它实现形成），其目标函数为：

<math>
\text{Minimize: } \|{\boldsymbol \beta}\|_p^{\sigma_1}+C\|{\bf H}{\boldsymbol \beta}-{\bf T}\|_q^{\sigma_2}
</math>

其中 <math>\sigma_1>0, \sigma_2>0, p,q=0, \frac{1}{2}, 1, 2, \cdots, +\infty</math>.

在ELM中，可以使用 <math>\sigma_1</math>、<math>\sigma_2</math>、<math>p</math> 和 <math>q</math> 的不同组合，并由此产生对应于回归、分类、稀疏编码、压缩、特征学习和聚类等的不同学习算法。

作为一个特例，最简单的ELM训练算法学习模型可以简化为（对于单隐层 Sigmoid 神经网络）：

<math>\mathbf{\hat{T}} = \mathbf{W}_2 \sigma(\mathbf{W}_1 x)</math>

其中 {{math|'''W'''<sub>1</sub>}}是输入层到隐层的权值（包括隐层节点的参数），<math>\sigma</math>是隐层节点的输出函数（或者常称为激励函数，或基函数），{{math|'''W'''<sub>2</sub>}}是隐层到输出层的权值（隐层的输出权值）。ELM算法可以表达为：

# 随机产生{{math|'''W'''<sub>1</sub>}}（比如高斯噪声）；
# 基于最小二乘法估算{{math|'''W'''<sub>2</sub>}} ：
#:<math>\mathbf{W}_2 = \sigma(\mathbf{W}_1 \mathbf{X})^+ \mathbf{T}</math>

== 结构 ==
在大多数情况下，ELM 用于单隐层前馈网络 (SLFN)，包括但不限于Sigmoid网络、RBF网络、阈值网络、模糊推理网络、复杂神经网络、小波网络、傅里叶变换、拉普拉斯变换等。 由于ELM可以有对应于回归、分类、稀疏编码、压缩、特征学习和聚类的不同算法实现，多个 ELM组合可以用于形成多隐层网络、分层网络或深度学习。

和传统神经网络不一样的是ELM 中的隐节点是一个计算元素（computing element），不需要将其视为经典神经网络中的神经元。ELM 中的隐节点可以是经典的人工神经元、数学和信号系统中的基函数，也可以是一些隐节点形成的子网络。

== 理论 ==
发表研究证明了 ELM 的通用逼近和分类能力<ref name="elmsvm" /><ref name="elmwhat" />。特别是，黄广斌和他的团队使用了将近七年时间（2001-2008）对ELM的通用逼近能力理论的严格证明<ref name="elmuniversal" /><ref name="elmconvex" /><ref name="elmenhanced" />

=== 通用逼近能力 ===
理论上，任何非常量分段连续函数都可以用作 ELM 隐层节点的激活函数，这样的激活函数不必是可微分的。如果调整隐层节点的参数可以使单隐层前馈网络逼近任何目标函数<math>f(\mathbf{x})</math>，那么隐层节点参数可以根据任何连续分布概率随机生成，并且有适当的输出权重 <math>\boldsymbol\beta</math>使得<math>\ lim_{L\rightarrow \infty}\left\|\sum_{i=1}^L{\boldsymbol \beta}_ih_i({\bf x})-f({\bf x})\right\|=0 </math>成立的概率为 1。<ref name="elmuniversal" /><ref name="elmconvex" /><ref name="elmenhanced" />

=== 通用分类能力 ===
给定任何非常量分段连续函数作为 SLFNs 中的激活函数，如果调整隐层节点的参数可以使 SLFNs 逼近任何目标函数 <math>f(\mathbf{x})</math>，那么具有随机隐层映射的 SLFNs <math>\mathbf{h}(\mathbf{x})</math> 可以分开任意形状的任意不相交区域。<ref name="elmsvm" /><ref name="elmuniversal" /><ref name="elmconvex" />

== 神经元（基函数） ==
ELM隐层节点可以使用广泛的非常量分段连续函数<math>G(\mathbf{a}, b, \mathbf{x})</math>做为输出函数（从数值分析上讲，基函数）：

===实数域===
Sigmoid function: <math>G(\mathbf{a}, b, \mathbf{x})=\frac{1}{1+\exp(-(\mathbf{a}\cdot\mathbf{x}+b))}</math>

Fourier function: <math>G(\mathbf{a}, b, \mathbf{x})=\sin(\mathbf{a}\cdot\mathbf{x}+b)</math>

Hardlimit function: <math>G(\mathbf{a}, b, \mathbf{x})=
\begin{cases}
1, &\text{if }{\bf a}\cdot{\bf x}-b\geq 0\\
0, &\text{otherwise}
\end{cases}
</math>

Gaussian function: <math>G(\mathbf{a}, b, \mathbf{x})=\exp(-b\|\mathbf{x}-\mathbf{a}\|^2)</math>

Multiquadrics function: <math>G(\mathbf{a}, b, \mathbf{x})=(\|\mathbf{x}-\mathbf{a}\|^2+b^2)^{1/2}</math>

Wavelet: <math>G(\mathbf{a}, b, \mathbf{x})=\|a\|^{-1/2}\Psi\left(\frac{\mathbf{x}-\mathbf{a}}{b}\right)</math>，其中<math>\Psi</math>是单母小波函数.

===复数域===

Circular functions:

<math>\tan(z)= \frac{e^{iz}-e^{-iz}}{i(e^{iz}+e^{-iz})}</math>

<math>\sin(z)= \frac{e^{iz}-e^{-iz}}{2i}</math>

Inverse circular functions:

<math>\arctan(z)= \int_0^z\frac{dt}{1+t^2}</math>

<math>\arccos(z)= \int_0^z\frac{dt}{(1-t^2)^{1/2}}</math>

Hyperbolic functions:

<math>\tanh(z)= \frac{e^z-e^{-z}}{e^z+e^{-z}}</math>

<math>\sinh(z)= \frac{e^z-e^{-z}}{2}</math>

Inverse hyperbolic functions:

<math>\text{arctanh}(z)=\int_0^z\frac{dt}{1-t^2}</math>

<math>\text{arcsinh}(z)=\int_0^z\frac{dt}{(1+t^2)^{1/2}}</math>

==參見==
* [[機器學習]]
* [[前馈神经网络]]
* [[人工神經網絡]]

== 參考資料 ==
{{reflist}}
[[Category:神經網路]]

==外部链接==
* [http://www.extreme-learning-machines.org ELM入口网站附源代码、未决难题、ELM会议、教程、参考资料等] {{Wayback|url=http://www.extreme-learning-machines.org/ |date=20211118234333 }}
* [https://cran.r-project.org/web/packages/ELMR/ ELM的R程序包] {{Wayback|url=https://cran.r-project.org/web/packages/ELMR/ |date=20190816103741 }}
* {{github|holandajunior/ExtremeLearningMachine|ELM开源程序（Python）}}
* {{github|AntixK/Extreme-Learning-Machine|ELM开源程序（C++）}}
* {{github|wentaozhu/constrained-extreme-learning-machine|ELM开源程序（Matlab）}}