降維 - 維基百科，自由的百科全書

機器學習與資料探勘

範式監督學習無監督學習線上機器學習元學習（英語：Meta-learning (computer science)）半監督學習自監督學習強化學習基於規則的機器學習（英語：Rule-based machine learning）量子機器學習
問題統計分類生成模型迴歸分析聚類分析降維密度估計（英語：density estimation）異常檢測數據清洗自動機器學習關聯規則學習語意分析結構預測（英語：Structured prediction）特徵工程表徵學習排序學習（英語：Learning to rank）語法歸納（英語：Grammar induction）本體學習（英語：Ontology learning）多模態學習（英語：Multimodal learning）
監督學習 (分類 · 回歸) 學徒學習（英語：Apprenticeship learning）決策樹學習集成學習 Bagging 提升方法隨機森林 k-NN 線性回歸樸素貝葉斯人工神經網絡邏輯斯諦迴歸感知器相關向量機（RVM）支持向量機（SVM）遷移學習微調
聚類分析 BIRCH CURE算法（英語：CURE algorithm）層次 k-平均 Fuzzy 期望最大化（EM） DBSCAN OPTICS 均值飄移（英語：Mean shift）
降維因素分析 CCA ICA LDA NMF（英語：Non-negative matrix factorization） PCA PGD（英語：Proper generalized decomposition） t-SNE（英語：t-distributed stochastic neighbor embedding） SDL
結構預測（英語：Structured prediction）圖模式貝氏網絡條件隨機域隱馬爾可夫模型
異常檢測 RANSAC k-NN 局部異常因子（英語：Local outlier factor）孤立森林（英語：Isolation forest）
人工神經網絡自編碼器認知計算深度學習 DeepDream（英語：DeepDream）多層感知器 RNN LSTM GRU（英語：Gated recurrent unit） ESN（英語：Echo state network）儲備池計算（英語：reservoir computing）受限玻爾茲曼機 GAN SOM CNN U-Net Transformer Vision transforme（英語：Vision transformer）脈衝神經網絡（英語：Spiking neural network） Memtransistor（英語：Memtransistor）電化學RAM（英語：Electrochemical RAM）（ECRAM）
強化學習 Q學習 SARSA 時序差分（TD）多智能體（英語：Multi-agent reinforcement learning） Self-play（英語：Self-play (reinforcement learning technique)） RLHF
與人類學習主動學習（英語：Active learning (machine learning)）眾包 Human-in-the-loop（英語：Human-in-the-loop）
模型診斷學習曲線（英語：Learning curve (machine learning)）
數學基礎內核機器（英語：Kernel machines）偏差–方差困境（英語：Bias–variance tradeoff）計算學習理論（英語：Computational learning theory）經驗風險最小化奧卡姆學習（英語：Occam learning） PAC學習（英語：Probably approximately correct learning）統計學習 VC理論
大會與出版物 NeurIPS ICML（英語：International Conference on Machine Learning） ICLR ML（英語：Machine Learning (journal)） JMLR（英語：Journal of Machine Learning Research）
相關條目人工智能術語（英語：Glossary of artificial intelligence）機器學習研究數據集列表（英語：List of datasets for machine-learning research）機器學習概要（英語：Outline of machine learning）
閱論編

在機器學習和統計學領域，降維（dimensionality reduction）是指在某些限定條件下，降低隨機變量個數，得到一組「不相關」主變量的過程^[1]。降維可進一步細分為變量選擇和特徵提取兩大方法。

變量選擇[編輯]

變量選擇假定數據中包含大量冗餘或無關變量（或稱特徵、屬性、指標等），旨在從原有變量中找出主要變量。現代統計學中對變量選擇的研究文獻，大多集中於高維回歸分析（英語：High-dimensional_statistics），其中最具代表性的方法包括：

Lasso算法 (Robert Tibshirani提出)
Elastic net regularization（英語：Elastic net regularization） (鄒暉（英語：Hui Zou）和Trevor Hastie（英語：Trevor Hastie）提出)
SCAD (范劍青和李潤澤（英語：Runze Li）提出)
SURE screening (范劍青和呂金翅提出)
PLUS (張存惠提出)

特徵提取[編輯]

特徵提取可以看作變量選擇方法的一般化：變量選擇假設在原始數據中，變量數目浩繁，但只有少數幾個真正起作用；而特徵提取則認為在所有變量可能的函數(比如這些變量各種可能的線性組合)中，只有少數幾個真正起作用。有代表性的方法包括：

主成分分析(PCA)
因子分析
核方法(教科書中稱為「Kernel method」或「Kernel trick」，常與其他方法如PCA組合使用)
基於距離的方法，例如：
- 多維尺度分析
- 非負矩陣分解（英語：Non-negative_matrix_factorization）
- 隨機投影法（英語：Random projection）(理論依據是約翰遜-林登斯特勞斯定理)

參見[編輯]

參考文獻[編輯]

^ Roweis, S. T.; Saul, L. K. Nonlinear Dimensionality Reduction by Locally Linear Embedding. Science. 2000, 290 (5500): 2323–2326. PMID 11125150. doi:10.1126/science.290.5500.2323.