跳至內容

神經結構搜索

維基百科,自由的百科全書

神經結構搜索 (Neural Architecture Search, NAS) 是一種自動化設計人工神經網絡(Artificial Neural Networks, ANN)這種在機器學習領域被廣泛運用的模型的技術 [1]。 目前,通過神經結構搜索所設計的模型的性能,已經可以達到甚至超過由人工設計的模型 [2] [3]。 神經結構搜索的方法可以按照搜索空間、搜索策略和性能估計策略三個方面進行分類[1]

  • 搜索空間(Search Space) 定義了可以設計和優化的人工神經網絡種類;
  • 搜索策略(Search Strategy) 定義了探索搜索空間的方法;
  • 性能估計策略(Performance Estimation Strategy) 通過一個潛在神經網絡的結構來評估其性能(不一定構建並訓練這個網絡)。

神經結構搜索與超參數優化(Hyperparameter optimization )有着密切的聯繫。它也是自動機器學習(Automated machine learning)的一個子領域。

搜索空間

[編輯]

宏搜索空間

[編輯]

微搜索空間

[編輯]

其他搜索空間

[編輯]

搜索策略

[編輯]

強化學習

[編輯]

進化算法

[編輯]

多目標搜索

[編輯]

可微分的搜索(基於梯度的搜索)

[編輯]

性能估計策略

[編輯]

權重共享

[編輯]

基於預測器

[編輯]

參考資料

[編輯]
  1. ^ 1.0 1.1 Elsken, Thomas; Metzen, Jan Hendrik; Hutter, Frank. Neural Architecture Search: A Survey. Journal of Machine Learning Research. August 8, 2019, 20 (55): 1–21 [2020-03-17]. Bibcode:2018arXiv180805377E. arXiv:1808.05377可免費查閱. (原始內容存檔於2021-01-27). 
  2. ^ Zoph, Barret; Le, Quoc V. Neural Architecture Search with Reinforcement Learning. 2016-11-04. arXiv:1611.01578可免費查閱 [cs.LG]. 
  3. ^ Zoph, Barret; Vasudevan, Vijay; Shlens, Jonathon; Le, Quoc V. Learning Transferable Architectures for Scalable Image Recognition. 2017-07-21. arXiv:1707.07012可免費查閱 [cs.CV].