基於轉換器的生成式預訓練模型

本頁使用了標題或全文手工轉換
維基百科，自由的百科全書
機器學習與資料探勘
範式
問題
聚類分析
降維
結構預測（英語：Structured prediction）
異常檢測
人工神經網絡
強化學習
與人類學習
模型診斷
數學基礎
大會與出版物
相關條目
原始的GPT模型

基於轉換器的生成式預訓練模型[1]（英語：Generative pre-trained transformers，GPT）是一種大型語言模型（LLM）[2][3][4]，也是生成式人工智慧的重要框架[5][6]。首個GPT由OpenAI於2018年推出[7]。GPT模型是基於Transformer模型的人工神經網絡，在大型未標記文本數據集上進行預訓練，並能夠生成類似於人類自然語言的文本[3][4]。截至2023年，大多數LLM都具備這些特徵[8]，並廣泛被稱為GPT[9][10]。

OpenAI發布了具有極大影響力的GPT基礎模型，它們按順序編號，構成了「GPT-n」系列[11]。由於其規模（可訓練參數數量）和訓練程度的提升，每個模型相較於前一個都顯著增強。其中最新的模型是GPT-4，於2023年3月發布。這些模型為更具任務特定性的GPT系統奠定了基礎，包括經過微調以適應特定指令的模型——而這些又反過來為ChatGPT聊天機器人服務提供了支持[2] 。

術語「GPT」還用於命名和描述其他開發者所開發的模型。例如，其他GPT基礎模型包括EleutherAI（英語：EleutherAI）開發的一系列模型[12]，以及Cerebras（英語：Cerebras）開發的七個模型[13]。此外，不同行業的公司還在其各自領域開發了執行特定任務的GPT，例如賽富時的「EinsteinGPT」（用於客戶關係管理）[14]和彭博的「BloombergGPT」（用於金融領域）[15]。

歷史[編輯]

初步發展[編輯]

生成式預訓練（Generative pretraining，簡稱GP）是機器學習應用中一個歷史悠久的概念[16][17]，但直到2017年，Google的員工發明了Transformer模型[18]，這才使得大型語言模型如BERT（2018年）[19]和XLNet（2019年）成為可能[20]，這些模型是預訓練的轉換器（Pre-trained transformers，簡稱PT），但未被設計為生成式，而是「僅編碼器」（encoder-only）[21]。2018年，OpenAI發表了題為《通過生成式預訓練提高語言理解能力》（Improving Language Understanding by Generative Pre-Training）的文章，在其中首次介紹了基於轉換器的生成式預訓練模型（GPT）系統（「GPT-1」）[22]。

在基於轉換器的架構出現之前，表現最優秀的神經自然語言處理（NLP）模型通常通過大量手動標記的數據進行監督學習。這種依賴於監督學習的開發途徑限制了在未經充分標記的數據集上的應用，並且使得訓練極大型語言模型相當耗時且開支非常昂貴[22]。

OpenAI採用半監督學習方法來構建大規模生成式系統，同時也是首個使用Transformer模型的方法。該方法包括兩個階段：無監督的生成式「預訓練」階段，使用目標函數來設置初始參數；以及有監督的判別式「微調（英語：fine-tuning (machine learning)）」階段，將這些參數在目標任務上進行微調[22]。

後續發展[編輯]

OpenAI於2020年7月發布了GPT-3的首個版本。其中包括三個模型，參數數量分別為10億、67億和1750億，分別被命名為巴貝奇（babbage）、居里（curie）和達芬奇（davinci），分別以B、C和D作為簡稱。

2021年7月，OpenAI發布了Codex，是專門用於編程應用的特定任務GPT模型。該模型使用GitHub上的代碼對GPT-3的12億參數版本（與之前的GPT-3模型不同）進行代碼微調而開發[23]。

2022年3月，OpenAI發布了兩個針對指令跟隨進行微調（即「指令微調」（instruction-tuned））的GPT-3版本，分別命名為davinci-instruct-beta（1750億參數）和text-davinci-001[24]，隨後開始測試code-davinci-002[25]。text-davinci-002是通過code-davinci-002進行指令微調得到的。text-davinci-003和ChatGPT於2022年11月發布，兩者都是在text-davinci-002的基礎上通過基於人類反饋的強化學習方案（英語：Reinforcement learning from human feedback）[1]（RLHF）得到的。text-davinci-003用於遵循指令（與其前身相似），而ChatGPT則經過進一步訓練，可與人類用戶進行對話交互[26][27] 。

OpenAI最新的GPT基礎模型是GPT-4，於2023年3月14日發布。用戶可以通過ChatGPT的高級版本直接訪問它，而開發者則可通過OpenAI的API將其納入其他產品和服務中。其他GPT基礎模型的開發者包括EleutherAI（英語：EleutherAI）（從2021年3月開始推出一系列模型）[12]和Cerebras（英語：Cerebras）（於2023年3月發布七個模型）[13]。

基礎模型[編輯]

更多資訊：OpenAI

基礎模型是指在廣泛的數據上進行大規模訓練的AI模型，以便能夠適用於各種下游任務[28] 。

迄今為止，最著名的GPT基礎模型來自OpenAI的GPT-n系列。其中最新的是GPT-4，OpenAI選擇不公開該模型的規模或訓練細節，理由是「大規模模型的競爭環境和安全影響」[29]。

OpenAI的「GPT-n」系列
模型 架構 參數數量 訓練數據 發布日期 訓練成本
GPT-1 12層，12頭的Transformer解碼器（沒有編碼器），後跟線性softmax層 1.17 億 BookCorpus[30]：一個包含7000本未出版書籍的語料庫，總大小為4.5 GB。這些書籍涵蓋了各種不同的文學流派和主題。 2018年6月11日[7] 「使用8個GPU訓練1個月」[7]，或等價於1.7e19次浮點運算（FLOP）[31]
GPT-2 基於GPT-1架構，但使用修改後的歸一化方法 15億 WebText：一個包含八百萬個文檔的語料庫，總大小為40 GB。這些文本是從Reddit上投票最高的4,500萬個網頁中收集的，包括各種主題和來源，例如新聞、論壇、博客、維基百科和社交媒體等。 2019年2月14日（初始/有限版）和2019年11月5日（完整版）[32] 「數十PetaFlop/s-day」[33]，或等價於1.5e21次浮點運算[31]
GPT-3 基於GPT-2架構，但修改以支持更大規模的訓練 1750億 一個總大小為570 GB的大規模文本語料庫，其中包含約4990億個標記。這些數據主要來自於Common Crawl（英語：Common Crawl）、WebText、英文維基百科和兩個書籍語料庫（Books1和Books2）。 2020年5月28日[33] 3640 petaflop/s-day（Table D.1 [33]）, 或等價於3.1e23次浮點運算[31]
GPT-3.5 未公開 1750億[34] 未公開 2022年3月15日 未公開
GPT-4 使用文本預測和基於人類反饋的強化學習方案（英語：Reinforcement learning from human feedback）（RLHF）進行訓練，並可以接受文本和圖像（英語：Multimodal learning）輸入。進一步的細節尚未公開[29] 未公開 未公開 2023年3月14日 未公開。估計約為2.1e25次浮點運算[31]

其他類似的模型包括Google的PaLM（英語：PaLM），與2023年3月通過API向開發者提供[35][36]。另外還有Together的GPT-JT，據報道是與GPT-3性能最接近的開源替代方案（源自早期的開源GPT模型）[37]。Meta AI（英語：Meta AI）（前身為Facebook）還擁有一個基於轉換器的生成式基礎大型語言模型（generative transformer-based foundational large language model），稱為LLaMA[38]。

基礎GPT模型還可以採用文本以外的模態（英語：Modality (human–computer interaction)）進行輸入和/或輸出。GPT-4是一個多模態LLM，能夠處理文本和圖像輸入（儘管其輸出僅限於文本）[39]。多模態輸出方面，一些基於轉換器的生成式模型被用於文本到圖像技術，如擴散[40]和並行解碼[41]。此類模型可作為視覺基礎模型（visual foundation models，簡稱VFMs），用於開發能夠處理圖像的下游系統[42]。

特定任務模型[編輯]

基礎GPT模型可以進一步適應特定任務和/或主題領域，形成更具針對性的系統。這種適應的方法可以包括額外的微調（英語：fine-tuning (machine learning)）（超出基礎模型的微調），以及某種形式的提示工程[43] 。

一個重要的例子是將模型微調以遵循指令，這當然是一個相當廣泛的任務，但比基礎模型更具針對性。2022年1月，OpenAI推出了「InstructGPT」系列模型，這些模型在GPT-3語言模型的基礎上使用監督訓練和基於人類反饋的強化學習方案（英語：Reinforcement learning from human feedback）（RLHF）進行微調，以遵循指令。與純粹的基礎模型相比，其優點包括更高的準確性、更少的負面情感，以及更好地符合用戶需求。因此，OpenAI開始將它用作其API服務提供的基礎。其他開發者也發布了不同的經過指令微調的模型，其中還有完全開源的模型[44][45]。

另一種（相關的）任務特定模型是聊天機器人，它可以進行類似人類對話的交流。2022年11月，OpenAI推出了ChatGPT。ChatGPT是一個在線聊天界面，由經過指令微調的語言模型提供支持，該模型的訓練方式類似於InstructGPT[46]。OpenAI使用RLHF訓練該模型，通過讓人工智能訓練員進行對話，扮演用戶和AI的角色，並將這些新的對話數據集與InstructGPT數據集混合，形成了適合聊天機器人的對話格式。其他主要的聊天機器人還包括微軟的Bing Chat，它使用OpenAI的GPT-4（作為OpenAI和微軟之間更廣泛合作的一部分），以及競爭對手Google的Bard聊天機器人（最初基於他們的LaMDA系列對話訓練語言模型，計劃轉換為PaLM（英語：PaLM））[47]。

GPT還可以用於另一種元任務，即生成它自己的指令，如為「自己」開發一系列提示（prompt），以實現人類用戶給定的更一般目標[48]。這被稱為AI智能體（英語：software agent），具體而言是遞歸性的，因為它利用前一次的自我指令結果來幫助形成後續的提示；這方面的一個重要例子是Auto-GPT（使用OpenAI的GPT模型），此外還有其他類似的模型被開發出來[49] 。

多模態性[編輯]

基於轉換器的生成式系統還可以針對涉及文本以外的其他模態（英語：Modality (human–computer interaction)）的任務進行定製。

例如，微軟的「Visual ChatGPT」結合了ChatGPT與視覺基礎模型（VFMs），使其能夠處理包含圖像和文本的輸入或輸出[50]。此外，由於文本轉語音技術的進步，當該技術與基礎GPT語言模型結合使用時，可為音頻內容的創作提供強大的工具[51]。

領域特異性[編輯]

GPT系統可以針對特定領域或行業。以下是一些報道中涉及的此類模型和應用示例：

  • EinsteinGPT - 用於銷售和營銷領域，輔助客戶關係管理（使用GPT-3.5）[52]。
  • BloombergGPT - 用於金融領域，幫助處理金融新聞和信息（使用「免費可用」的AI方法，結合其專有數據）[53]。
  • Khanmigo – 被描述為在教育領域中用於輔導的GPT版本，通過引導學生的學習過程而不是直接提供答案，來幫助他們在可汗學院上學習（由GPT-4提供支持）[54][55]。
  • SlackGPT - 用於Slack即時通訊服務，幫助導航和概括討論內容（使用OpenAI的API）[56]
  • BioGPT – 由微軟開發的[57]，用於生物醫學領域，幫助進行生物醫學文獻的文本生成和挖掘[58]
  • ProtGPT2 – 用於蛋白質研究[59]

有時，領域特異性可以通過軟件插件或附加組件實現。例如，幾家公司已經開發了與OpenAI的ChatGPT接口直接交互的特定插件[60][61]，Google Workspace也提供了可用的附加組件，如「GPT for Sheets and Docs」。據報道，該組件有助於Google試算表中電子試算表功能的使用[62][63]。

品牌問題[編輯]

OpenAI曾宣稱「GPT」應該被視為OpenAI的品牌[64]。在2023年4月，OpenAI在其服務條款中修改了品牌指南，指示其他企業在使用其API運行其人工智能（AI）服務時，將不再能夠在名稱或品牌中包含「GPT」[65]。在2023年5月，OpenAI聘請了一個品牌管理服務，通知其API客戶有關此政策的信息，儘管這些通知並未明確提出法律要求（比如指控商標侵權（英語：trademark infringement）或要求停止並終止）[64]。

此外，OpenAI已向美國專利及商標局（USPTO）申請在AI領域對「GPT」一詞進行國內商標註冊[64]。OpenAI試圖讓其申請被加速處理，但專利及商標局於2023年4月拒絕了該請求[66]。要獲得商標批准，OpenAI需要證明該術語實際上在其特定產品中具有「顯著性」，而不僅僅被廣泛理解為描述類似技術的廣泛技術術語。一些媒體報道暗示OpenAI或可間接基於其ChatGPT的知名度來實現這一點[66][67]，對於ChatGPT，OpenAI已經單獨尋求商標保護（並試圖更嚴格地執行）[68] 。其他報道表明，「GPT」一詞似乎不太可能被授予獨占權[64][69]，因為它經常用於簡單地指代涉及生成預訓練轉換器的AI系統[4][70][71]。即使這種情況發生，商標上的描述性合理使用原則仍可能保留一些空間，使其能繼續進行與品牌無關的使用[72]。

部分出版物[編輯]

以下為OpenAI和微軟關於其GPT模型的主要官方出版物：

GPT-1：報告[7]，GitHub發布[73]

GPT-2：博客公告[74]，關於「分階段發布」決策的報告[75]，GitHub發布[76]

GPT-3：報告[33]。此後沒有GitHub或任何其他形式的代碼發布

webGPT: 博客公告[77]、報告[78]

InstructGPT：博客公告[79]、報告[80]

ChatGPT：博客公告（無報告）[46]

GPT-4：博客公告[81]、報告[82][83]、model card[84]

參考資料[編輯]

  1. ^ 1.0 1.1 馮志偉. 冯志伟教授聊ChatGPT. 中國科技術語. [2023-02-27]. （原始內容存檔於2023-02-27） –透過微信公眾平台. 
  2. ^ 2.0 2.1 Haddad, Mohammed. How does GPT-4 work and how can you start using it in ChatGPT?. www.aljazeera.com. [2023-07-20]. （原始內容存檔於2023-07-05）. 
  3. ^ 3.0 3.1 Generative AI: a game-changer society needs to be ready for. World Economic Forum. [2023-07-20]. （原始內容存檔於2023-04-25）. 
  4. ^ 4.0 4.1 4.2 The A to Z of Artificial Intelligence. Time. 2023-04-13 [2023-07-20]. （原始內容存檔於2023-06-16）. 
  5. ^ Hu, Luhui. Generative AI and Future. Medium. 2022-11-15 [2023-07-20]. （原始內容存檔於2023-06-05）. 
  6. ^ CSDL | IEEE Computer Society. www.computer.org. [2023-07-20]. （原始內容存檔於2023-04-28）. 
  7. ^ 7.0 7.1 7.2 7.3 Improving language understanding with unsupervised learning. openai.com. 2018-06-11 [2023-03-18]. （原始內容存檔於2023-03-18） （美國英語）. 
  8. ^ Toews, Rob. The Next Generation Of Large Language Models. Forbes. [2023-07-20]. （原始內容存檔於2023-04-14）. 
  9. ^ Toews, Rob. The Next Generation Of Large Language Models. Forbes. [2023-07-20]. （原始內容存檔於2023-04-14）. 
  10. ^ Mckendrick, Joe. Most Jobs Soon To Be 'Influenced' By Artificial Intelligence, Research Out Of OpenAI And University Of Pennsylvania Suggests. Forbes. 2023-03-13 [2023-07-20]. （原始內容存檔於2023-04-16）. 
  11. ^ GPT-1 to GPT-4: Each of OpenAI's GPT Models Explained and Compared. MUO. 2023-04-11 [2023-07-20]. （原始內容存檔於2023-04-15）. 
  12. ^ 12.0 12.1 Alford, Anthony. EleutherAI Open-Sources Six Billion Parameter GPT-3 Clone GPT-J. InfoQ. 2021-07-13 [2023-07-20]. （原始內容存檔於2023-02-10）. 
  13. ^ 13.0 13.1 News (新聞稿). [2023-07-20]. （原始內容存檔於2023-04-05）. 
  14. ^ Morrison, Ryan. Salesforce launches EinsteinGPT built with OpenAI technology. Tech Monitor. 2023-03-07 [2023-07-20]. （原始內容存檔於2023-04-15）. 
  15. ^ The ChatGPT of Finance is Here, Bloomberg is Combining AI and Fintech. Forbes. [2023-07-20]. （原始內容存檔於2023-04-06）. 
  16. ^ Hinton (et-al), Geoffrey. Deep neural networks for acoustic modeling in speech recognition (PDF). IEEE Signal Processing Magazine. 2012-10-15,. Digital Object Identifier 10.1109/MSP.2012.2205597 [2023-07-22]. S2CID 206485943. doi:10.1109/MSP.2012.2205597. （原始內容存檔 (PDF)於2023-03-18）. 
  17. ^ Deng, Li. A tutorial survey of architectures, algorithms, and applications for deep learning | APSIPA Transactions on Signal and Information Processing | Cambridge Core. Apsipa Transactions on Signal and Information Processing (Cambridge.org). 2014-01-22, 3: e2 [2023-05-21]. S2CID 9928823. doi:10.1017/atsip.2013.9. （原始內容存檔於2023-04-27）. 
  18. ^ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia. Attention Is All You Need. 2017-12-05. arXiv:1706.03762 可免費查閱. 
  19. ^ Devlin, Jacob; Chang, Ming-Wei; Lee, Kenton; Toutanova, Kristina. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. 2019-05-24. arXiv:1810.04805v2 可免費查閱. 
  20. ^ Yang (et-al), Zhilin. XLNet (PDF). Proceedings from NeurIPS 2019. 2019 [2023-07-22]. （原始內容存檔 (PDF)於2023-05-24）. 
  21. ^ Naik, Amit Raja. Google Introduces New Architecture To Reduce Cost Of Transformers. Analytics India Magazine. 2021-09-23 [2023-07-22]. （原始內容存檔於2023-06-10）. 
  22. ^ 22.0 22.1 22.2 Radford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya. Improving Language Understanding by Generative Pre-Training (PDF). OpenAI: 12. 2018-06-11 [2021-01-23]. （原始內容存檔 (PDF)於2021-01-26）. 
  23. ^ Chen, Mark; Tworek, Jerry; Jun, Heewoo; Yuan, Qiming; Ponde de Oliveira Pinto, Henrique; Kaplan, Jared; Edwards, Harri; Burda, Yuri; Joseph, Nicholas; Brockman, Greg; Ray, Alex; Puri, Raul; Krueger, Gretchen; Petrov, Michael; Khlaaf, Heidy. Evaluating Large Language Models Trained on Code. 2021-07-01 [2023-07-22]. arXiv:2107.03374 可免費查閱. （原始內容存檔於2023-06-24）. 
  24. ^ Ouyang, Long; Wu, Jeffrey; Jiang, Xu; Almeida, Diogo; Wainwright, Carroll; Mishkin, Pamela; Zhang, Chong; Agarwal, Sandhini; Slama, Katarina; Ray, Alex; Schulman, John; Hilton, Jacob; Kelton, Fraser; Miller, Luke; Simens, Maddie. Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems. 2022-12-06, 35: 27730–27744 [2023-07-22]. arXiv:2203.02155 可免費查閱. （原始內容存檔於2023-06-28） （英語）. 
  25. ^ New GPT-3 capabilities: Edit & insert. openai.com. [2023-06-24]. （原始內容存檔於2023-06-29） （美國英語）. 
  26. ^ Fu, Yao; Peng, Hao; Khot, Tushar. How does GPT Obtain its Ability? Tracing Emergent Abilities of Language Models to their Sources. Yao Fu's Notion. 2022 [2023-07-22]. （原始內容存檔於2023-04-19）. 
  27. ^ Model index for researchers. OpenAI API. [2023-06-23]. （原始內容存檔於2023-06-23） （英語）. 
  28. ^ Introducing the Center for Research on Foundation Models (CRFM). Stanford HAI. [2023-07-22]. （原始內容存檔於2023-06-04）. 
  29. ^ 29.0 29.1 OpenAI. GPT-4 Technical Report (PDF). 2023 [2023-03-16]. （原始內容存檔 (PDF)於2023-03-14）. 
  30. ^ Zhu, Yukun; Kiros, Ryan; Zemel, Rich; Salakhutdinov, Ruslan; Urtasun, Raquel; Torralba, Antonio; Fidler, Sanja. Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books. IEEE International Conference on Computer Vision (ICCV) 2015: 19–27. 2015 [2023-02-07]. arXiv:1506.06724 可免費查閱. （原始內容存檔於2023-02-05）. 
  31. ^ 31.0 31.1 31.2 31.3 ML input trends visualization. Epoch. [2023-05-02]. （原始內容存檔於2023-07-16） （英語）. 
  32. ^ Vincent, James. OpenAI has published the text-generating AI it said was too dangerous to share. The Verge. 2019-11-07 [2023-07-22]. （原始內容存檔於2020-06-11）. 
  33. ^ 33.0 33.1 33.2 33.3 Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario. Language Models are Few-Shot Learners. 2020-05-28. arXiv:2005.14165v4 可免費查閱. 
  34. ^ Ver Meer, Dave. ChatGPT Statistics. NamePepper. 2023-06-01 [2023-06-09]. （原始內容存檔於2023-06-05） （英語）. 
  35. ^ Vincent, James. Google opens up its AI language model PaLM to challenge OpenAI and GPT-3. The Verge. 2023-03-14 [2023-07-22]. （原始內容存檔於2023-03-14）. 
  36. ^ Google Opens Access to PaLM Language Model. [2023-07-22]. （原始內容存檔於2023-05-31）. 
  37. ^ Iyer, Aparna. Meet GPT-JT, the Closest Open Source Alternative to GPT-3. Analytics India Magazine. 2022-11-30 [2023-07-22]. （原始內容存檔於2023-06-02）. 
  38. ^ Meta Debuts AI Language Model, But It's Only for Researchers. PCMAG. [2023-07-22]. （原始內容存檔於2023-07-19）. 
  39. ^ Islam, Arham. Multimodal Language Models: The Future of Artificial Intelligence (AI). 2023-03-27 [2023-07-22]. （原始內容存檔於2023-05-15）. 
  40. ^ Islam, Arham. How Do DALL·E 2, Stable Diffusion, and Midjourney Work?. 2022-11-14 [2023-07-22]. （原始內容存檔於2023-07-18）. 
  41. ^ Saha, Shritama. Google Launches Muse, A New Text-to-Image Transformer Model. Analytics India Magazine. 2023-01-04 [2023-07-22]. （原始內容存檔於2023-05-15）. 
  42. ^ Wu (et-al), Chenfei. Visual ChatGPT. 2023-03-08. arXiv:2303.04671 可免費查閱 [cs.CV]. 
  43. ^ Bommasani (et-al), Rishi. On the Opportunities and Risks of Foundation Models. 2022-07-12. arXiv:2108.07258 可免費查閱 [cs.LG]. 
  44. ^ Stanford CRFM. crfm.stanford.edu. [2023-07-22]. （原始內容存檔於2023-04-06）. 
  45. ^ Free Dolly: Introducing the World's First Truly Open Instruction-Tuned LLM. Databricks. 2023-04-12 [2023-07-22]. （原始內容存檔於2023-07-14）. 
  46. ^ 46.0 46.1 Introducing ChatGPT. openai.com. [2023-03-16]. （原始內容存檔於2023-03-16） （美國英語）. 
  47. ^ ChatGPT vs. Bing vs. Google Bard: Which AI Is the Most Helpful?. CNET. [2023-07-22]. （原始內容存檔於2023-07-24）. 
  48. ^ Auto-GPT, BabyAGI, and AgentGPT: How to use AI agents. Mashable. 2023-04-19 [2023-07-22]. （原始內容存檔於2023-07-22）. 
  49. ^ Marr, Bernard. Auto-GPT May Be The Strong AI Tool That Surpasses ChatGPT. Forbes. [2023-07-22]. （原始內容存檔於2023-05-21）. 
  50. ^ Microsoft Open-Sources Multimodal Chatbot Visual ChatGPT. InfoQ. [2023-07-22]. （原始內容存檔於2023-06-03）. 
  51. ^ Edwards, Benj. Microsoft's new AI can simulate anyone's voice with 3 seconds of audio. Ars Technica. 2023-01-09 [2023-07-22]. （原始內容存檔於2023-07-18）. 
  52. ^ Morrison, Ryan. Salesforce launches EinsteinGPT built with OpenAI technology. 2023-03-07 [2023-07-20]. （原始內容存檔於2023-04-15）. 
  53. ^ Leswing, Kif. Bloomberg plans to integrate GPT-style A.I. into its terminal. CNBC. 2023-04-13 [2023-07-22]. （原始內容存檔於2023-05-19）. 
  54. ^ Learning nonprofit Khan Academy is piloting a version of GPT called Khanmigo. Fast Company. 2023-05-04 [2023-05-22]. （原始內容存檔於2023-05-11）. 
  55. ^ Khan Academy Pilots GPT-4 Powered Tool Khanmigo for Teachers -. THE Journal. [2023-07-22]. （原始內容存檔於2023-05-07）. 
  56. ^ Hachman, Mark. Slack GPT will bring AI chatbots to your conversations. PCWorld. 2023-05-04 [2023-07-22]. （原始內容存檔於2023-06-09）. 
  57. ^ Matthias Bastian. BioGPT is a Microsoft language model trained for biomedical tasks. The Decoder. 2023-01-29 [2023-02-27]. （原始內容存檔於2023-02-07）. 
  58. ^ Luo R, Sun L, Xia Y, Qin T, Zhang S, Poon H; et al. BioGPT: generative pre-trained transformer for biomedical text generation and mining.. Brief Bioinform. 2022, 23 (6) [2023-02-27]. PMID 36156661. doi:10.1093/bib/bbac409. （原始內容存檔於2023-07-27）. 
  59. ^ Ferruz, N., Schmidt, S. & Höcker, B.; et al. ProtGPT2 is a deep unsupervised language model for protein design.. Nature Communications volume. 2022, 13 [2023-02-27]. doi:10.1038/s41467-022-32007-7. （原始內容存檔於2023-02-08）. 
  60. ^ Know about ChatGPT's 13 best plugins, designed to improve your overall user experience – Latest Digital Transformation Trends | Cloud News | Wire19. 2023-05-05 [2023-07-22]. （原始內容存檔於2023-05-09）. 
  61. ^ ChatGPT plugins. openai.com. [2023-07-22]. （原始內容存檔於2023-03-23）. 
  62. ^ How to Use ChatGPT on Google Sheets With GPT for Sheets and Docs. MUO. 2023-03-12 [2023-07-22]. （原始內容存檔於2023-06-19）. 
  63. ^ Asay, Matt. Embrace and extend Excel for AI data prep. InfoWorld. 2023-02-27 [2023-07-22]. （原始內容存檔於2023-06-02）. 
  64. ^ 64.0 64.1 64.2 64.3 Hicks, William. ChatGPT creator OpenAI is asking startups to remove 'GPT' from their names. The Business Journals（英語：American City Business Journals）. 2023-05-10 [2023-05-21]. （原始內容存檔於2023-06-28）. 
  65. ^ OpenAI. Brand Guidelines. 2023-04-24 [2023-05-21]. （原始內容存檔於2023-07-18）. 
  66. ^ 66.0 66.1 Heah, Alexa. OpenAI Unsuccessful At Speeding Up Its Attempt To Trademark 'GPT'. DesignTAXI. 2023-04-26 [2023-05-21]. （原始內容存檔於2023-04-26）. 
  67. ^ 25 April 2023, 08:04 am. OpenAI Wants to Trademark 'GPT' Amid Rise of AI Chatbots. Tech Times. 2023-04-25 [2023-05-21]. （原始內容存檔於2023-04-25）. 
  68. ^ OpenAI files a UDRP case against the current owner of ChatGPT.com. [2023-05-21]. （原始內容存檔於2023-06-05） （美國英語）. 
  69. ^ Demcak, Tramatm-Igor. OpenAI's Battle for Brand Protection: Can GPT be trademarked?. Lexology. 2023-04-26 [2023-05-22]. （原始內容存檔於2023-05-05） （英語）. 
  70. ^ Lawton, George. ChatGPT vs. GPT: How are they different? | TechTarget. Enterprise AI. 2023-04-20 [2023-05-21]. （原始內容存檔於2023-05-09） （英語）. 
  71. ^ Robb, Drew. GPT-4 vs. ChatGPT: AI Chatbot Comparison. eWEEK. 2023-04-12 [2023-05-21]. （原始內容存檔於2023-07-27） （美國英語）. 
  72. ^ Rheintgen, Husch Blackwell LLP-Kathleen A. Branding 101: trademark descriptive fair use. Lexology. 2013-08-16 [2023-05-21]. （原始內容存檔於2023-05-21） （英語）. 
  73. ^ finetune-transformer-lm. OpenAI. 2018-06-11 [2023-05-01]. （原始內容存檔於2023-05-19）. 
  74. ^ GPT-2: 1.5B release. openai.com. [2023-05-01]. （原始內容存檔於2023-03-31） （美國英語）. 
  75. ^ Solaiman, Irene; Brundage, Miles; Clark, Jack; Askell, Amanda; Herbert-Voss, Ariel; Wu, Jeff; Radford, Alec; Krueger, Gretchen; Kim, Jong Wook; Kreps, Sarah; McCain, Miles; Newhouse, Alex; Blazakis, Jason; McGuffie, Kris; Wang, Jasmine. Release Strategies and the Social Impacts of Language Models. 2019-11-12. arXiv:1908.09203 可免費查閱 [cs.CL]. 
  76. ^ gpt-2. OpenAI. 2023-05-01 [2023-05-01]. （原始內容存檔於2023-03-11）. 
  77. ^ WebGPT: Improving the factual accuracy of language models through web browsing. openai.com. [2023-07-02]. （原始內容存檔於2023-06-21） （美國英語）. 
  78. ^ Nakano, Reiichiro; Hilton, Jacob; Balaji, Suchir; Wu, Jeff; Ouyang, Long; Kim, Christina; Hesse, Christopher; Jain, Shantanu; Kosaraju, Vineet; Saunders, William; Jiang, Xu; Cobbe, Karl; Eloundou, Tyna; Krueger, Gretchen; Button, Kevin. WebGPT: Browser-assisted question-answering with human feedback. 2021-12-01 [2023-07-22]. （原始內容存檔於2023-07-02）. 
  79. ^ Aligning language models to follow instructions. openai.com. [2023-03-23]. （原始內容存檔於2023-03-23）. 
  80. ^ Ouyang, Long; Wu, Jeff; Jiang, Xu; et al. Training language models to follow instructions with human feedback. 2022-03-04. arXiv:2203.02155 可免費查閱. 
  81. ^ GPT-4. openai.com. [2023-05-01]. （原始內容存檔於2023-03-14） （美國英語）. 
  82. ^ OpenAI. GPT-4 Technical Report. 2023-03-27. arXiv:2303.08774 可免費查閱 [cs.CL]. 
  83. ^ Bubeck, Sébastien; Chandrasekaran, Varun; Eldan, Ronen; Gehrke, Johannes; Horvitz, Eric; Kamar, Ece; Lee, Peter; Lee, Yin Tat; Li, Yuanzhi; Lundberg, Scott; Nori, Harsha; Palangi, Hamid; Ribeiro, Marco Tulio; Zhang, Yi. Sparks of Artificial General Intelligence: Early experiments with GPT-4. 2023-04-13. arXiv:2303.12712 可免費查閱 [cs.CL]. 
  84. ^ GPT-4 System Card (PDF). OpenAI. 2023-03-23 [2023-05-22]. （原始內容存檔 (PDF)於2023-04-07） （美國英語）. 
可微分計算
概論
概念
應用
硬件
軟件庫
實現
視覺·語音
自然語言
決策
人物
組織
架構
產品
基礎模型
相關人物
有關
取自「https://zh.wikipedia.org/w/index.php?title=基于转换器的生成式预训练模型&oldid=82162688」