GPT-3

维基百科,自由的百科全书
跳到导航 跳到搜索
GPT-3
原作者OpenAI
初始版本2020年6月11日,​4個月前​(2020-06-11
源代码库 編輯維基數據鏈接
类型自迴歸變換語言模型
许可协议非自由软件
网站openai.com/blog/openai-api

生成型已訓練變換模型 3 (英語:Generative Pre-trained Transformer 3,簡稱 GPT-3)是一個自迴歸語言模型,目的是為了使用深度學習分類或產生人類可以理解的自然語言[1]。GPT-3是由在舊金山人工智慧公司OpenAI訓練與開發,模型設計基於谷歌開發的變換語言模型英语Transformer_(machine_learning_model)。GPT-3的神經網路包含1億7500萬個神經,為全世界參數最多的神經網路模型[2]。OpenAI於2020年5月發表GPT-3的論文,在次月為少量公司與開發人團釋出應用程式介面的測試版。微軟在2020年9月22日宣布取得了GPT-3的獨家授權[3]

GPT-3 可寫出人類無法與電腦區別的文章與字串,論文當中的三十一個作者寫到了GPT-3有可能對於社會的負面影響,比如利用製造假新聞的可能性。英國衛報即使用GPT-3寫了一個關於人類不該怕人工智慧的評論專欄[4]李開復稱GPT-3與卷積神經網路為深度學習重要的改善[5]

參考資料[编辑]

  1. ^ Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario. Language Models are Few-Shot Learners. July 22, 2020. arXiv:2005.14165. 
  2. ^ Ray, Tiernan. OpenAI’s gigantic GPT-3 hints at the limits of language models for AI. ZDNet. June 1, 2020 [July 31, 2020]. 
  3. ^ Hao, Karen. OpenAI is giving Microsoft exclusive access to its GPT-3 language model. MIT Technology Review. September 23, 2020 [2020-09-25] (英语). The companies say OpenAI will continue to offer its public-facing API, which allows chosen users to send text to GPT-3 or OpenAI’s other models and receive its output. Only Microsoft, however, will have access to GPT-3’s underlying code, allowing it to embed, repurpose, and modify the model as it pleases. 
  4. ^ GPT-3. A robot wrote this entire article. Are you scared yet, human?. The Guardian. 2020-09-08 [2020-09-15]. ISSN 0261-3077 (英国英语). 
  5. ^ Lee, Kai-fu. 李开复对话MIT彭特兰:AI不是单打独斗,应避免AI冷战. 2020-10-09 [2020-10-17].