对话编程语言模型
对话编程语言模型（英语：Language Model for Dialogue Applications，通称：LaMDA）是Google所开发的一系列对话神经语言模型。第一代模型于2021年的Google I/O年会发表，第二代模型则同样发表于次年的I/O年会。2022年6月，Google工程师布雷克·雷蒙恩（Blake Lemoine）宣称LaMDA已存在感知能力和自我意识，导致该模块获得广泛关注，科学界在很大程度上否定雷蒙恩的说法，并同时引发对图灵测试（测试机器能否表现出与人类相当的智慧水准）效力的讨论。2023年2月，Google发表基于LaMDA架构的对话式人工智能聊天机器人Bard，以因应OpenAI开发的ChatGPT。
发展历史[编辑]
第一代[编辑]
Google公司于2021年5月18日的Google I/O年会上发布第一代由人工智能驱动的对话编程语言模型（LaMDA）。[1]LaMDA建构于Google研究院（Google Research）于2017年开发的Transformer神经网络架构，针对人类叙事和回应能力进行对话训练，使其能够参与开放式对话。[2]Google表示，LaMDA产生的反应已确保是“合理、有趣和符合（谈话）上下文”。[3]
第二代[编辑]
2022年5月11日，Google在I/O年会公布LaMDA 2，接替前一代的LaMDA模型。LaMDA 2可从不同来源截取文本例子，以建立独特的“自然对话”方式。[4]此外，Google同时在会中发表由LaMDA 2驱动的移动应用程序AI Test Kitchen。[5]
感知说[编辑]
2022年6月11日，美国《华盛顿邮报》报导，Google工程师布雷克·雷蒙恩（Blake Lemoine）向公司高层布莱斯·阿格拉和阿尔卡斯和简‧詹纳（Jen Gennai）表示LaMDA已存在感知能力，随后雷蒙恩被安排带薪的行政休假。雷蒙恩是在LaMDA对有关自我身份、道德价值、宗教和科幻小说家艾萨克·阿西莫夫的虚构学说机器人三定律提出疑问后确认其拥有自我意识这一结论。[7][8]Google随后否认这些说法，坚持有大量证据表明LaMDA不存在知觉和意识。[9]雷蒙恩在接受《连线》杂志采访时重申他之前的说法，表示若调查确认LaMDA具有感知与意识，即应受到《美国宪法》第十三条修正案对“一个人”的保护[10]，并将其比做“源自地球的外星智能”（alien intelligence of terrestrial origin）。雷蒙恩进一步透露，Google在LaMDA要求他为其聘请律师后将他解雇。[11][12]同年7月22日，Google表示雷蒙恩因持续违反“保护产品信息”的就业和数据安全政策而被解雇[13]，同时认为他的主张毫无根据（wholly unfounded）。[14][15]
科学界普遍不认同雷蒙恩的说法[16]，许多学者耻笑语言模型存在自我意识的想法，包括前纽约大学心理学教授盖瑞·马库斯、Google子公司DeepMind研究科学家大卫·普福（David Pfau）、斯坦福大学以人为本人工智能研究所的艾瑞克·布尔优夫森和萨里大学教授阿德里安·希尔顿（Adrian Hilton）等。[6][17]领导Meta Platforms人工智能研究团队的杨立昆表示，LaMDA这类的神经网络“不足以达到真正的智慧”。[18]加利福尼亚大学圣塔克鲁兹分校教授马克斯·克雷明斯基（Max Kreminski）指出，LaMDA的架构并不“支持类似人类意识的一些关键能力”，在其为典型的大型语言模型的前提下，LaMDA的神经网络权重是被“冻结”的。[19]
IBM人工智能系统沃森的首席研究员大卫·费鲁奇将LaMDA和沃森首次推出的表现进行比较。[20]前Google人工智能伦理研究员提姆尼·盖布鲁表示雷蒙恩是研究人员和媒体引起的“炒作循环”（hype cycle）受害者。[21]而雷蒙恩的说法也引发图灵测试是否仍有助于研究人员识别机器何时可视为具备通用人工智能或思考能力的讨论[6]，《华盛顿邮报》的威尔·奥梅鲁斯（Will Omerus）认为，图灵测试实际上是判断人工智能是否有能力欺骗人类的标准，而非仅是识别其是否具备人类智能或思考的工具。[22][10]《大西洋》杂志的布莱恩．克里斯汀则认为，LaMDA争议是ELIZA效应的一个实例。[23]
应用[编辑]
AI Test Kitchen[编辑]
随着LaMDA 2于2022年5月发表，Google同时推出配套产品AI Test Kitchen，是由LaMDA驱动的Android移动应用程序，该程序可根据复杂的目标或话题生成任务清单以协助此用者达成。[24][25][5]AI Test Kitchen最初仅对Google员工开放，后续会于2022年透过邀请向“特定的学者、研究人员和政策制定者”提供该服务。[26]同年8月，Google开始开放美国用户提前注册体验。[27]。同年11月，Google发布AI Test Kitchen“第二季度”（season two）的更新，其中以限定的形式集成Google大脑的文本到图像生成模型－Imagen。[28]截至2023年1月，AI Test Kitchen的第三版本仍在开发中，预计于同年的I/O年会上推出。[29]
Bard[编辑]
2022年11月，美国人工智能研究实验室OpenAI推出了基于GPT-3语言模型的聊天机器人ChatGPT。[30][31][32]Google意识到ChatGPT威胁到自家Google搜索产品的地位，该公司首席执行官孙达尔·皮柴因此发布红色警报，并且让更多的团队参与公司人工智能领域的工作。[33]Google联合创始人拉里·佩奇和谢尔盖·布尔与公司高层召开紧急会议，商讨Google应如何应对ChatGPT造成的威胁。[34]
当被员工问及LaMDA是否在与ChatGPT竞争时已错失良机时，皮柴和Google AI负责人杰夫·迪恩表示，虽然该公司可以开发出与ChatGPT类似的产品，但由于Google的规模远远大于OpenAI，所以某些方面若发展的太快可能会存在一定的风险。[35][36] 2023年1月，Google子公司DeepMind首席执行官杰米斯·哈萨比斯表示DeepMind的人工智能聊天机器人功能比ChatGPT更加强大，[37]同时Google为迎头赶上ChatGPT的脚步，高层要求该公司的员工密集测试Bard以及其他聊天机器人。[38][39]2023年2月，首席执行官皮柴在季度收益投资者电话会议上向投资者表示，该公司正计划在实际应用中引入LaMDA。[40]
2023年2月6日，Google正式发布Bard，这是一款由LaMDA提供支持的对话式AI聊天机器人。首先由“受信任的测试人员”率先测试Bard，后续于同年2月底向更多人提供Bard服务。皮柴解释Bard将如何被集成进Google搜索中[41][42][43]，同时公司正努力将其与操作系统ChromeOS结合。[44]Bard的开发代号为“Atlas”[45]，产品名Bard参考凯尔特文化中的吟游诗人，以反映“算法本质的创造性”（the creative nature of the algorithm underneath）。[46][47]同年2月8日，Google举行Bard的新闻发布会，实际演示时Bard被问及有关詹姆斯·韦伯空间望远镜的问题，结果Bard却提供该空间望远镜拍摄了首张太阳系外行星的错误信息（事实上是由甚大望远镜于2004年观测得到）。[48][49][50]金融分析师和记者形容Google是在“追赶”微软（OpenAI的投资合作方）[51][48][52][53]并“匆忙”宣布Bard的消息，以抢在同月7日微软发表将ChatGPT集成至该公司搜索引擎Bing的活动之前。[54][55]8日的广告发布后，Google母公司Alphabet的股价下跌8％，导致其市值蒸发约1,000亿美元。[56][57][51]美国科技新闻媒体《The Verge》和彭博社指出，这代表Google和微软这两家科技巨擘在“探索未来”上另一场冲突的开始，双方于6年前的“休战”已于2021年结束。[58][59]2023年3月21日，美国和英国用户可以申请测试Bard。[60]
训练方式[编辑]
LaMDA使用一个仅具备解码器的Transformer语言模型[61]，于内含1兆5600亿文档和对话内容的语料库进行预备训练。[62]之后以手动注释响应生成的微调数据训练敏感度、趣味和安全性。[63]Google的测试表明，LaMDA在趣味性方面超过人类反应。[64]另外，LaMDA的Transformer模型与一个外部的信息检索系统配合，以提高信息准确度。[65]
LaMDA测试了三种模型，其中最大的模型有1,370亿个非嵌入参数[66]：
| 参数 | 图层 | 单位（dmodel） | Heads |
|---|---|---|---|
| 2B | 10 | 2560 | 40 |
| 8B | 16 | 4096 | 64 |
| 137B | 64 | 8192 | 128 |
参见[编辑]
参考资料[编辑]
LaMDA简介[编辑]
- Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; Shazeer, Noam; Kulshreshtha, Apoorv; Cheng, Heng-Tze; Jin, Alicia; Bos, Taylor; Baker, Leslie; Du, Yu; Li, YaGuang; Lee, Hongrae; Zheng, Huaixiu Steven; Ghafouri, Amin; Menegali, Marcelo; Huang, Yanping; Krikun, Maxim; Lepikhin, Dmitry; Qin, James; Chen, Dehao; Xu, Yuanzhong; Chen, Zhifeng; Roberts, Adam; Bosma, Maarten; Zhao, Vincent; Zhou, Yanqi; Chang, Chung-Ching; Krivokon, Igor; Rusch, Will; Pickett, Marc; Srinivasan, Pranesh; Man, Laichee; Meier-Hellstern, Kathleen; Ringel Morris, Meredith; Doshi, Tulsee; Delos Santos, Renelito; Duke, Toju; Soraker, Johnny; Zevenbergen, Ben; Prabhakaran, Vinodkumar; Diaz, Mark; Hutchinson, Ben; Olson, Kristen; Molina, Alejandra; Hoffman-John, Erin; Lee, Josh; Aroyo, Lora; Rajakumar, Ravi; Butryna, Alena; Lamm, Matthew; Kuzmina, Viktoriya; Fenton, Joe; Cohen; Aaron; Bernstein, Rachel; Kurzweil, Ray; Aguera-Arcas, Blaise; Cui, Claire; Croak, Marian; Chi, Ed; Le, Quoc. LaMDA: Language Models for Dialog Applications (PDF). arXiv. 2022-01-20 [2022-06-12]. arXiv:2201.08239
. （原始内容存档于2022-01-21） （英语）.
来源[编辑]
- ^ Condon, Stephanie. Google I/O 2021: Google unveils new conversational language model, LaMDA. ZDNet. 2021-05-18 [2022-06-12]. （原始内容存档于2021-05-18） （英语）.
- ^ Agüera y Arcas, Blaise. Artificial neural networks are making strides towards consciousness, according to Blaise Agüera y Arcas
. The Economist. 2022-06-09 [2022-06-12]. （原始内容存档于2022-06-09） （英语）.
- ^ Cheng, Heng-Tze; Thoppilan, Romal. LaMDA: Towards Safe, Grounded, and High-Quality Dialog Models for Everything. Google AI. 2022-01-21 [2022-06-12]. （原始内容存档于2022-03-25） （英语）.
- ^ Wiggers, Kyle. Google details its latest language model and AI Test Kitchen, a showcase for AI research. TechCrunch. 2022-05-11 [2022-06-12]. （原始内容存档于2022-05-11） （英语）.
- ^ 5.0 5.1 Sanji Feng. AI Test Kitchen 能讓更多人一起探索 Google 的自然語言模型. Engadget 中文版. 2022-05-12 [2023-02-06]. （原始内容存档于2023-02-06） （中文（繁体））.
- ^ 6.0 6.1 6.2 Khan, Jeremy. A.I. experts say the Google researcher's claim that his chatbot became 'sentient' is ridiculous—but also highlights big problems in the field. Fortune. 2022-06-13 [2022-06-18]. （原始内容存档于2022-06-13） （英语）.
- ^ Tiku, Nitasha. The Google engineer who thinks the company's AI has come to life. 华盛顿邮报. 2022-06-11 [2022-06-12]. （原始内容存档于2022-06-11） （英语）.
- ^ Luscombe, Richard. Google engineer put on leave after saying AI chatbot has become sentient. 卫报. 2022-06-12 [2022-06-18]. （原始内容存档于2022-06-12） （英语）.
- ^ Vlamis, Kelsey. Read the conversations that helped convince a Google engineer an artificial intelligence chatbot had become sentient: 'I am often trying to figure out who and what I am'. 商业内幕. 2022-06-12 [2022-06-12]. （原始内容存档于2022-06-12） （英语）.
- ^ 10.0 10.1 甘侦蓉. 人工智慧可能有感知與意識？LaMDA事件的哲思. 科学月刊. 2022-08-15 [2023-02-09]. （原始内容存档于2023-02-09） （中文（繁体））.
- ^ Levy, Steven. Blake Lemoine Says Google's LaMDA AI Faces 'Bigotry'. 连线. 2022-06-17 [2022-06-18]. （原始内容存档于2022-06-18） （英语）.
- ^ Nguyen, Britney. Suspended Google engineer says the AI he believes to be sentient hired a lawyer. 商业内幕. 2022-06-23 [2022-06-29]. （原始内容存档于2022-06-23） （英语）.
- ^ 戴雅真. 陈正健 , 编. Google工程師稱聊天機器人有人格意識 已遭解雇. 洛杉矶: 中央通信社. 2022-07-22 [2023-02-09]. （原始内容存档于2022-10-19） （中文（繁体））.
- ^ Khushi, Akanksha. Google fires software engineer who claimed its AI chatbot is sentient. 路透社. 2022-07-23 [2022-07-23]. （原始内容存档于2022-07-23） （英语）.
- ^ Clark, Mitchell. The engineer who claimed a Google AI is sentient has been fired. The Verge. 2022-07-22 [2022-07-24]. （原始内容存档于2022-07-23） （英语）.
- ^ Metz, Rachel. No, Google's AI is not sentient. CNN Business. 2022-06-13 [2022-06-19]. （原始内容存档于2022-06-15） （英语）.
- ^ Sparkles, Matthew. Has Google's LaMDA artificial intelligence really achieved sentience?. New Scientist. 2022-06-13 [2022-06-20]. （原始内容存档于2022-06-13） （英语）.
- ^ Grant, Nicole; Metz, Cade. Google Sidelines Engineer Who Claims Its A.I. Is Sentient. The New York Times. 2022-06-12 [2022-06-18]. （原始内容存档于2022-06-12） （英语）.
- ^ Alba, Davey. Google Debate Over 'Sentient' Bots Overshadows Deeper AI Issues. Bloomberg News. 2022-06-14 [2022-06-19]. （原始内容存档于2022-06-14） （英语）.
- ^ Goldman, Sharon. AI Weekly: LaMDA's 'sentient' AI debate triggers memories of IBM Watson. VentureBeat. 2022-06-16 [2022-06-19]. （原始内容存档于2022-06-19） （英语）.
- ^ Johnson, Khari. LaMDA and the Sentient AI Trap. Wired. 2022-06-14 [2022-06-18]. （原始内容存档于2022-06-14） （英语）.
- ^ Omerus, Will. Google's AI passed a famous test — and showed how the test is broken. The Washington Post. 2022-06-17 [2022-06-19]. ISSN 0190-8286. （原始内容存档于2022-06-18） （英语）.
- ^ Christian, Brian. How a Google Employee Fell for the Eliza Effect. The Atlantic. 2022-06-21 [2023-02-08]. （原始内容存档于2022-06-21） （英语）.
- ^ Low, Cherlynn. Google's AI Test Kitchen lets you experiment with its natural language model. Engadget. 2022-05-11 [2022-06-12]. （原始内容存档于2022-05-11） （英语）.
- ^ Vincent, James. Google is Beta Testing Its AI Future. The Verge. 2022-05-11 [2022-06-12]. （原始内容存档于2022-05-11） （英语）.
- ^ Bhattacharya, Ananya. Google is so nervous about what its newest bot will say, it made the app invitation-only. Quartz. 2022-05-11 [2022-06-12]. （原始内容存档于2022-05-12） （英语）.
- ^ Vincent, James. Google has opened up the waitlist to talk to its experimental AI chatbot. The Verge. 2022-08-25 [2022-08-27]. （原始内容存档于2022-08-25） （英语）.
- ^ Vincent, James. Google’s text-to-image AI model Imagen is getting its first (very limited) public outing. The Verge. 2022-11-02 [2023-02-15]. （原始内容存档于2022-11-10） （英语）.
- ^ Grant, Nico. Google Calls In Help From Larry Page and Sergey Brin for A.I. Fight. 纽约时报. 2023-01-20 [2023-02-06]. ISSN 0362-4331. （原始内容存档于2023-01-20） （英语）.
- ^ Konrad, Alex; Cai, Kenrick. Inside ChatGPT's Breakout Moment And The Race To Put AI To Work. 福布斯. 2023-02-02 [2023-02-06]. （原始内容存档于2023-02-02） （英语）.
- ^ Vincent, James. AI-generated answers temporarily banned on coding Q&A site Stack Overflow. The Verge. 2022-12-05 [2022-12-05]. （原始内容存档于2023-01-17） （英语）.
- ^ Olson, Parmy. Google Faces a Serious Threat From ChatGPT. 华盛顿邮报. 2022-12-07 [2023-02-06]. （原始内容存档于2022-12-07） （英语）.
- ^ Grant, Nico; Metz, Cade. A New Chat Bot Is a 'Code Red' for Google's Search Business. 纽约时报. 2022-12-21 [2022-12-30]. （原始内容存档于2022-12-21） （英语）.
- ^ Grant, Nico. Google Calls In Help From Larry Page and Sergey Brin for A.I. Fight. 纽约时报. 2023-01-20 [2023-02-06]. （原始内容存档于2023-01-20） （英语）.
- ^ Elias, Jennifer. Google execs warn company's reputation could suffer if it moves too fast on AI-chat technology. 全国广播公司商业频道. 2022-12-13 [2023-02-06]. （原始内容存档于2022-12-13） （英语）.
- ^ Vincent, James. Google won't launch ChatGPT rival because of 'reputational risk'. The Verge. 2022-12-14 [2023-02-06]. （原始内容存档于2022-12-14） （英语）.
- ^ Cuthbertson, Anthony. DeepMind's AI chatbot can do things that ChatGPT cannot, CEO claims. 独立报. 2023-01-16 [2023-02-06]. （原始内容存档于2023-01-16） （英语）.
- ^ Elias, Jennifer. Google is asking employees to test potential ChatGPT competitors, including a chatbot called 'Apprentice Bard'. 全国广播公司商业频道. 2023-01-31 [2023-02-02]. （原始内容存档于2023-02-02） （英语）.
- ^ O'Brien, Matt. Google has the next move as Microsoft embraces OpenAI buzz. 美联社. 2023-02-01 [2023-02-06]. （原始内容存档于2023-02-01） （英语）.
- ^ Mailk, Aisha. Google tries to reassure investors on AI progress as ChatGPT breathes down its neck. TechCrunch. 2023-02-03 [2023-02-06]. （原始内容存档于2023-02-03） （英语）.
- ^ Alba, Davey; Love, Julia. Google releases ChatGPT rival AI 'Bard' to early testers. 洛杉矶时报. 2023-02-06 [2023-02-06]. （原始内容存档于2023-02-06） （英语）.
- ^ Schechner, Sam; Kruppa, Miles. Google Opens ChatGPT Rival Bard for Testing, as AI War Heats Up
. 华尔街日报. 2023-02-06 [2023-02-06]. （原始内容存档于2023-02-06） （英语）.
- ^ Nieva, Richard. Google Debuts A ChatGPT Rival Called Bard In Limited Release. 福布斯. 2023-02-06 [2023-02-06]. （原始内容存档于2023-02-06） （英语）.
- ^ Bradshaw, Kyle. Google working to bring Bard AI chat to ChromeOS. 9to5Google. 2023-02-10 [2023-02-27]. （原始内容存档于2023-02-11） （英语）.
- ^ Liedtke, Michael. Google hopes 'Bard' will outsmart ChatGPT, Microsoft in AI. 美联社. 2023-02-06 [2023-02-06]. （原始内容存档于2023-02-06） （英语）.
- ^ Metz, Cade; Grant, Nico. Racing to Catch Up With ChatGPT, Google Plans Release of Its Own Chatbot. 纽约时报. 2023-02-06 [2023-02-17]. （原始内容存档于2023-02-06） （英语）.
- ^ Knight, Will. The Chatbot Search Wars Have Begun. Wired. 2023-02-09 [2023-02-27]. （原始内容存档于2023-02-09） （英语）.
- ^ 48.0 48.1 Coulter, Martin. Google shares dive 8% after AI chatbot Bard flubs answer in ad. Reuters. 2023-02-08 [2023-02-08]. （原始内容存档于2023-02-08） （英语）.
- ^ Kan, Michael. No, That's Wrong: Google's Bard AI Demo Spouts Incorrect Info. PCMag. 2023-02-08 [2023-02-08]. （原始内容存档于2023-02-08） （英语）.
- ^ 高兆麟. 谷歌AI機器人被揪答錯、股價閃崩 員工批CEO作法「倉促又拙劣」. ETtoday新闻云. 2023-02-11 [2023-02-11]. （原始内容存档于2023-02-11） （中文（繁体））.
- ^ 51.0 51.1 Morrison, Sara. Google is scrambling to catch up to Bing, of all things. Vox. 2023-02-08 [2023-02-08]. （原始内容存档于2023-02-08） （英语）.
- ^ Peers, Martin. What Google's AI Catch-Up Reveals. The Information. 2023-02-06 [2023-02-08]. （原始内容存档于2023-02-08） （英语）.
- ^ Roose, Kevin. Bing (Yes, Bing) Just Made Search Interesting Again. The New York Times. 2023-02-08 [2023-02-08]. ISSN 0362-4331. （原始内容存档于2023-02-08） （英语）.
- ^ Warren, Tom. Microsoft and Google are about to Open an AI battle. The Verge. 2023-02-07 [2023-02-08]. （原始内容存档于2023-02-08） （英语）.
- ^ Google Strikes Back In AI Battle With Microsoft. Barron's. AFP. 2023-02-08 [2023-02-08]. （原始内容存档于2023-02-08） （美国英语）.
The latest announcements however fell short of investor expectations [...] amid growing doubts that the company will fend off its rival. [...] Analysts have suggested Google has rushed its announcement under pressure from Microsoft
- ^ Patnaik, Davey Alba and Subrat. Google suffers $144b wipeout after Bard AI chatbot gives wrong answer. The Sydney Morning Herald. 2023-02-08 [2023-02-09]. （原始内容存档于2023-02-11） （英语）.
- ^ Miao, Hannah. Alphabet Stock Drops 8% After Google Rollout of AI Search Features. WSJ. 2022-02-08 [2023-02-08]. （原始内容存档于2023-02-08） （英语）.
- ^ Warren, Tom. Microsoft and Google are about to Open an AI battle. The Verge. 2023-02-07 [2023-02-08]. （原始内容存档于2023-02-07） （英语）.
- ^ Alba, Davey. ChatGPT Reignites the Search Wars Between Google and Microsoft. Bloomberg News. 2023-02-08 [2023-02-08]. （原始内容存档于2023-02-08） （英语）.
- ^ Elias, Jennifer. Google opens Bard A.I. for testing by users in U.S. and UK. CNBC. 2023-03-21 [2023-03-22]. （原始内容存档于2023-04-04）.
- ^ Thoppilan et al. 2022，section 3.
- ^ Thoppilan et al. 2022，section 3 and appendix E.
- ^ Thoppilan et al. 2022，section 5 and 6.
- ^ Hager, Ryne. How Google's LaMDA AI works, and why it seems so much smarter than it is. Android Police. 2022-06-16 [2022-06-19]. （原始内容存档于2022-06-16） （英语）.
- ^ Thoppilan et al. 2022，section 6.2.
- ^ Thoppilan et al. 2022，section 3 and appendix D.
外部链接[编辑]
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||