旧金山:全球最具影响力的人工智能(AI)专家之一Demis Hassabis对科技行业的其他人士发出警告:不要指望聊天机器人能像过去几年那样迅速发展。
一段时间以来,人工智能研究人员一直依靠一个相当简单的概念来改进他们的系统:从互联网上挑选的数据越多,他们将其注入大型语言模型(聊天机器人背后的技术),这些系统的表现就越好。
但负责b谷歌DeepMind(该公司的主要人工智能实验室)的哈萨比斯现在表示,这种方法正在失去动力,因为科技公司正在耗尽数据。
哈萨比斯本月在接受《纽约时报》采访时表示:“这个行业的每个人都看到了回报的递减。”当时他正准备接受诺贝尔奖,以表彰他在人工智能领域的成就。
哈萨比斯并不是唯一一位警告经济放缓的人工智能专家。对20位高管和研究人员的采访显示,人们普遍认为,科技行业正在遇到一个问题,就在几年前,许多人还认为这是不可想象的:他们已经用尽了互联网上可获得的大部分数字文本。
即使数十亿美元继续投入人工智能开发,这个问题也开始浮出水面。周二,人工智能数据公司Databricks表示,它即将获得100亿美元(合450亿令吉)的融资,这是有史以来规模最大的初创公司私募融资。科技领域最大的几家公司都表示,它们没有计划放慢在运行人工智能系统的大型数据中心上的支出。
并不是人工智能领域的每个人都对此感到担忧。包括OpenAI首席执行官萨姆·奥特曼在内的一些人表示,尽管对旧技术进行了一些调整,但进展将以同样的速度继续下去。人工智能初创公司Anthropic首席执行官达里奥?阿莫代伊和英伟达首席执行官黄仁勋也持乐观态度。
(《纽约时报》起诉了OpenAI,称其侵犯了与人工智能系统相关的新闻内容的版权。OpenAI否认了这些说法。)
这场争论的根源可以追溯到2020年,当时约翰霍普金斯大学(Johns Hopkins University)的理论物理学家贾里德·卡普兰(Jared Kaplan)发表了一篇研究论文,该论文显示,随着大型语言模型分析的数据越来越多,它们的功能越来越强大,也越来越逼真。
研究人员称卡普兰的发现为“缩放定律”。就像学生通过阅读更多的书来学习更多一样,人工智能系统也在从互联网上吸收越来越多的数字文本,包括新闻文章、聊天记录和计算机程序,从而得到改进。《纽约时报》今年的一项调查显示,OpenAI、b谷歌和meta等公司看到了这一现象的原始力量,竞相获取尽可能多的互联网数据,走投机取路,无视公司政策,甚至争论是否应该避开法律。
这是现代版的摩尔定律(Moore’s Law),后者是英特尔(Intel)联合创始人戈登?摩尔(Gordon Moore)在上世纪60年代创造的、经常被引用的格言。他展示了硅芯片上晶体管的数量每两年左右翻一番,稳步提高了世界上计算机的能力。摩尔定律维持了40年。但最终,它开始放缓。
问题是:尺度定律和摩尔定律都不是永恒不变的自然法则。它们只是聪明的观察。一个坚持了几十年。其他的保质期可能短得多。谷歌和卡普兰的新雇主Anthropic不能只是向他们的人工智能系统扔更多的文本,因为剩下的文本已经很少了。
哈萨比斯说:“在过去的三四年里,随着规模法则的实施,回报率非常高。”“但我们不再取得同样的进展。”
哈萨比斯表示,现有技术将在某些方面继续改进人工智能。但他说,他认为需要全新的想法来实现b谷歌和其他许多人一直在追求的目标:一台可以与人类大脑相媲美的机器。
Ilya Sutskever,作为b谷歌和OpenAI的研究员,在今年春天离开OpenAI去创建一家新公司之前,在推动行业向大方向发展方面发挥了重要作用,他在上周的一次演讲中也表达了同样的观点。“我们已经达到了数据峰值,不会再有了,”他说。“我们必须处理我们拥有的数据。只有一个互联网。”
哈萨比斯和其他人正在探索一种不同的方法。他们正在为大型语言模型开发从自己的试验和错误中学习的方法。例如,通过解决各种数学问题,语言模型可以学习哪些方法可以得到正确的答案,哪些方法不能。从本质上讲,模型在它们自己生成的数据上进行训练。研究人员称之为“合成数据”。
OpenAI最近发布了一个名为OpenAI 01的新系统,就是以这种方式构建的。但这种方法只适用于数学和计算机编程等领域,在这些领域,对与错有明确的区别。
即使在这些领域,人工智能系统也有犯错和编造错误的方式。这可能会阻碍构建能够编写自己的计算机程序并代表互联网用户采取行动的人工智能“代理”的努力,专家们认为这是人工智能最重要的技能之一。
对人类知识的广泛性进行分类则更加困难。
研究公司SemiAnalysis首席分析师迪伦·帕特尔(Dylan Patel)密切关注人工智能技术的兴起,他说:“这些方法只适用于经验上正确的领域,比如数学和科学。”“人文和艺术、道德和哲学问题要困难得多。”
奥尔特曼等人表示,这些新技术将继续推动这项技术向前发展。但如果进展停滞不前,其影响可能是深远的,即使是对因人工智能热潮而成为全球最有价值公司之一的英伟达(Nvidia)也是如此。
在上个月与分析师的电话会议上,黄被问及公司如何帮助客户度过潜在的经济放缓,以及这对其业务可能产生的影响。他表示,有证据表明,人工智能仍在取得进展,但企业也在人工智能芯片上测试新的流程和技术。
“因此,对我们基础设施的需求非常大,”黄说。
尽管他对英伟达的前景充满信心,但该公司的一些最大客户承认,他们必须为人工智能的发展速度可能不会像预期的那样快做好准备。
“我们不得不努力解决这个问题。这是真的还是假的?meta数据中心副总裁瑞秋·彼得森(Rachel Peterson)说。“这是一个很好的问题,因为所有的美元都被全面投入其中。-?2024纽约时报公司