从ICLR 2025学到的两点启示

zhCreated: 2025/5/16

作者参加了ICLR 2025会议,提出了关于当前AI发展和开放模型对学界与业界影响的深刻思考。

从ICLR 2025学到的两点启示

近些年的机器学习会议规模越来越大,不太合我的口味。这次我专程去了新加坡,只为了看两张海报和在联想记忆研讨会上的一场演讲。我用早晨听主题演讲、在海报区快步穿梭,以及和来自业界与学术界的朋友、同事交流近况,充实度过了会议时光。

图片 1 主题演讲前十五分钟

返程路上,我在机场遇到了Kyunghyun Cho。我们小酌畅谈彼此的收获。Cho总是富有见地;他曾发明注意力机制,也与韩国明星共进晚餐。于是当他说“你应该发推特!”时,我知道我该怎么做了。

今天想分享两点感悟。

一、认识我们所处的位置

要决定研究方向,首先要了解我们到底站在何处。

大语言模型(LLM)的发展和机器学习向人工智能的迅速转变使这一点变得尤为困难。现在很多研究人员都在努力评估我们究竟处于哪个阶段。一位主题演讲嘉宾认为,AI本质只是稀疏数据压缩的又一实例。有相当多的论文在探讨当下技术能否实现某些AI能力。

然而,这些研究者的实际观察和来自“大喇叭”上的言论之间有很大张力。“大喇叭”不断宣扬AI未来要实现什么、应该成为什么、不应该成为什么。这些宣传其实反映了商界领袖们的愿景,他们在想办法赚钱和获取权力。但他们和现实模型能力的联系十分薄弱:会说话=会思考?差不多就这样。

“大喇叭”要求我们把炒作变成现实。如何让LLM说真话?如何让它们推理?如何解数学题?如何写JavaScript游戏?我们为此做了大量努力,收获有限:有时模型奏效,有时却不灵。而与此同时,LLM在某些复杂任务上已几乎完美——它们能够生成流畅语言、任意风格对话、编故事并按指令改写。我们却并不真正明白现有模型是怎么做到这些的,甚至不理解此前的模型为什么做不到。

我们所处的阶段,不是由我们期待AI能够实现什么来定义的,而是由其已能近乎百分百完成的能力所界定的。在彻底搞清楚这些能力为什么、如何被实现之前,我们无法确切了解身在哪里,也无法可靠地决定该往哪走!

更多思考见《虚构机器》

二、AI不是一门生意,而是文化事业

我很幸运能在一个坚持公开研究成果的实验室和愿意向公众开放模型的公司工作。这让我在跟不那么幸运的同行交流时,不免带着些“幸灾乐祸”地提问:你们真相信我们马上就要进入超级智能直道冲刺了吗?你们为多抢两个月上市,是要付出多大的代价?

封闭模型对科研毫无用处,其内部机理不透明,连稳定对比都没法做。它们表现出来的是原创性,还是只是模仿用户的网络行为?而对开发者来说,这样的黑箱更糟糕:一切都押在也许并不安全、价格变幻无常的在线API上。我们已经两次见证了开源模型如何颠覆局面。Llama模型的影响力,并非因为其性能统治前沿,而是因为它的设计和权重都免费可得。DeepSeek冲击行业,同样不是单靠逼近最强模型,而是其新颖出处、论文质量过硬,以及开放设计和权重。正因如此,Llama和DeepSeek对领域未来的影响,甚至超过了可能性能更强的那些闭源模型。闭源模型真的更强吗?我无法确定,也坦率说并不在意。

更进一步想,谁成功部署了足够好的会话搜索引擎,或许可以动摇甚至取代谷歌的搜索引擎霸主地位。无疑这涉及巨大利益,也可能极大造福社会。我把这种现象叫做“Satya的花枪”,因为和让人类共享AI研究成果带来的文化影响相比,再大的商业利益也只是一点小奖赏。

如果我们不仅能发现,还能共享讨论AI的科学方法呢?那么我们同样能以科学方式讨论人类智能与认知。如此,机器学习的重大突破,将成为所有涉及认知的人类学科、所有艺术与科学的范式转变。这可和所谓AI取代艺术和科学完全不同,而且更令人兴奋:重点是“我们”,而不是机器。

AI的真正影响,将是对人类文化的深刻改造。

这条路会很艰难,既有好事也有坏事。但其意义可与文字发明、故事诞生比肩。相较之下,所谓聊天搜索引擎,不过是小打小闹。