「Scaling 时代已经终结。」
当这句话出自 Ilya Sutskever 之口时,整个 AI 社区都无法忽视。作为 Safe Superintelligence Inc. 的创始人,他在最新访谈中抛出的这一断言,不仅令业内震惊,更收获了诸多重量级人物的共鸣。
图片
这场由 Dwarkesh Patel 主持、长达 95 分钟的深度对话,上线短短数小时便在 X 平台上突破了百万浏览量。从大模型的技术现状到研究品味,再到对超级智能的终极构想,Ilya 毫无保留。
图片
以下是本次访谈的精华总结,带你读懂这位顶尖科学家的判断与展望。
视频地址:https://www.dwarkesh.com/p/ilya-sutskever-2
1. 模型能力的「参差不齐」(Model Jaggedness) 与泛化
现象: Ilya 指出当前模型存在一种奇怪的矛盾 —— 它们能在高难度的评测(Evals)中表现出色,却可能在简单的任务上反复犯错(如修 Bug 时引入新 Bug)。
解释: 他认为这可能源于「奖励黑客行为」(Reward Hacking)。人类研究员为了让评测分数好看,过度针对评测集进行强化学习(RL)训练,导致模型像是一个「只会做题」的学生,缺乏真正的理解和泛化能力。
对比: 他用「刷题家」与「有天赋的学生」做类比。目前的模型像刷了 10,000 小时题目的学生,虽然能解题但缺乏真正的智能;而人类(有天赋的学生)即使练习很少,也能展现出更好的泛化能力。
2. 情绪、价值函数与人类学习
情绪的本质: Ilya 提出一个深刻的见解,认为人类的情绪类似于机器学习中的价值函数 (Value Function)。情绪并非无用的累赘,而是进化的产物,帮助我们在漫长的时间跨度中,在获得最终结果之前就判断当前决策的好坏(例如下棋丢子时的「懊恼」)。
学习效率: 人类的学习效率远高于 AI(样本效率高)。这不仅仅是因为进化留下的先验知识(如视觉、运动),更因为人类拥有某种基于价值函数的内在学习机制,能够进行持续学习 (Continual Learning) 和自我纠正。
3. AI 发展的阶段转变:从「扩展」到「研究」
扩展时代 (Age of Scaling, 2020-2025): 过去几年,「扩展 (Scaling)」是主旋律,只要堆算力和数据(主要是预训练)就能获得提升。
研究时代 (Age of Research): 现在,预训练数据即将耗尽,且单纯扩大规模的回报在边际递减。我们重新回到了「研究时代」。这意味着不能只靠盲目扩大规模,而是要寻找新的「配方」(Recipe),更聪明地使用算力(例如在强化学习和推理过程中)。
4. Safe Superintelligence Inc. (SSI) 的战略
直通超级智能 (Straight-shotting): 与 OpenAI 等公司逐步发布产品不同,SSI 倾向于专注于研发,直到解决安全超级智能的问题后再发布。尽管 Ilya 也承认逐步发布有助于让世界适应,但他认为避免商业竞争的「老鼠赛跑」对安全至关重要。
技术路径: SSI 试图解决根本性的技术问题(如可靠的泛化),而不是仅仅在现有范式上修修补补。
商业模式: 目前专注于研究,不急于通过产品获利。