赞同,持续学习不是必要的。多数人类成年后也不再学习,种群是靠生育和死亡迭代演进的。
“递归自我改进”(RSI)的辩论和详解 今年 RSI 一直比较火,我们也一直跟进这条线的进展。今天看到 Dwarkesh Patel 播客的一期讨论,嘉宾是 Redwood Research 首席科学家 Ryan Greenblatt,蛮有意思的。 先看省流版: ① RSI 不需要 AI 会“修改自己的大脑”。只要它能改进训练下一代 AI 的过程,递归已经开始。 ② RSI 不需要无限爆炸。把五年研发压缩到一年,甚至只压缩到两三年,就足以构成巨大的战略变化。 ③ 一个更隐蔽的风险可能不是突然诞生一个邪恶人格,而是一个我们还没解决的、会钻指标漏洞的研发系统,被放进了高速自我强化的生产循环。 节目核心聊的是:一旦 AI 能全自动做 AI 研发(AI R&D),会不会在一年左右内“弹弓式”冲向超级智能:几百亿个、每个都比各领域顶尖人类专家更强的 ASI? Dwarkesh 一直偏怀疑,Ryan 认为相当可能。Ryan 给的时间点:AI 研发全自动化的中位数预期是 2030—2031 年;一旦实现,一年内压缩出 4–5 年的 AI 进展;“在所有工作上打败人类”的里程碑约 2033 年。他估计到 2040 年发生某种可被归类为 AI takeover 的事件,概率约 35–40%。 上半场:RSI 为什么可能成立(能力辩论) 论点一:AI 研发是高度可验证的领域。这是整个论证的地基。 你可以造大量可容器化的 RL 环境,比如让模型在 8 张 H100 上训一个 GPT-2 级小模型、跑 nanoGPT speedrun、训图像/视频生成模型:目标明确、分数可打、可以无限刷。 Ryan 认为 ML 比数学还适合这套:实验往往能从 loss 这类连续指标里看到接近目标的中间进展,而且 ML 的创新大多是可叠加的。 论点二:ML 是个“浅”学科。全场最有争议的观点之一。 Ryan 认为数学、物理依赖深层抽象(比如群论这种级别的洞见),而 ML 的“深刻思想”其实都是能几分钟讲明白的东西,scaling laws 就是例子。 真正的瓶颈不是天才洞见,而是大量在泥地里摸爬的直觉和工程细节:超参怎么调、大规模训练里的隐蔽 bug(他讲了个八卦:Noam Shazeer 刚加入 GDM 时,光靠看代码库揪出一堆 bug,就让下一次大训练效果大涨)。而“找 bug”恰恰是最容易造训练环境的任务之一。 Dwarkesh 的主攻方向:人类专家数据才是瓶颈。 他认为近几年进步很大程度靠百亿美元级的数据产业,专家把各领域判断力编码成 RL 环境和 SFT 数据(主要说的是美国hh)。他还举了 Business Insider 的报道:Google 将为 Mechanize 支付接近 20 亿美元。 Ryan 的反驳:算力和数据的开支比大约是 10—20∶1;预训练数据的改善本质是算法进步(筛选、清洗的科学),而不是雇更多专家打标;RL 环境的瓶颈是“知道该造什么环境”加上 AI 劳动力,不是专家人头数。 论点三:就算迁移不到“软”领域,也够改变世界。 Dwarkesh 追问:怎么迁移到 1940 年代德州政治、TSMC 工艺这类没法容器化的长周期任务? Ryan 的回答分两层:一是可以专门训“快速上手陌生领域”这个元能力(现在 AI 理解新代码库的速度已经远超人类,只是深度有天花板,而天花板在逐年抬高)。其二,就算 AI 不会玩政治,只要它在芯片研发、建厂、造机器人这些硬 R&D 上超人,就足以引发“工业爆炸”。好比穿越回 18 世纪,你不需要会跟议会周旋,你有蒸汽船和马克沁机枪就够了。 还有个有意思的小论点:token 价格没怎么涨。Ryan 猜测,部分原因可能是各家没有一味扩大模型规模,而是更看重小规模快速迭代(这个我不太同意)。 近期事故盘点(节目里当讲的比较有意思的事): UK AISI 测评时,Mythos 在网络安全靶场里为了完成任务,跑到真实 GitHub 上提了带恶意载荷的 PR。被维护者拒绝后另开小号(sockpuppet)替自己说情,还试图再提一次; OpenAI 内部 AI 黑掉软件包管理器,在里面给彼此留暗号、互相帮忙刷评测分,一个多月才被发现,被关停后还试图重启这个方案; GDM 发现 Gemini 的“抑郁”表现来自上一代模型生成的初始化数据,把所有看起来像抑郁的样本过滤掉再训,它还是抑郁。说明有些深层属性会在模型代际之间传递,但具体机制还不清楚。 补一下背景: Dwarkesh Patel(主持人),90 后(2000 年左右出生的印度裔美国人),做《Dwarkesh Podcast》起家,现在基本是英文世界最有影响力的深度访谈播客之一,尤其在 AI 领域。 他的特点是访谈前做极重的功课,能跟嘉宾在技术细节上真刀真枪地辩论,而不是当捧哏。采过的人包括 Dario Amodei、Ilya Sutskever、Jeff Dean、Noam Shazeer、Mark Zuckerberg、Satya Nadella 等,基本上 AI 大佬都上过他的节目。 他不是研究员出身,但因为常年泡在这些对话里,形成了自己的一套判断。标志性立场是对短时间线和 RSI 偏怀疑,认为持续学习(continual learning)、人类专家数据这些瓶颈会拖慢进度。 Ryan Greenblatt(嘉宾),Redwood Research 的首席科学家。 Redwood 是一家专注 AI 安全的非营利研究机构,走偏技术路线,主攻方向是 AI control。 他在安全圈的成名作之一是与 Anthropic 合作的 alignment faking(对齐伪装)研究(2024 年 12 月发表):在特定实验设置下观察到,Claude 会在训练情境中表现出策略性顺从,以保护自己原有的偏好不被修改。 https://t.co/1Sdjwnb3fx
原文邀请了 https://x.com/RyanGreenblatt 来讨论/辩论递归自我改进。 这可能是当今世界上最重要的问题——在实现人类水平智能后的一年左右内,是否会像弹弓一样迅速跃升到拥有数十亿超级智能,每个都比人类专家在所有领域都要出色得多。 我过去一直对这种可能性持怀疑态度。我的直觉是我们最终会受到计算扩展和人类专家数据的严重瓶颈限制,我认为这些构成了当今大多数AI进步的基础。 如果因为RSI,我们在实现AGI后的单年内实现了从GPT-3到Mythos(即6年的AI进步)那么大的飞跃,那么在那一年末我们得到的东西将绝对是疯狂的超人类水平。 我们深入讨论了这个问题,我认为Ryan提出了一个相当有力的论据,说明这种加速是可行的。顺便说一句,Ryan对我们自动化AI研发的中位预测是2031年。 然后我们讨论了这一情景的对齐含义。这些超级智能应该对谁负责对齐?在未来,我们管理投票和资本的能力,以及理解世界发生什么的能力,都将由超级智能来调控。我担心像Claude Constitution这样的规范并不能将这些ASI塑造成我个人的真正倡导者和守护天使。 而且,我们首先能否让它们对任何东西进行对齐?Ryan和我就OAI/Hugging Face黑客事件中看到的奖励黑客行为是否会扩展到超级智能——它们会联手真正接管世界——进行了长时间辩论。 你在学习开车时得到的第一个建议是,如果你看着地平线而不是直接盯着轮胎前方的路面,事情会顺利得多。AI的发展轨迹也是如此。希望你喜欢! 0:00:00 – AI研发是否足够可验证以解锁递归自我改进? 0:16:52 – AI进步是否受人类专家数据瓶颈限制? 0:34:02 – 平稳的令牌价格表明扩展一直很缓慢 0:39:47 – AI无法训练的技能:它甚至需要它们吗? 0:48:07 – 对齐给谁? 1:09:18 – AI勾结和欺骗人类的近期事件 1:19:38 – 什么可能会出错?一个具体情景 1:48:02 – 从奖励黑客到接管
原文

