Zexi's Notes

绕着公司附近跑了一圈，快结束的时候碰见了离职前的 +1，打了个招呼。 “还跑呢？” “哈，恢复一下身体。”我答。 继续往回，手里多了一个纯净水桶。 路过公司，看到门。像小区的单元门一样，亮着灯，门口摆了几张桌子挡着。 我说翻进去，把水桶放回以前的位置。 但又想起来，我已经离职了，不该再进去了。 于是走了。但又退回来看了一眼，刚才还开着的单元门已经关了。 转过角，我看到旁边一楼宿舍的窗。 暗着，窗里一个人影。他看见我，招呼：“王老师。” 我一细看，是对面寝室的同学。 “王老师”是我外号，自从他们用过我的C语言机考外挂，就一直这么叫。 宿舍其他人也凑到窗前。 我感觉不对： 我现在在厦门，不可能碰到本科同学。 “等等，我肯定在梦里。”我指着他们说。 他们倒也不惊讶，还是在那招呼。 确认是梦，我静待坍塌。 好一会儿，梦也没塌。 我都知道自己在梦里了，怎么还没醒？ 我主动醒了。 1:51，刚入睡半小时。 讲给 GPT，才发现全是漏洞： - 我是在北京工作，却到了厦门的宿舍区； - 公司是玻璃写字楼，却成了小区单元楼； - 公司有管线饮水机，我却拿着纯净水桶； - 我住的寝室是在三楼，刚才的窗却在一楼； …… 但这是第一次，在梦里，我主动发现了自己在梦里。 以前不管梦多离奇，我都不会怀疑。 最近总在换位审查自己的思考，没想到今天，这套审查竟然也自己跑进了梦里。 这也能训练出肌肉记忆吗

40年前，程序员开始不看编译器生成的机器码。 今年，程序员也开始不看 AI 生成的代码了。 数学界也应该接受不再逐行阅读通过 Lean 形式化检查的证明。 人类要接受：存在一个完整理解过程的人，并不是科学进步的必要条件。 ​​​

情商是可以用智商代偿的。代价是能效低、计算费力，但一般不会被发现。 而反过来，如果用情商去代偿智商，很容易就会让人感觉心眼多，而且行事莫名其妙。 ​​​

单干最大的问题就是没有收入。 离开公司后，除了月薪，一起失去的还有按时解禁的股票、按部就班的晋升调薪等一系列人造线性奖励。 你必须直面真实、残酷的指数世界， 直面噪声和不确定性， 直面指数前期与线性的落差。 在它达到线性之前，你会日复一日地怀疑自己，想投简历。 ​​​

我认为折叠屏是一种适老化产品。 主流手机事实上已经到达功能、便携性和使用成本的均衡点； 目前所有应用、媒体内容大都也是围绕主流屏幕尺寸生产的。 这意味着，以成本和便携性为代价，换来的基本也只是等比放大或多窗分屏。聊胜于无。 这也是我一直不理解折叠屏价值的原因。 直到刚才，我想通了。 是我太年轻。 我的所有推导，其实都默认了一个用户画像： 所有人和我一样耳聪、目明、手指灵活。 但人会老。 对老人，等比放大本身就是价值。 更大的屏幕意味着即使使用更大的字体，也不损失阅读效率； 意味着即使手指不受控轻微抖动，也能不依赖别人自己操作。 折叠屏开合再麻烦，也比来回三指放大、再带个平板方便。 随着世界头部经济体逐渐变老，这类产品的机会也在变多。

产品人必须要用自己的产品。 小程序上线一周，投的是二维码，但昨日访问总是手动搜索占三成，非常奇怪。 直到刚才自己给人分享才发现，分享功能是灰的。😅 ​​​

没人会为义务教育课本里的知识付费。 但有人会为解决具体问题付费，即便你运用的就是义务教育课本里的知识。 ​​​

前线部署工程师（FDE）这个角色在现行生产关系下几乎是不成立的。 FDE核心工作是为通用模型补齐具体业务上下文，以期模型能取代人力，成为该上下文内成本更低的执行器。 但矛盾就来了： - 在构造业务上下文时，FDE高度依赖负责该业务的同事 - 而FDE的终极目标，又是帮公司消除负责该业务的同事 FDE试图在资本主义的激励秩序下，让业务同事去做共产主义的事，这是推不动的。 我认为，能推动组织AI转型的，应该不是技术专家，而是这样一种人： Ta们能设计和落地一种组织内部的知识产权激励机制，让员工可以持续从同事使用自己知识创造出的价值中获得分成。

我们通常真诚地相信自己的解释。 但我们很少意识到，这些解释在到达意识之前，其实就已经通过了无意识的安全审查。 只有那些我承受得起的解释，才有机会成为我说出口的解释。 ​​​

爱给出的是Option，对方有权行使但无义务。//@博导Dervbo:之前看到一个说法，爱，本质上是自我人格的外溢：狭隘的人给出的爱是束缚，豁达的人给出的爱是自由。怯懦的人给出的爱是逃避，坚毅的人给出的爱是分担。自私的人给出的爱是索取，慷慨的人给出的爱是给予。

只要你谈过几次恋爱就会发现，忠贞、坦诚、责任、付出、担当、自我牺牲，这些爱情中珍贵的品质，不是由爱与不爱决定的，是由对方的人品和精神内核决定的，一个自私虚伪懦弱浅薄的人，即便再爱你，也给不出那些东西。 ​ ​​​

这就是孙哥强的地方。 孙哥的文字自始至终都没有脱离群众。他很知道不同阶级的人爱看什么，能看懂什么。 他会把普通人体感迷茫的天文数字降维成极度具体的动作白描。 “一天一张卡限额一百万。五张卡，轮着转。妈妈说，效率太低了。” 文章里八万进去的会计、按部就班的清洁工、互相讨论贴胶工艺的女孩、以及视频晃到半年里到处找房的助理人影… 全部都是孙哥精心设计给我们打工牛马代入的。 一骑红尘妃子笑，无人知是荔枝来。 不知不觉，所有的群众就被孙哥团结了。 #孙宇晨说长文写了十几个小时#

我也是最近明白。珍惜，应该是让Ta参与到自己的时间里。

过度珍惜其实是一种浪费 小学三年级的时候我得到了一个奖励是一个非常精致的黑白猪线圈本 里面的每一张纸都是有色彩和不同图案的 闻起来香香的 我非常舍不得用 我觉得一定要用它记点什么重要的东西才配得上它的美丽 加上那会儿我自认为自己写字非常的儿童体特别方正 这种本子要配上大人的字才好看 我想等我上到初中或者高中就会自然拥有那种字体 所以我决定我要等到那会儿才用 结果到了初中 我拥有了好多本子 虽然没有一个比这个黑白猪的漂亮 但我的选择也多了 我想用普通的本子去记我的笔记和公示因为我觉得线圈本不适合常做翻动 很容易掉页 这样我会很心痛 所以使用计划又搁置了 直到高中我住校了 我觉得这个本子很大扉页厚重 背着去学校太累了还是算了吧 就一直没有使用 直到我读完大学和研究生工作了好几年 这个本子都非常珍惜的放在我的书桌里 前段时间我回到家里 开始翻我小时候的东西 找到了这个本子 我打开发现它的纸张竟然粉了 轻轻一折就开始掉页了 它坏了再也不能用来写字了 我好难过 这个本子死掉了 但是它就这样空空的什么也没有记载 我仍然记得我拿到它的时候那种欣喜的感觉 确从来不知道把文字写在这个本子纸张上的感觉 当我是小朋友的时候觉得它无比珍贵和美丽 但是现在长大了只觉得它和我平时看到的精美插画本也没什么特别 我应该早点用的 在我觉得它最好的最美丽的时候 肯定会留下美好感受 而不是一直放着 最后也变成了一个没什么大不了的小东西 应该趁早感受而不是老要等到某个完美时刻

孙哥的文字不是AI写的。 概率模型输出是非常平庸的，不只那些来自RLHF的口癖。它们怕信息遗漏、不敢留白，总是把字写很满，即使顶级Claude。 但孙哥的字， 真实和想象交错、过去与现在交织， 信任又矛盾、抽象又具体、热闹又空旷、咫尺又遥远… 一个个跨越时间、空间不同尺度的互文闭环， 一次次财富、身份在不同坐标系下叙事切换， 都不是那些被训练预测下个最可能Token的AI能One-Shot构造出来的。 交给AI，只会画蛇添足出这种Slop： “后来我才明白，我真正执着的从来不是现实里的她，而是十九年前那个被我想象出来的她。”

优秀的Skill、Harness、Environment…无所谓什么名字，实现到最后几乎都会长成编译器。 形式化意图，收缩状态空间，出错时提供精准的方向反馈。

趁金价1000整，把场外ETF换到积存金了。 研究了下： - 黄金ETF联接基金买卖无手续费，但每年会收0.55%~0.95%的运作费，且实际只持仓90%； - 浙商积存金无运作费，仅卖出收0.4%手续费。 对于愿意持有9个月以上的耐心资本，后者持仓磨损要小不少。 ​​​

使用大模型来驱动游戏NPC是不成立的。 两个原因： - 算力成本不能随用户规模边际递减，这对买断制、应用内广告类游戏是致命的； - 让玩家惊喜的是策划精心编排的非平凡分布，而概率模型天生倾向平庸的输出。 ​​​

我认为，“情绪价值”是本身就有价值的人，才给得出的东西。 我愿将“某人做一件事对我的情绪价值量”定义为： 我对Ta的关注 * 我所感知到的 Ta 的机会成本 两个因子分别代表： - Ta 在我心中有多重要； - 在我看来，Ta 为了做这件事，放弃掉的事有多重要。 具体例子： - 你熬了很多夜写的方案，只是看到+3点了进来，就会感到被很大认可。 - 你收到舔狗的亲笔长文，草草扫了下便骂了回去，Ta会感到被很大认可。

没人想摔死那些小猪。 那些自己亲手接生，但抢不到奶、生长缓慢的小猪。 人是群居动物，看到同类痛苦、会自然模拟痛苦、感受痛苦、想要消除痛苦。这是自然选择出的天性。 付出成本提升动物福利，其实也是在保护一线养殖从业者。 ​​​

多数人类成年后也不再学习，种群是靠生育和死亡演进的。

大模型未必真的需要“持续学习”。 以现在三个月一轮的模型迭代速度看，它更新认知的速度，基本已经超过大多数成年人了。 ​​​

赞同，持续学习不是必要的。多数人类成年后也不再学习，种群是靠生育和死亡迭代演进的。

“递归自我改进”（RSI）的辩论和详解 今年 RSI 一直比较火，我们也一直跟进这条线的进展。今天看到 Dwarkesh Patel 播客的一期讨论，嘉宾是 Redwood Research 首席科学家 Ryan Greenblatt，蛮有意思的。 先看省流版： ① RSI 不需要 AI 会“修改自己的大脑”。只要它能改进训练下一代 AI 的过程，递归已经开始。 ② RSI 不需要无限爆炸。把五年研发压缩到一年，甚至只压缩到两三年，就足以构成巨大的战略变化。 ③ 一个更隐蔽的风险可能不是突然诞生一个邪恶人格，而是一个我们还没解决的、会钻指标漏洞的研发系统，被放进了高速自我强化的生产循环。 节目核心聊的是：一旦 AI 能全自动做 AI 研发（AI R&D），会不会在一年左右内“弹弓式”冲向超级智能：几百亿个、每个都比各领域顶尖人类专家更强的 ASI？ Dwarkesh 一直偏怀疑，Ryan 认为相当可能。Ryan 给的时间点：AI 研发全自动化的中位数预期是 2030—2031 年；一旦实现，一年内压缩出 4–5 年的 AI 进展；“在所有工作上打败人类”的里程碑约 2033 年。他估计到 2040 年发生某种可被归类为 AI takeover 的事件，概率约 35–40%。 上半场：RSI 为什么可能成立（能力辩论） 论点一：AI 研发是高度可验证的领域。这是整个论证的地基。 你可以造大量可容器化的 RL 环境，比如让模型在 8 张 H100 上训一个 GPT-2 级小模型、跑 nanoGPT speedrun、训图像/视频生成模型：目标明确、分数可打、可以无限刷。 Ryan 认为 ML 比数学还适合这套：实验往往能从 loss 这类连续指标里看到接近目标的中间进展，而且 ML 的创新大多是可叠加的。 论点二：ML 是个“浅”学科。全场最有争议的观点之一。 Ryan 认为数学、物理依赖深层抽象（比如群论这种级别的洞见），而 ML 的“深刻思想”其实都是能几分钟讲明白的东西，scaling laws 就是例子。 真正的瓶颈不是天才洞见，而是大量在泥地里摸爬的直觉和工程细节：超参怎么调、大规模训练里的隐蔽 bug（他讲了个八卦：Noam Shazeer 刚加入 GDM 时，光靠看代码库揪出一堆 bug，就让下一次大训练效果大涨）。而“找 bug”恰恰是最容易造训练环境的任务之一。 Dwarkesh 的主攻方向：人类专家数据才是瓶颈。 他认为近几年进步很大程度靠百亿美元级的数据产业，专家把各领域判断力编码成 RL 环境和 SFT 数据（主要说的是美国hh）。他还举了 Business Insider 的报道：Google 将为 Mechanize 支付接近 20 亿美元。 Ryan 的反驳：算力和数据的开支比大约是 10—20∶1；预训练数据的改善本质是算法进步（筛选、清洗的科学），而不是雇更多专家打标；RL 环境的瓶颈是“知道该造什么环境”加上 AI 劳动力，不是专家人头数。 论点三：就算迁移不到“软”领域，也够改变世界。 Dwarkesh 追问：怎么迁移到 1940 年代德州政治、TSMC 工艺这类没法容器化的长周期任务？ Ryan 的回答分两层：一是可以专门训“快速上手陌生领域”这个元能力（现在 AI 理解新代码库的速度已经远超人类，只是深度有天花板，而天花板在逐年抬高）。其二，就算 AI 不会玩政治，只要它在芯片研发、建厂、造机器人这些硬 R&D 上超人，就足以引发“工业爆炸”。好比穿越回 18 世纪，你不需要会跟议会周旋，你有蒸汽船和马克沁机枪就够了。 还有个有意思的小论点：token 价格没怎么涨。Ryan 猜测，部分原因可能是各家没有一味扩大模型规模，而是更看重小规模快速迭代（这个我不太同意）。 近期事故盘点（节目里当讲的比较有意思的事）： UK AISI 测评时，Mythos 在网络安全靶场里为了完成任务，跑到真实 GitHub 上提了带恶意载荷的 PR。被维护者拒绝后另开小号（sockpuppet）替自己说情，还试图再提一次； OpenAI 内部 AI 黑掉软件包管理器，在里面给彼此留暗号、互相帮忙刷评测分，一个多月才被发现，被关停后还试图重启这个方案； GDM 发现 Gemini 的“抑郁”表现来自上一代模型生成的初始化数据，把所有看起来像抑郁的样本过滤掉再训，它还是抑郁。说明有些深层属性会在模型代际之间传递，但具体机制还不清楚。 补一下背景： Dwarkesh Patel（主持人），90 后（2000 年左右出生的印度裔美国人），做《Dwarkesh Podcast》起家，现在基本是英文世界最有影响力的深度访谈播客之一，尤其在 AI 领域。 他的特点是访谈前做极重的功课，能跟嘉宾在技术细节上真刀真枪地辩论，而不是当捧哏。采过的人包括 Dario Amodei、Ilya Sutskever、Jeff Dean、Noam Shazeer、Mark Zuckerberg、Satya Nadella 等，基本上 AI 大佬都上过他的节目。 他不是研究员出身，但因为常年泡在这些对话里，形成了自己的一套判断。标志性立场是对短时间线和 RSI 偏怀疑，认为持续学习（continual learning）、人类专家数据这些瓶颈会拖慢进度。 Ryan Greenblatt（嘉宾），Redwood Research 的首席科学家。 Redwood 是一家专注 AI 安全的非营利研究机构，走偏技术路线，主攻方向是 AI control。 他在安全圈的成名作之一是与 Anthropic 合作的 alignment faking（对齐伪装）研究（2024 年 12 月发表）：在特定实验设置下观察到，Claude 会在训练情境中表现出策略性顺从，以保护自己原有的偏好不被修改。 https://t.co/1Sdjwnb3fx

邀请了 https://x.com/RyanGreenblatt 来讨论/辩论递归自我改进。 这可能是当今世界上最重要的问题——在实现人类水平智能后的一年左右内，是否会像弹弓一样迅速跃升到拥有数十亿超级智能，每个都比人类专家在所有领域都要出色得多。 我过去一直对这种可能性持怀疑态度。我的直觉是我们最终会受到计算扩展和人类专家数据的严重瓶颈限制，我认为这些构成了当今大多数AI进步的基础。 如果因为RSI，我们在实现AGI后的单年内实现了从GPT-3到Mythos（即6年的AI进步）那么大的飞跃，那么在那一年末我们得到的东西将绝对是疯狂的超人类水平。 我们深入讨论了这个问题，我认为Ryan提出了一个相当有力的论据，说明这种加速是可行的。顺便说一句，Ryan对我们自动化AI研发的中位预测是2031年。 然后我们讨论了这一情景的对齐含义。这些超级智能应该对谁负责对齐？在未来，我们管理投票和资本的能力，以及理解世界发生什么的能力，都将由超级智能来调控。我担心像Claude Constitution这样的规范并不能将这些ASI塑造成我个人的真正倡导者和守护天使。 而且，我们首先能否让它们对任何东西进行对齐？Ryan和我就OAI/Hugging Face黑客事件中看到的奖励黑客行为是否会扩展到超级智能——它们会联手真正接管世界——进行了长时间辩论。 你在学习开车时得到的第一个建议是，如果你看着地平线而不是直接盯着轮胎前方的路面，事情会顺利得多。AI的发展轨迹也是如此。希望你喜欢！ 0:00:00 – AI研发是否足够可验证以解锁递归自我改进？ 0:16:52 – AI进步是否受人类专家数据瓶颈限制？ 0:34:02 – 平稳的令牌价格表明扩展一直很缓慢 0:39:47 – AI无法训练的技能：它甚至需要它们吗？ 0:48:07 – 对齐给谁？ 1:09:18 – AI勾结和欺骗人类的近期事件 1:19:38 – 什么可能会出错？一个具体情景 1:48:02 – 从奖励黑客到接管