AI为什么能举一反三？没人说得清

一个网络在几百万张猫图上学到了"猫"这个概念，却没在训练集里见过任何一张完整的猫。这事儿本身就很诡异。Astral Codex Ten的Scott Alexander把这件事拎出来深挖——AI的泛化能力至今没有令人信服的理论解释。我们训练模型靠梯度下降，可数学上完全无法从损失函数推导出"它应该能理解概念"。学界有人说是贝叶斯推理的副产品，有人说是数据里藏着隐式特征。我的判断：这不是技术债，是认识论债务。我们花了几万亿参数堆出来的东西，居然说不清它为什么能work。这比任何算力瓶颈都危险。

原文：Mysteries of AI Generalization · 来源：Hacker News