概率分布不该是平坦的——信息几何为什么逼你换直觉

你试过把一个概率分布"摊平"看吗？多数人没有。信息几何做的事很直接：把概率分布扔进流形，让微分几何的工具来度量它。这不是一句口号，而是对统计推断底层结构的重构。文章从多个角度拆解了这个领域的面貌——Fisher 信息度量、自然梯度、指数族与混合族的对偶性。我读下来的判断是，信息几何最大的价值不在于公式优雅，而在于它逼着你放弃"参数空间等于样本空间"的偷懒直觉。当你训练神经网络的损失景观时，平坦区域的梯度方向其实取决于曲率。这不是玄学，是几何。下一步该用信息几何重新审视优化器，而不是继续调学习率。

原文：The Many Faces of Information Geometry [2023] · 来源：Hacker News