同一模型跑两块板子，答案却不一样——问题出在哪？

我把同一个大语言模型扔进MacBook和Jetson，喂一模一样的prompt，出来的回答竟然对不上。不是幻觉，不是随机采样——纯粹是硬件差异。MacBook走Apple Silicon的矩阵运算路径，Jetson跑NVIDIA的CUDA浮点管线，两者的累加顺序、舍入策略甚至并行线程调度都可能不同。一位叫Kernwerk的开发者把这事扒得明明白白：连bit-level数值精度都有偏差，累积到几百个token的推理链上，输出自然分叉。这意味着什么？意味着如果你指望边缘设备上跑大模型能复现云端结果，得先接受"同一模型不等于同一模型"这个现实。部署前的对齐验证，不再是锦上添花，而是底线。

原文：Same LLM, same input tokens, different answers on a MacBook and a Jetson · 来源：Hacker News