不用Transformer，Rust手搓语言模型到底靠谱吗？

又一个人在跟Transformer较劲。PSSA，用Rust从头手写的非Transformer语言模型，刚上Hacker News。没论文，没公司背书，就一段代码和一篇说明。 为什么非要绕开？Transformer统治NLP六年了，算力随序列长度平方增长，内存吃紧，部署重。有人觉得这条路走不通了。 我的判断：现阶段这更像探索性实验，性能大概率打不过成熟Transformer方案。但探索本身有价值——它可能暴露我们习以为常的盲区。Rust在内存安全和推理速度上有天然优势，如果目标就是边缘部署，这条路未必是死胡同。 十年前的Transformer，也没人当回事。

原文：PSSA: A non-transformer language model written from scratch in Rust · 来源：Hacker News