当Transformer遇上Z1,计算的起点可能被重新定义

原创
alex 6小时前 阅读数 4 #头条
我翻到这篇文章时先愣了一下——Transformer架构已经够卷了,居然有人把它往Z1身上套。Z1是1938年的机械计算机,连电子管都没有,用继电器拼出来的。把今天最前沿的注意力机制搬去理解一台86年前的机器,这个组合本身就挺荒诞。但我读完反而觉得这个思路值得认真对待:如果Transformer的核心在于用注意力权重重新组合信息单元,那它本质上就是在做一种可分层的、可组合的信息处理范式——这个范式和Z1用继电器模块拼接逻辑单元的思路,可能在更抽象的层面上是同构的。不是要复古,而是想找一个比GPU更原始的锚点,去追问计算到底是什么。

原文:Transformer-Like Models for Z1 · 来源:Hacker News

版权声明

所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除