它会运行 Llama 2 吗？现在 dos 可以

快速阅读: 《黑客日》消息，新加坡程序员Yeo Kheng Meng成功将Meta的Llama 2语言模型压缩并移植到旧电脑上，甚至能在DOS 6.22和i386架构上运行。尽管486或Pentium 1等老设备速度较慢，但证明了古老硬件也能支持现代AI技术。

486能跑《孤岛危机》（《孤岛惊魂》）吗？当然不行。它能运行大型语言模型（LLM）吗？考虑到构建这种强大计算能力所需的巨大资源，许多人会觉得这个想法荒诞不经。但[Yeo Kheng Meng]并不是普通人。他搭建了几台DOS电脑，用于运行Meta原版Llama 2 LLM的简化版本。更确切地说，[Yeo Kheng Meng]正在实现[Andrey Karpathy]的Llama2.c库，我们之前提到过，它能够在Windows 98上运行。Llama2.c是一段精妙的编程代码，仅用七百行现代C语言风格便能推断出经过训练的Llama 2模型。不过，这七百行是现代C语言风格，因此将其移植到DOS 6.22和老旧的i386架构上是一项极具挑战性的任务。[Yeo Kheng Meng]记录了移植的过程，并对几款复古计算机进行了性能测试。虽然这样说有些伤感——是的，486或者Pentium 1如今也可以算是“复古”了。这些模型并不算大，当然，经过TinyStories训练的260 kB模型在普通的486机器上每秒可以生成2.08个标记。当然，更先进的机器能够更快地运行更大规模的模型。

有趣的是，一台Pentium M Thinkpad T24（真的已经过去21年了吗？）竟然比[Yeo Kheng Meng]的现代Ryzen 5台式机更快地运行了一个更大的110 MB模型。并非因为Pentium M的速度有多快，而是由于内存分配问题导致该模型无法在现代CPU上运行。慢工出细活，似乎就是这样。

此移植可以在所有32位i386硬件上运行，下一个挑战将是16位系统。如果有谁能使Llama 2在286或基于68000的机器上本地运行，那么我们或许应该停止问“它能跑《DOOM》吗？”转而问“它能跑LLM吗？”

(以上内容均由Ai生成)