程序员开发了一个周末在 dos 上本地运行 Llama 2 的方法

快速阅读: 据《技术点》称，单人开发者叶劲孟在周末成功将开源Llama 2模型移植到DOS环境。他利用llama2.c代码，克服内存与编译器限制，在旧机器如ThinkPad T42上实现离线推理，证明较新硬件提升性能，同时感叹开源贡献使复古计算接入AI成为可能。

怀旧幻觉：单人开发者在周末尝试在旧式DOS机器上运行Llama 2大模型

得益于开源代码的易得性，这一项目最终取得成功。然而，将Llama 2适配到古老的DOS环境并非易事。叶劲孟，这位曾因开发适用于ChatGPT的DOS客户端而闻名的程序员，最近启动了一项新的与人工智能相关的项目，专注于过去基于提示词的计算环境。他的最新努力是一个完全基于DOS的大型语言模型（LLM），能够在离线状态下执行推理任务。

一名单人开发者在周末尝试在旧式基于DOS的机器上运行Llama 2大语言模型。得益于开源代码的易得性，该项目最终取得了成功。然而，将Llama 2适配到古老的DOS环境并不轻松。叶劲孟开发了DOS版的LLM客户端，使用的正是Meta公司在2023年发布的Llama 2模型。他在具有较旧和较新组件的系统上测试了软件，提供了ThinkPad T42（2004）与Toshiba Satellite 315CDT（1996）的性能对比。不出所料，在较旧的系统上运行LLM耗时长久。

他借助开源项目llama2.c的帮助，开发了一个全面的DOS版LLM。llama2.c旨在快速将Llama 2模型移植到各种系统和硬件平台上。叶劲孟解释说，尽管llama2.c是为了可移植性而编写的，但它仍然需要一些编码调整以应对复古计算环境的挑战。

程序员必须选择正确的DOS扩展程序以访问超过传统640KB常规内存的大内存池。他还不得不修改OWC编译器，因为llama2.c需要一个具有相对现代功能的C编译器。在调整完编译过程后，叶劲孟创建了一个完全工作的llama2二进制文件，可以在他的DOS系统上运行。

该程序员对运行MS-DOS 6.22的各种系统的基准进行了测试，从一台古老的486 DX2 66MHz PC到一台现代Ryzen架构的个人电脑。不出所料，较新的系统提供了更快的推理速度。令人惊讶的是，搭载1.7GHz Pentium M处理器的ThinkPad T42表现优于发布16年后的ThinkPad X13G1。

叶劲孟称将llama2.c测试、文档化并移植到DOS的过程视为一个周末项目。他感谢开放源代码llama2.c的Andrej Karpathy，使之成为可能。如果没有Karpathy和叶劲孟的努力，复古系统可能会避免当前这种容易引发幻觉的人工智能潮流。

(以上内容均由Ai生成)