没有人会再变得 GPU 不佳

快速阅读: 《印度分析杂志》消息，小型高效大型语言模型崛起，可在单个GPU上运行且性能不减。开发者和小企业能用消费级硬件运行先进AI模型，降低硬件成本。例如，Gemma 3和Command A等模型优化了资源使用，提升了多语言和推理能力。微软和英伟达也推出相关产品，开源框架进一步推动LLM的普及。无GPU环境下也能流畅运行超大模型，AI正变得更为实用、易用和经济。

近来，一批体积更小、效率更高的大型语言模型（LLM）正在崛起，这些模型能够在单个GPU上运行且不牺牲性能。这类模型让开发者、小企业和普通爱好者能够利用消费级硬件本地运行先进的AI模型。正如前英伟达高级软件系统工程师博扬·通古兹曾经打趣道：“祝福那些没有GPU的人吧，因为他们将继承通用人工智能。”X平台上的用户评论道：“与Mistral Large或Llama 3 405B相比，后者需要多达32个GPU——Gemma 3降低了成本，为创作者开辟了新天地。”值得注意的是，单个NVIDIA RTX或H100 GPU比多GPU集群便宜得多，这使AI对初创企业和个人开发者更加可行。通过在单个NVIDIA H100 GPU上以较低精度运行，具体采用16位浮点（FP16）运算，这是现代AI模型优化性能的常见做法。量化技术将模型精度降至16位（FP16）、8位（INT8）甚至4位（INT4），显著减小模型大小，并在GPU和边缘设备上加速推理过程。

在架构设计上，Gemma 3 在词嵌入方面采用了共享或绑定的语言模型（LM）头，这在其线性层配置中得以体现，其中LM头权重与输入嵌入绑定。同样，Cohere 最近推出了 Command A，这是一个模型，其性能优于领先的专有和开放权重模型如GPT-4o和DeepSeek-V3，同时硬件成本更低。根据该公司所述，它非常适合私有部署，在仅需两个GPU的情况下表现出色，擅长关键业务代理任务和多语言任务，而其他模型通常需要多达32个。“只需两个A100s或H100s的服务足迹，它所需的计算能力远低于市场上的其他可比模型。这对私有部署尤为重要，”公司在其博客文章中说道。它提供256k的上下文长度——是大多数领先模型的两倍——允许处理更长的企业文档。其他关键功能包括Cohere的高级检索增强生成（RAG）及可验证引用、代理工具使用、企业级安全性和强大的多语言性能。

微软近期推出了Phi-4-multimodal和Phi-4-mini，这是其Phi家族小型语言模型（SLM）的最新成员。这些模型已整合至微软生态系统。英伟达称，其推出的名为DIGITS的紧凑型超级计算机，面向全球的人工智能研究人员、数据科学家和学生。它可以本地运行最多2000亿参数的LLM，而当两个单元连接在一起时，可以支持两倍大小的模型。此外，开源框架促进了在单个GPU上运行LLM。Predibase的开源项目LoRAX允许用户在一个GPU上服务数千个微调模型，降低成本而不影响速度或性能。LoRAX支持多种LLM作为基础模型，包括Llama（包括Code Llama）、Mistral（包括Zephyr）和Qwen。它具备动态适配器加载功能，在每次请求中即时合并多个适配器以创建强大的集成，不会阻塞并发请求。异构连续批处理将使用不同适配器的请求打包到同一个批次中，确保低延迟和稳定的吞吐量。适配器交换调度通过异步预加载和在GPU与CPU内存间卸载适配器优化内存管理。高性能推理优化，包括张量并行、预编译CUDA内核、量化和标记流式传输，进一步提升速度和效率。

日前，AIM采访了来自美国的软件工程师约翰·莱因格伯，他拥有两年工程经验，并成功在无GPU环境下运行了参数达6710亿的DeepSeek-R1模型。他通过在快速NVMe SSD上运行量化非蒸馏版模型实现了这一点。他使用了Unsloth AI开发的量化非蒸馏版模型，尽管压缩至仅212 GB，但仍保持良好质量。原生为8位，这使其默认高效。他禁用了NVIDIA RTX 3090 Ti显卡后运行了该模型，该游戏主机配备96 GB RAM和24 GB VRAM。他解释说：“秘诀”是仅加载KV缓存到RAM，同时让llama.cpp按默认方式处理模型文件——直接从快速NVMe SSD内存映射（mmap）。他说：“其余系统内存充当活动权重的磁盘缓存。”

随着LLM现在能够在单个GPU上运行——甚至不需要一个——人工智能正变得更实用。随着硬件进步和新技术不断涌现，未来几年人工智能将变得更加易用、负担得起和强大。

(以上内容均由Ai生成)