Karpathy提出图像输入或成大语言模型新趋势

快速阅读: 特斯拉前自动驾驶负责人、OpenAI联合创始人Andrej Karpathy提出，图像输入比传统文本输入更高效，可提升信息压缩率、表达丰富性和注意力机制优化，引发AI研究社区广泛讨论。

特斯拉前自动驾驶负责人、OpenAI联合创始人Andrej Karpathy近日在推特上评论了开源的DeepSeek-OCR论文,提出了一个颇具启发性的观点:相比传统文本输入,图像作为大语言模型(LLM)的输入形式可能更加高效。这一观点在AI研究社区引发了关于模型输入方式未来演进方向的讨论。

Karpathy认为,当前广泛使用的文本token输入方式可能既浪费又低效,未来研究或许应该转向图像输入。他从几个维度阐述了图像输入相比文本输入的潜在优势。

首先是信息压缩率的提升。将文本渲染成图像后,可以用更少的视觉token传递更多信息。这是因为一个图像patch可以包含多个字符的信息,而在传统文本tokenization中,每个字符或子词都需要单独的token。在处理大规模上下文时,这种压缩可能显著提升模型效率,降低计算成本。

其次是信息表达的丰富性。图像输入天然支持加粗、颜色、字体大小、布局等视觉元素,这些格式信息在传统纯文本输入中要么丢失,要么需要通过额外的标记语言(如Markdown)来表示,后者又会增加token消耗。直接使用图像可以让模型更自然地理解文档的视觉结构和强调重点。

第三是注意力机制的优化空间。图像输入可以使用双向注意力机制,而传统的文本生成任务通常采用自回归的因果注意力。双向注意力能够让模型同时关注上下文的所有位置,通常能提供更强的理解能力。这种处理方式避免了自回归文本处理的一些固有限制。

Karpathy特别批评了tokenizer(分词器)的复杂性。他认为tokenizer是一个非端到端的历史遗留模块,引入了许多不必要的复杂性。例如,视觉上相同的字符可能因为来自不同Unicode编码而被映射到不同的token,导致模型对看似相同的输入产生不同的理解。去掉tokenizer直接处理图像,将使整个系统更加简洁统一。

从技术实现角度看,Karpathy的观点建立在视觉编码器已经相当成熟的基础上。Vision Transformer等架构已经能够高效处理图像输入,而DeepSeek-OCR等模型证明了视觉到文本的转换可以达到很高的准确率。将这种能力推广到所有文本处理任务,在技术上具有可行性。

不过Karpathy也指出了一个不对称性:虽然用户输入可以是图像,但模型输出仍需要保持为文本形式,因为生成逼真的图像仍然是一个未完全解决的问题。这意味着即使采用图像输入,模型架构仍需要支持文本生成,不能完全摒弃文本处理能力。

这一观点引发的讨论涉及多个层面。从效率角度看,如果图像输入确实能提高信息密度,在处理长文档和大规模上下文时将有明显优势。从统一性角度看,图像输入可以将文档理解、OCR、多模态问答等任务统一到同一框架下,简化模型架构。

但图像输入也面临挑战。首先是计算成本,虽然信息密度更高,但图像编码本身的计算开销可能抵消部分收益。其次是可编辑性,纯文本易于编辑和操作,而图像形式的”文本”在后续处理中会失去这种灵活性。第三是生态兼容性,现有的大量文本数据和工具链都基于字符/token表示,完全转向图像输入需要重建整个生态系统。

从研究方向来看,Karpathy的观点提示了一个有趣的可能性:随着视觉模型能力的提升,传统的”语言模型”可能演变为更通用的”信息处理模型”,其中文本只是信息的一种呈现形式,而非 唯一 的输入表示。这种转变可能模糊语言模型和多模态模型之间的界限。

DeepSeek-OCR论文成为这一讨论的契机,说明OCR任务已经从单纯的字符识别演变为更深层的文档理解。如果OCR模型能够准确理解各种格式和布局的文本,那么将所有文本任务都视为”视觉理解”任务在概念上是合理的。

Karpathy的自嘲——”得控制住不要立刻去开发只支持图像输入的聊天机器人”——既表达了对这一想法的兴趣,也暗示了实际落地的复杂性。这种激进的架构转变需要大量实验验证,证明其在各种任务上的有效性,同时解决上述提到的各种实际挑战。

从产业应用角度看,即使图像输入最终被证明更优,过渡也会是渐进的。更可能的路径是混合模式:在需要保留视觉格式信息的场景使用图像输入,在需要灵活编辑和组合的场景使用文本输入。这种混合策略可以兼顾两种方式的优势。

总体而言,Karpathy的观点提出了一个值得深入探索的研究方向,挑战了文本token作为语言模型标准输入的固有假设。无论这一愿景是否完全实现,它都为思考模型输入表示的优化提供了新的视角,可能催生新一代更高效、更统一的AI架构。

(以上内容均由Ai生成)