深寻工程师用汇编优化AI模型,效率惊人
快速阅读: DeepSeek利用汇编语言优化AI模型,提高数据处理效率,展现人类与硬件沟通的新方式。同时,DeepMind通过AI改进C语言中的sort()函数,进一步证明低级语言在特定领域的价值。
确实,如今在日常编程工作中使用汇编语言已经没有太多意义。高级语言的效率如此之高,以至于它们的抽象几乎总是更优。即使是汇编语言的发明者也转向了其他领域;布斯在1990年代的一篇论文中,使用神经网络来匹配海豹的叫声。索耶也是如此,他最近一直在尝试家庭自动化——灯光、温度传感器、音响系统等,都是用Python在树莓派上编写的,尽管他最初觉得Python“相当令人望而却步”。但在那小小的处理器上,它同样能很好地完成任务。
随后,像DeepSeek这样的技术再次提醒我们,人类仍能更好地与硬件沟通。今年早些时候,这家中国公司开发了极其高效的AI模型,颠覆了AI进步只能通过更多芯片和更多能源实现的观点。其中一个令人惊讶的原因是汇编语言。DeepSeek的工程师深入到了英伟达芯片的底层,命令每个单独的机器将数据从32位压缩到8位——牺牲精度以换取效率——在恰到好处的时刻。观察者们感到震惊。你能这样做?DeepSeek的工程师们挖掘了一门大多数人都已遗忘的艺术。
我在2023年也有类似的感触,当时DeepMind的研究人员教会了一台机器x86汇编语言,然后要求它改进C语言中长期存在的sort()函数。AI做出了奇怪且非直觉的选择,进行了不同寄存器之间的跳跃操作,最终节省了一个步骤。这可能只是一毫秒的一小部分。但随着新算法的正式采用,这种微小的改进每天都会发生无数次。
对我来说,这是提醒我们人类创造了这些机器,即使它们似乎变得复杂到超出了我们的理解范围,它们仍然在我们的掌控之中。我们总能让它们工作得更好。就像索耶在讲述他最近的树莓派家庭编码实验时所说的那样。可能是他的想象,但屏幕显示似乎有些滞后。如果可以的话,他会重新编写代码。但遗憾的是,索耶和机器并不说同一种汇编语言。
(以上内容均由Ai生成)