光子计算需要更多的非线性:声学可以提供帮助
快速阅读: 据《科学日报》最新报道,研究团队开发了基于声波的全光控激活函数,无需转换到电子域,可提升光学神经网络的能效。此方法支持灵活调整,能在现有光纤系统中实现,有助于全光计算发展。
人工智能(AI)被广泛应用并设计用于增强人类技能,例如数据分析、文本生成和图像识别。在许多领域,其性能已超越人类,例如在速度方面。手动完成可能需要数小时的任务可以在几秒钟内完成。另一种选择是基于受大脑启发的人工神经网络的AI。类似于人脑中的神经元结构,神经网络的节点以非常复杂的方式相互连接。目前,它们通常通过数字连接实现。近期在训练大型语言模型等AI领域的经验表明,其能耗巨大,并且在未来几年将呈指数级增长。因此,科学家们正积极研究解决方案,并探索不同的物理系统,这些系统可以支持或部分取代电子系统以完成某些任务。这些网络可以基于光学材料、分子结构、DNA链,甚至是蘑菇结构。
光学和光子学相比传统电子系统具有诸多优势。光学和光子学具有高带宽和高维符号编码的优势——这些都是通信系统加速的原因。光子系统已相当成熟,并常支持并行处理并与现有的系统(如基于光纤的全球互联网)连接。在扩展时,光子学还承诺对复杂问题具有更低的能耗。目前,研究团队正利用这些资源和知识,以多种方式实现光学神经网络。然而,必须解决许多关键挑战,例如光子硬件的扩展和神经网络的可重构性。
首次展示了一种基于声波的全光控激活函数。Stiller实验室的研究人员专注于光声学,并特别关注声波介导的光学神经网络所面临的挑战。为扩展光学神经网络,他们现已开发出一种可全光控的激活函数。信息无需从光学域转换回电子域。这一进展对光子计算而言意义重大,这是一种物理模拟计算替代方案,长期来看有望实现节能的人工智能。
一个简单的神经网络由输入信息的加权求和及非线性激活函数构成。非线性激活函数对深度学习模型学习解决复杂任务至关重要。在光学神经网络中,这些部分也应在光子域中实现。针对加权求和——即矩阵运算——已有多种光子方法。但非线性激活函数的方法较少,仅有少数被实验验证。“创建更节能的光学神经网络的长远前景取决于我们能否扩展物理计算系统。”研究组“量子光声学”的负责人Birgit Stiller说道。
光子非线性激活函数是人工神经网络中非线性激活函数的光学版本,但使用光子设备而非电子设备实现。它为光子计算系统引入非线性,使全光神经网络和光学机器学习加速器成为可能。激活函数的例子有ReLU、Sigmoid和tanh函数,它们可将输入的加权和转化为人工神经网络。声波可用作有效光子激活函数的媒介。来自马克斯·普朗克研究所(MPL)和汉诺威大学(LUH)的Stiller研究小组的科学家与麻省理工学院(MIT)的Dirk Englund合作,现已证明声波可作为有效光子激活函数的媒介。光学信息无需离开光学域,可在光纤或光子波导中直接处理。通过受激布里渊散射效应,光学输入信息会随光强水平发生非线性变化。
“我们的光子激活函数可灵活调整:我们实现了Sigmoid、ReLU和二次函数,并且该概念还可根据需求提供更奇异的功能,如果需要处理某些类型的任务的话,”两位主要作者之一Grigorii Slinkov说。另一位主要作者Steven Becker补充道:“一个有趣的优点来自于受激布里渊散射中的严格相位匹配规则:不同光学频率——用于并行计算——可单独处理,这可能会提高神经网络的计算性能。”
在光学神经网络中加入光子激活函数可保留光学数据的带宽,避免电光转换并保持信号的相干性。借助声波对非线性激活函数进行的多样化控制使得该方案可以在现有的光纤系统和光子芯片中实现。
(以上内容均由Ai生成)