后 LLM 时代：AI 的新视野与知识、协作和共同进化

快速阅读: 据《Newswise （新闻稿）》称，一篇发表于《工程》期刊的论文探讨了超越大型语言模型的AI未来，提出知识赋能、模型协作与共进化三大方向，以提升AI性能与适应性。

新闻稿 — 最近发表在《工程》期刊上的一篇论文探讨了超越大型语言模型（LLMs）的人工智能（AI）的未来。尽管LLMs在多模态任务中取得了显著进展，但它们仍面临信息过时、幻觉、效率低下和可解释性不足等限制。为了解决这些问题，研究人员探索了三个关键方向：知识赋能、模型协作和模型共进化。

知识赋能的目标是将外部知识整合到LLMs中。这可以通过多种方法实现，包括将知识融入训练目标、指令调优、检索增强推理和知识提示。例如，一些研究在预训练过程中设计了知识感知的损失函数，而另一些研究则采用检索增强生成，在推理过程中动态获取相关知识。这些技术提高了LLMs的事实准确性、推理能力和可解释性。

模型协作侧重于利用不同模型的互补优势。它包括基于不同功能模型的模型融合与协作策略。模型融合，如模型集成和模型融合（例如专家混合模型），通过结合多个模型来提升性能。在功能模型协作中，LLMs可以作为任务协调者，协调专业的小型模型。例如，在图像生成任务中，LLMs可以指导专用模型更好地满足用户的提示要求。

模型共进化使多个模型能够共同成长。针对不同的异质性类型——模型异质性、任务异质性和数据异质性——已经提出了各种技术。对于模型异质性，使用的方法包括参数共享、双知识蒸馏和基于超网络的参数投影。面对任务异质性，双学习、对抗式学习和模型融合起到了重要作用。在处理数据异质性时，联邦学习和跨分布知识蒸馏是关键技术。这些方法增强了模型的适应能力，提升了其处理多样化任务的能力。

后LLM的进步具有深远的影响。在科学领域，它们通过融入特定领域的知识，有助于新假设的提出。例如，在气象学中，整合了领域知识的AI模型可以提高可再生能源的预测效果。在工程领域，它们有助于问题的发现和解决。在社会领域，它们可以应用于医疗保健和交通管理等多个方面。

展望未来，论文还指出了几个未来的研究方向，包括具身智能、类脑AI、非Transformer基础模型以及基于LLM的模型生成。这些领域在进一步推动AI能力方面具有巨大潜力。

随着人工智能的不断发展，知识整合、模型协作与共进化将成为构建更强大、高效和智能的AI系统的关键。这篇题为《知识赋能、协作与共进化的AI模型：后LLM路线图》的论文由吴飞、沈涛、托马斯·贝克、陈敬源、黄刚、金耀初、匡坤、李梦泽、卢策武、苗家旭、王永伟、魏英、吴凡、颜俊驰、杨红霞、杨毅、张圣宇、赵周、庄雨亭、潘云鹤撰写。

开放获取文章全文：https://doi.org/10.1016/j.eng.2024.12.008。有关《工程》期刊的更多信息，请关注X（即Twitter）：https://twitter.com/EngineeringJrnl 并点赞Facebook：https://www.facebook.com/EngineeringJrnl。

(以上内容均由Ai生成)