对于这家公司来说,较旧的 AI 模型有时是最好的
快速阅读: 《技术监视器》消息,尽管生成式人工智能承诺简化内部流程,但一些用户发现最新模型不如早期版本直观。Open Opportunities创始人伊恩·马克吉尔表示,最新的大语言模型(LLMs)虽有潜力,但在实际应用中仍存在幻觉和不准确的问题。尽管如此,该公司仍在探索如何利用AI简化文档处理和数据收集,强调简单任务的成功率更高。
分享这篇文章复制链接在X上分享在领英上分享在Facebook上分享生成式人工智能承诺简化内部流程,但有些人却对此表示抗拒。(图片来源:Shutterstock)
传统观念认为,人工智能应当使生活更为轻松,而自主型人工智能则应使之更加便捷。然而,一些用户发现,尝试最新的大语言模型(LLMs)只会凸显早期模型的优雅和简洁。至少,这是全球招标搜索网站Open Opportunities的创始人伊恩·马克吉尔的经验。马克吉尔创立了这家公司,旨在为全球企业提供一个探索政府和公共部门采购机会的中心平台。该公司每天处理来自世界各地地方和国家行政部门的大约10,000份文件。更重要的是,这些文件并不总是设计成易于消化的形式。语言自然是一个问题,但许多文件在术语上也不一致,并且抵制机器分析和搜索协议的强加。“他们只是想完成规定的工作,”马克吉尔说,“他们并不是想被看到。”使这些材料更容易获取,他说,“是传统的、困难的工作。”这为他的公司提供了大量为用户提供增值服务的机会。显然,人工智能能够帮助实现这一目标。事实上,多年来这已经显而易见。
马克吉尔和他的团队是机器学习的早期采用者。早在2019年,他们就开始使用BERT,谷歌开创性的文档分类语言模型。这个早期的大语言模型在2018年推出时令人惊叹,其基础模型拥有超过一亿个参数。正如马克吉尔解释的那样,BERT优化了他们公司执行的任务类型。Open Opportunities能够进一步微调它,因为“这是一个开源模型,而且足够小,可以放入我们的基础设施中。”
但是,当然,自那以后,连续的模型提高了标准,或者至少提高了对人工智能所能实现事情的期望。因此,在过去的18个月里,马克吉尔和他的团队一直在试验更新的工具和模型。问题是,“它们的行为很奇怪,还会产生幻觉。它们会返回数据库中不存在的引用。”一个项目使用RAG来支持一个聊天机器人,该机器人旨在将自然语言转换为Open Opportunities数据库中的查询。使其正常工作意味着将语言转换为查询的过程变得如此复杂,“实际上,我们宁愿填写一张表格。”
Open Opportunities的伊恩·马克吉尔热衷于尝试使用人工智能处理文档的新方法。他很快发现,最新的模型并没有按预期表现。(照片:Open Opportunities)
部分问题在于,“模型的意图,模型的目标总是要服务于用户。”这种意图似乎以牺牲准确性为代价,导致数据库中并不存在的引用。正如马克吉尔所说,“如果你在进行数据分析,却无法计数,那你就有问题了。”模型想要做什么?
另一个项目试图使用生成式人工智能构建脚本以收集数据,实际上是自主型人工智能的应用。马克吉尔回忆道:“我们想,好吧,我们会给你一份来源列表。”“你可以出去编写机器人来收集这些来源,只要我们给你正确的输入。”然而,事实证明,该模型一次只能被指令编写一个脚本。“这还可以,”马克吉尔说,但测试和评估代码意味着“我们并没有节省太多时间。”
人工智能确实有用的地方是在解决错误问题方面。“用它作为配对编程的例子意味着我们花在繁琐问题解决上的时间减少了。但你不能一次性给它整个任务。”
另一个尝试使用Claude和ChatGPT等大语言模型绘制图表的努力也无果而终。马克吉尔解释说:“我们首先遇到的问题之一是,对于相同的数据,我们会得到不同的图表。”另一个问题是不一致的格式,例如轴标签或刻度。团队试图通过定义一个模板,然后告诉大语言模型将哪些数据倒入其中以动态创建新图表来解决这个问题。“这还算可以,”马克吉尔回忆道,“但我们发现它试图重新编写代码。”“人类在数据可视化中带来的某些细微差别就这样丢失了。”
并非所有Open Opportunities的大语言模型实验都失败了。“我们正在引入动态翻译功能,这非常成功,”马克吉尔说。“我们在进行更多的数据增强。”但总体而言,他说,为了获得可靠的结果,“我们交给人工智能的任务必须极其简单。”
时间或许会解决这些问题。Omdia云和数据中心研究实践首席分析师迈克尔·阿佐夫表示,证据表明大语言模型持续改进。阿佐夫说,这可能不会让我们很快达到通用人工智能(AGI),但“它将在企业应用领域产生高度破坏性和实用性的影响。”阿佐夫补充说,减少幻觉问题的最佳方法是提高上下文意识和巧妙的提示工程。阿佐夫表示,很难获得关于自主型人工智能系统的硬性数据。“但我的印象是,很多自主型人工智能仍在研发阶段。”
对于马克吉尔来说,虽然大语言模型最终可能会兑现其承诺,“但没有人知道,因为没有人了解它背后的工作原理。”就他而言,BERT仍然是最优秀的:至少对Open Opportunities而言,它“仍然优于自那以后创造的所有其他系统。”
(以上内容均由Ai生成)