案例研究：AI Agent 将 API 连接器开发时间缩短到几分钟

快速阅读: 据《新堆栈》最新报道，Fractional AI为开源数据集成公司Airbyte开发的AI驱动API连接器构建器，大幅缩短了API集成连接器的开发时间，从几天减少到几分钟，提升了开发效率。

AI代理 / API管理 / 软件开发
案例研究：AI代理将API连接器开发时间缩短至几分钟

Fractional AI的AI驱动API连接器构建器使Airbyte客户的数仓集成工作从几天缩短到了几分钟。

**案例研究：AI代理将API连接器开发时间缩短至几分钟**
2025年4月15日 下午2:00 作者 洛兰·劳森
图片由盖蒂图片社通过Unsplash提供

软件开发公司Fractional AI认为，AI的最大受益者将是那些利用生成式AI提升运营效率并优化产品的非AI公司。

为此，Fractional AI为开源数据集成公司Airbyte开发了一款AI代理，用于构建API集成的连接器。但这些由AI创建的连接器无需几天的手动编码，只需几分钟即可完成。

“我们正处于快速发展的阶段，这非常有趣，”Fractional AI的首席执行官克里斯·泰勒在接受The New Stack采访时说道。“参与许多前沿领域的酷炫项目非常有趣。”

Airbyte是一款开源的数据集成引擎，用于将数据迁移到仓库、数据湖或数据库中。它通常用于从软件即服务（SaaS）产品中抽取数据，当然这需要与这些SaaS API建立连接。

例如，如果有人想将Shopify的销售数据与Zendesk的客户支持数据结合起来，Airbyte可以用来设置数据管道，从Shopify提取客户数据，并从Zendesk提取客户支持工单，然后将其全部加载到数据仓库中。

Airbyte已经有一套连接器库来支持这种集成工作——但该公司设想简化成千上万种连接器的创建，以连接更多的SaaS产品。

“他们的软件是从第三方SaaS工具中提取数据，并将数据导入数据仓库，”Fractional AI的首席技术官埃迪·西格尔告诉The New Stack。“他们需要与每一种可能存在的第三方SaaS工具建立集成。”

Airbyte称该解决方案为AI助手，效果很好。自该工具发布以来，其连接器库中添加了显著更多的连接器。

图片由Fractional AI提供

构建API之前的人工智能

构建Airbyte的解决方案并不像简单地将API文档交给AI工具那样容易。Airbyte想要一个自动化的解决方案，能够扫描API文档，而这些文档的结构往往有些随机。

“我们意识到这些面向开发者的API文档是非常复杂的网站，”西格尔说。“它们是那种Google索引得不好的页面；它们高度动态。它们并不是由希望被良好索引的人设计的。”

API文档没有标准化，而且常常是厚重且密集的阅读材料。爬取这些文档最终成为一个意外复杂的问题，Fractional必须在涉及AI之前解决这个问题。

“他们并没有让网络爬虫很容易读取，”西格尔说。

由于上下文窗口大小的原因，他补充道：“调优爬取的过程可能比我们预期的要困难一个数量级。”

一旦文档被处理完毕，开发者就会面临大量的手动编码工作。案例研究指出，这个耗时且复杂的过程使技术人才偏离了更高价值的工作。

AI/开发者工作流程

由此产生的工作流程允许用户输入他们试图集成的API的URL。AI连接器构建器会爬取这些API文档，然后预填充所有关于连接器的字段，如API URL基础和认证信息。

AI连接器构建器随后列出该API的所有流——例如，对于Shopify，流可能包括“订单”、“履行”和“折扣”。

用户然后选择感兴趣的流，并为每个选定的流，构建器会预填充这些流在Airbyte连接器构建器UI中的每个字段（分页、URL路径等）。用户可以查看AI的草稿并进行编辑或更正，然后完成连接器。

因此，基本上，AI工具的最终工作流程有五个部分：

– 抓取文档页面。
– 大型语言模型驱动的爬取引擎找到需要抓取的其他页面。
– 将HTML转换为Markdown并尽可能去除噪音。
– 从抓取的页面中提取适当的部分并包含在精心设计的目的明确的提示中。
– 将LLM输出翻译成连接器定义的适当部分。

AI助手背后的支持

在幕后，AI助手利用了GPT-4o。团队探索了4o-mini及其微调版本，但最终只使用了4o-mini进行集成测试。

Claude也被考虑过，但由于其严格的结构化输出能力，案例研究指出选择了GTP-4o。

Fractional AI使用OpenAI的软件开发工具包（SDK）来拼接提示。

第一步是阅读API文档。AI系统首先询问是否存在OpenAPI规范。如果是，可以直接从OpenAPI规范中提取认证参数。

但如果不存在OpenAPI规范，Fractional AI使用AI搜索工具Jina AI和Firecrawl（这是一个接受URL、爬取并将其转换为干净Markdown或结构化数据的API服务）来爬取API文档。

“最后，如果我们无法使用OpenAPI规范、Firecrawl或Jina提取信息，我们将结合各种服务，如Serper（一个网络爬虫）和Perplexity（AI搜索引擎），作为最后的努力，寻找相关的信息输入到后续的LLM中，”案例研究指出。

第二步是提取相关的API连接器部分。如果文档太大以至于超出上下文窗口，Fractional AI使用OpenAI内置的检索增强生成（RAG）功能来提取文档中与认证相关的部分。

对于较小的文档，Fractional构建了一个流程，首先从HTML中提取链接，然后让LLM判断哪些链接看起来与认证有关，接着将抓取页面的内容嵌入到未来的提示中。

最后，该过程涉及解析和提示HTML片段的确切细节。挑战在于迫使LLM输出符合连接器构建器规范的格式。Fractional的解决方案是“用结构化输出提示确定特定格式的认证方法，以填充连接器构建器。”

在最终解决方案中使用的其他工具包括Langsmith，这是一个帮助开发者构建、调试、测试和监控LLM应用程序的平台，用于观察性和实验。Fractional还利用了OpenAI内置的向量存储（当需要RAG时）以及Redis用于缓存和锁定。

“我们使用现有的Airbyte连接器目录作为基准，衡量AI驱动的连接器构建器的准确性并提高质量，”Fractional AI案例研究指出。

虽然案例研究没有详细说明测试数据，但它提到准备这些数据“花费了大量努力……应该是任何应用AI项目的重点。”

在最终分析中，Fractional AI的案例研究指出，“有许多高回报的地方，正确的AI应用可以极大地提高开发人员的生产力。”

“这是一个工程问题和AI问题：这个项目很好地提醒我们，将AI投入生产面临的挑战不仅仅是处理LLM的问题，”团队写道。“在这种情况下，高质量的爬取——一个与Google一样古老的挑战——构成了重大挑战。”

Tabnine的目标是在所有语言中从概念到完成为所有代码创作者提供端到端的AI辅助开发工作流程。

了解更多

来自Tabnine的最新消息

热门故事

YOUTUBE.COM/THENEWSTACK
科技发展迅速，不要错过任何一集。订阅我们的YouTube频道，观看所有的播客、访谈、演示等内容。

订阅

组
由Sketch创建

洛兰·劳森是一位资深的技术记者，她从事数据集成到安全等技术问题的报道已有25年。在加入The New Stack之前，她是银行技术网站Bank Automation News的编辑。她……

了解更多关于洛兰·劳森的信息

分享这个故事

热门故事分享这个故事

(以上内容均由Ai生成)