国防部门AI创新案例:GAMECHANGER提升工作效率
快速阅读: AI工具GAMECHANGER提高国防部政策工作流程效率,将原本需数小时的研究缩短至几分钟,显著节省时间和劳动力,增强信息质量控制,但推广有限且功能未达预期。
提高生产力和其他影响
人工智能(AI)的用户——无论是个人、组织、公司还是政府——的主要目标之一是提高生产力,即通过一定量的资源投入产生更多的工作产出。生成式AI的相对较新引入,这种可以用于总结、综合和组合各种感官、语言和数学数据的软件,已经开始显示出它能够对广泛的任务和行业产生积极的生产力影响。
尽管GAMECHANGER不使用生成式AI,但最近关于私营部门引入非生成式AI赋能软件的研究表明,期望获得生产力提升是合理的,即使有时难以量化。例如,在医疗保健领域,AI赋能软件现在可以非常快速地审查X光片和其他图像——比人类放射科医生快得多——这导致在相同的机器数量和医生人数下,结果更快出炉。同样,银行正在使用AI赋能软件来审查贷款申请,缩短了从收到请求到做出决定的时间,而无需增加贷款专员的数量。
对于GAMECHANGER而言,提高生产力意味着让用户能够更快地完成政策任务,从而在同一时间段内完成更多任务。事实上,这是GAMECHANGER用户所报告的情况。在其引入之前,像政策制定或修订、劳动力分析和合规审查等政策工作流程主要依赖于通过经验获得的知识、向国防部其他办公室的同行请求信息以及耗时的手动搜索多个不连通的系统。GAMECHANGER的搜索功能因此对可访问性和及时性产生了显著的正面影响,用户报告称,它将原本需要数小时的研究工作缩短到了几分钟。一位GAMECHANGER用户提供了这样的说明:
“在我的政策部门,我有五位政策官员,每位专注于一个政策‘账户’——或主题,比如人力资源。我们有42项与人力资源相关的机构政策——涉及晋升、纪律等。她需要帮助研究、起草并维护这42项政策。实际上,她一次处理四到五个政策。平均每个政策大约22-25页长。这些政策中有一部分是参考文献。这些是我们政策依据的公共法律、财务管理规定、国防部指令、情报界指示等。……没有GAMECHANGER,这位官员需要进入国防部政策门户搜索晋升信息,还需搜索人事管理办公室系统、所有情报界系统,全部手动操作。假设她只是确认所有这些参考文献,就需要三小时。有了GAMECHANGER,她可能只需要10分钟。”
联合团队的一名成员传达了GAMECHANGER带来的差异估计:
“在GAMECHANGER之前,文档审查过程需要手动搜索并阅读所有相关文件。因为一项政策通常需要七小时的审查时间,并且经常由50多个组织审查,大约需要1400小时来审查单个政策。平均每月国防部协调12项政策,代表节省了16800小时(700天)的机会。”
除了提高生产力外,好的软件还可以提高一致性、准确性和完整性,这些属性对大多数行业,尤其是与国防部政策相关的工作来说至关重要。在这方面,GAMECHANGER用户的反馈也是积极的。所有受访者都提到,GAMECHANGER降低了访问障碍,特别是对于非政策专家,并通过提供比手动搜索更为全面的相关和相关文件集,增加了他们对自己政策产品质量的信心。一位用户这样解释:
“总体上,[GAMECHANGER]节省了时间和劳动力。对提供给客户的信息的质量控制非常有帮助。我们需要正确。我们需要知道这是我们能给出的最佳信息。……如果今天移除GAMECHANGER,将会减少我们正确回答问题的保障层。……它会移除一种让我们找到正确答案的方法,并会导致质量下降。”
这并不是说,GAMECHANGER的用户没有遇到过任何错误或遗漏,或者他们对其性能完全满意。GAMECHANGER团队通过Advana服务台接收关于软件故障或其他功能问题(如无响应)的求助请求。用户还可以通过服务台或在双月一次的“办公时间”会议上,要求团队添加新文档——例如,当用户发现某项政策尚未被纳入GAMECHANGER的数据集中时——以及提出新功能的需求。这些需求可能涉及如何改进用户界面或增加补充或优化搜索结果的功能。然而,基本产品——GAMECHANGER的核心功能——将始终是一个搜索和关联工具;它不会扩展到包括生成式AI能力。
对于国防部的AI和创新,GAMECHANGER的故事带来了许多积极的影响。它证明了该部门能够开发、采用并扩大AI的应用,以解决特定于国防的工作流程问题,满足商业智能需求。GAMECHANGER的创始人及最初的小组成员均为国防部员工,这表明该部门能吸引有才华且技术熟练的员工。Advana在GAMECHANGER功能中的核心作用,证明了它为部门创造了价值,并具有更大的潜力。此外,GAMECHANGER与Booz Allen的合同关系证实了国防部可以与私营部门创造性地合作,实现互利。其使用开源工具和决定不将GAMECHANGER代码专有化,是政府和企业对现代软件开发实践的重要调整。事实上,这些选择使开发团队能够通用化GAMECHANGER的代码库,以便用于满足其他国防部需求——特别是合同和预算文件的搜索——以及其他政府机构的使用;联邦调查局和国家地理空间情报局现在都有自己的GAMECHANGER版本。每个应用都需要单独的训练和调优,但它们都直接继承了GAMECHANGER的核心功能。
然而,GAMECHANGER的故事中也有一些令人担忧的元素。最初的政府小团队成员不仅离开了GAMECHANGER项目,而且最终离开了国防部。有些人感到疲惫,有些人寻求新的挑战,但所有人都表达了对部门根深蒂固的结构性和文化障碍阻碍软件开发的不满。有人在2024年底评论称,他们仍然认为即使开发简单的应用程序,“不涉及私人公司几乎是不可能的。一家公司必须建设和交付——国防部没有支持完全内部开发的基础设施。”其他人描述了从无法在国防部提供的计算机上下载软件,到在安全网络上工作时的不合理限制,再到软件开发与职业晋升无关的各种障碍。有人指出,在国防部内,“从事GAMECHANGER的工作在职业上并不富有成效”,因为“没有人根据软件开发来评估我。”为了实现“从会议室到战场加速国防部对数据、分析和AI的采用”的目标,该部门需要解决在保留技术熟练员工方面的问题——这些员工对软件开发至关重要,也对软件采购提供专家监督所需。
GAMECHANGER发布后,其推广范围似乎有限。即使是那些对其最有帮助的办公室——那些为开发团队确定的GAMECHANGER客户“角色”工作的人员——也是通过口耳相传得知它的存在,而不是通过联合人工智能中心(JAIC)或首席数字和人工智能办公室(CDAO)的直接推广。这种做法与CDAO的使命不符。此外,GAMECHANGER本身远未达到它可能具备的强大功能。GAMECHANGER创始人的目标是利用AI技术构建决策辅助工具。愿景是为国防部员工提供信息,帮助他们在潜在行动方案中做出情境化、及时、符合政策的选择。这样的工具将针对国防部政策和指令的复杂语言进行调整,并编程以发现文件之间的重叠、冗余和不一致之处。
这一目标在开发过程中发生了变化,主要是由于创始人角色的转变。短期内轮岗和晋升在该部门并不罕见,且通常对国防部办公室和个人职业发展有益。然而,在技术开发背景下,频繁的人事变动可能会阻碍进展——需要新团队成员适应工作——特别是在领导层变更时,这可能会影响开发方向。对于GAMECHANGER项目而言,创始人的晋升意味着该项目失去了主要支持者。结果是开发方向被调整,最终成果不再是决策工具,而是一个具有附加功能的搜索工具。GAMECHANGER能够查找单独的政策文件,并以可视化形式展示原始文档中引用的政策。但它不分析国防部政策和权限,也不迅速评估哪些行动是可取的,哪些需要进一步的法律评估。它既不合成也不总结文件——这些功能已成为大型语言模型生成AI工具的标配。
尽管如此,GAMECHANGER的功能仍然受到用户的欢迎,他们原本需要依赖机构知识和耗时的研究来完成工作流程。然而,其能力已被公开可用的通用预训练变压器(GPT)和其他为国防部乃至美国政府专门开发的生成AI工具所超越。这些工具不仅搜索国防部政策和其他材料,而且在这一点上,它们与GAMECHANGER争夺用户。其中一些工具还具备聊天功能——可以提问并获得常用语言的回答——而GAMECHANGER不具备此功能。然而,这些工具并未针对国防部政策语言进行调优,这增加了政策产品中出现重大遗漏和错误的风险,要么是因为相关材料未包含在工具的文档库中,要么是因为模型未能正确识别和解释这些材料。并且,这些工具,包括GAMECHANGER,都无法满足最初由GAMECHANGER创始人确定的需求。
这绝不是对GAMECHANGER项目的指责,也不是对其开发投资决定的否定。相反,作为一个AI创新实验,GAMECHANGER项目必须被视为成功。它开发出了功能软件,提高了工作效率,增强了员工满意度。它打破了过时的流程,挑战了有害的规范。它证明了国防部与重要私营部门合作伙伴可以在合同和开发实践方面共同进步。它揭示了人才管理、技术基础设施以及AI传播和采用策略方面的问题,这些问题都是国防部可以解决的。
这也为国防部扩大现代、AI驱动技术的使用指明了一条前进的道路。国防部合理地利用并将继续利用私营部门快速出现的大规模通用工具。GAMECHANGER的经验表明,五角大楼可以通过与国防创新基地的技术公司合作,定期进行适度的定制开发项目,补充这些通用工具,从而生产出特别适合国防部特定工作流程的工具。这种策略可以在不牺牲国防专业人士所需的定向、任务特定功能的情况下,获取所有人想要的开源功能。
(以上内容均由Ai生成)