在 AI 系统中处理非结构化数据的隐藏环境成本

快速阅读: 《印度分析杂志》消息，AI工具需大量能源处理非结构化数据，面临数据挑战。数据科学专家米特拉指出，非结构化数据消耗更多能量，需高效基础设施。IEA警告未来电力需求不确定，建议采用节能方案，加强能源报告监管，推动可持续发展。

数据是驱动人工智能工具的燃料。尽管许多公司声称其人工智能工具能够处理非结构化数据并生成准确的洞察，但这些工具运行起来需要耗费大量能源。人工智能系统面临的最大挑战之一也是海量的数据。研究表明，超过80%的全球数据仍然是非结构化的。在与AIM的对话中，数据科学专业人士特里亚克什·米特拉（Triaksh Mitra）解释了非结构化数据格式为何占用大量内存、需要复杂的预处理，并依赖于如GPU等能耗高的硬件进行模型训练。国际能源署（IEA）还指出，由于缺乏全面的数据，政策制定者和利益相关者在分析这一问题的两个方面时，可用的工具有限。关于数据中心当前和未来数据消耗存在相当大的不确定性。一个典型的AI数据中心使用的电力相当于10万户家庭，而正在建设的一些最大的数据中心可能消耗的电量将是这个数字的20倍。

国际能源署（IEA）报告指出，未来电力需求的不可预测性需要采用基于场景的方法来研究不同的路径，并提供有关能源部门决策时间表的见解。虽然许多组织都有工具来精炼客户使用的原始数据，但还有一些组织采用了名为管道控制的AI工具。这个工具过滤用户需要的信息，而不是提供所有不必要的信息。然而，它也消耗了大量的能量。“对可扩展存储解决方案的需求，比如数据湖和云基础设施，进一步增加了能源成本。此外，为了处理非结构化数据工作流而维持高性能硬件，相比传统的结构化数据管道，显著增加了电力使用量，”米特拉解释道。

**基础设施和可持续性问题**

AI本身消耗数百万美元的电力，但很容易忘记的是，非结构化数据需要更多的能量来处理。根据IEA的数据，CPU和GPU约占现代数据中心电力需求的60%，尽管不同类型的数据中心之间可能存在显著差异。现代计算还依赖于分布在全球各地的强大数据中心。国际能源署（IEA）透露，到2030年，这些数据中心的数量将增加一倍多，达到约945太瓦时（TWh），这略高于日本目前的总用电量。

AI在电力系统中有多种应用，因为供应、传输和需求配置文件的复杂性。根据IEA的分析，使用AI可以为现有的输电线路增加高达175吉瓦的额外输电能力。国际能源署（IEA）报告指出，许多障碍限制了AI应用的实施程度，并阻碍了变革的步伐。这些因素包括不利的法规、有限的数据访问、可及性困难、互操作性担忧、显著的技能差距、不足的数字基础设施，以及在某些情况下，普遍抗拒改变。

“此外，维护和更新这些模型需要持续的计算能力，因此做出基础设施选择至关重要，例如使用节能的数据中心或硬件加速器，这对于减少整体碳足迹和能源消耗非常重要，”米特拉补充道。

**大规模AI训练模型的碳足迹**

大规模AI训练模型的碳足迹可以用每秒浮点运算次数（FLOPs）或总千瓦时（kWh）等指标来衡量。然而，这位数据科学专业人士强调，这些指标不足以理解能源消耗，因此忽略了冷却开销、数据中心效率和能源来源的碳强度等因素。

**环境影响**

能源创新中的许多领域都涉及AI擅长解决的挑战：复杂的环境设计、必须在性能权衡中导航以获得最佳结果的必要性，以及庞大的数据集。根据IEA的说法，确保数据中心的一致且经济高效的电力供应是与AI相关的能源问题的核心。具体而言，AI数据中心的不断普及提高了应对电力设备供应链局限性的需求。

能源创新中的许多领域都涉及AI擅长解决的挑战：复杂的环境设计、必须在性能权衡中导航以获得最佳结果的必要性，以及庞大的数据集。一些专家指出，AI本身是一种可以帮助抑制AI能源需求的工具。尽管AI的进步也让公众对气候社区中的电力消耗感到恐惧，NVIDIA首席执行官黄仁勋认为，尽管事实表明AI行业的发展方向，但对电力使用的预测可能翻倍。在AI中对能源报告制定监管或行业标准也很重要。

“任何新兴技术都是如此，不受约束的创新可能导致意想不到的危害。透明的能源报告将确保开发者始终承担起责任，并从一开始就考虑可持续性，而不是优先考虑规模或受欢迎程度，牺牲环境影响，”米特拉解释道。

他认为，AI中被严重忽视的一个可持续性领域是数据的体量和速度。IEA指出，到2035年，AI硬件和模型的效率提高可以将数据中心的电力需求降低20%。不同情景下需求范围可能在700至1700太瓦时之间。由于数据生成的速度将继续增长数十年，存储和处理数据将变得不可持续。

“如果没有检查，这会导致过度的能源使用和基础设施压力。更可持续的方法将涉及选择性数据保留、更好的数据管理以及优先考虑质量而非数量，以减少不必要的处理和存储负担，”米特拉总结道。

(以上内容均由Ai生成)