IBM 的开源 TerraMind AI 使用 9 种数据模态来转变地球观测
快速阅读: 《硅角度》消息，IBM与欧洲航天局合作开发先进AI系统TerraMind，基于开源TerraMesh数据集，能实时监控气候变化等问题。该多模态模型小巧高效，已在多项基准测试中优于竞争对手，可应用于自然灾害管理、环境监测等领域。
IBM公司正与欧洲航天局携手合作，共同开发一款先进的人工智能系统。此系统将运用来自太空的数据，实现实时监控气候变化及全球性问题，如水资源短缺等。IBM表示，这款名为TerraMind的新系统是当前最先进的“地球观测”模型，并已通过Hugging Face平台向研究人员开放。
TerraMind这一开源模型是在TerraMesh数据集的基础上进行训练的，而TerraMesh是目前最大的免费地理空间数据集，由TerraMind项目的科研团队创建。IBM指出，TerraMind是一款多模态模型，基于一种创新的“对称基于变压器的编码器-解码器架构”。它可以处理基于像素、基于标记和基于序列的输入，并学习跨模态的相关性。尽管它在超过5000亿个标记的数据上进行了训练，但这是一个相对小巧且轻量化的模型，每个覆盖的模态使用的计算资源大约是现有模型的十分之一。因此，IBM认为，TerraMind可以在降低成本的同时实现扩展。
IBM表示，TerraMind的多模态能力对于地球观测任务至关重要，因为评估气候变化影响时需要综合考虑诸多因素。例如，在预测水资源短缺风险时，必须考量气候、温度、降水、土地利用、植被和农业活动等多种因素。以往，研究人员需使用多个独立模型分别研究这些因素。TerraMind将所有这些信息整合至单一模型中，从而能更全面地了解某一特定地点的情况，使其能够以前所未有的精确度预测水资源短缺的风险。
“TerraMind的独特之处在于，它不仅限于用计算机视觉算法处理地球观测数据，”IBM英国和爱尔兰研究院主任胡安·贝尔纳贝-莫雷诺说道。
为了构建支撑TerraMind的TerraMesh数据集，IBM的研究人员收集了从生态系统到土地利用、地表覆盖类型和地区等方方面面的数据，以确保该模型能在地球上任何地方做出预测，且偏差最小。TerraMesh包含了超过九百万个在全球范围内分布且时间空间对齐的数据样本，涵盖了九大核心模态。这些模态包括来自欧洲航天局卫星的观测数据、关于表面特征（如植被和土地利用）的信息以及用于描述位置和特征的几何数据（如纬度、经度、海拔和不同地区的简单文本描述）。
IBM表示，测试显示，TerraMind是迄今为止制作的最佳基础地球观测模型。欧洲航天局主导了这些评估，在PANGEA基准测试中将TerraMind与另外12种模型进行比较，PANGEA基准测试用于衡量AI在实际任务中的表现，如土地覆盖分类、变化检测、环境监测和多时间分析。据欧洲航天局称，TerraMind在PANGEA基准测试的所有任务中均比竞争对手的模型高出8%以上。
欧洲航天局地球观测计划主任西蒙内塔·切利表示，TerraMind的优势源于多种模态提供的见解。“直观地引入上下文信息并生成未见过的情景是解锁欧洲航天局数据价值的关键步骤，”她说道，“与其他竞争模型相比，它能让研究人员和企业更深入地理解地球。”
此外，TerraMind还采用了名为“多模态思考”的新技术，这类似于OpenAI的GPT-4o和DeepSeek Ltd.的R1等专注于推理的大语言模型中使用的“链式思维”方法。TiM，即“多模态思考”，涉及从其他模态自动生成额外的合成训练数据，以提升TerraMind的表现，超越常规微调所能达到的效果。帮助开发TiM技术的IBM研究科学家约翰内斯·雅库比克表示：“它通过生成与模型试图解决的问题相关的合成数据来运作。因此，当被要求‘思考’水体覆盖时绘制地图时，它可能会被编程生成更多详细的地图。”
“这一突破可以为TerraMind专门应用于特定用例时解锁前所未有的准确性，”雅库比克补充道。
IBM表示，TerraMind可用于解决长期问题，如自然灾害管理、环境监测、精准农业、城市和区域规划、关键基础设施监测、林业和生物多样性监测，以及短期问题，如火灾和洪水监测。Constellation Research Inc.的霍尔格·穆勒指出，TerraMind是AI如何影响技术几乎每一个方面的又一例证。“能够理解我们星球的AI模型在预测、模拟和解释自然和人为事件方面将非常有用，”分析师说道，“IBM正在通过其新的多模态思维方法推动这一点，该方法基于超过900万个数据点的九大核心模态。这是迄今为止最完整的地球AI模型，很高兴它是开源的。”
IBM已在Hugging Face和IBM地理空间工作室发布了TerraMind，并计划在未来几周内发布针对灾害响应和其他高影响力的微调版本。“我们正在释放基于太空数据的全部潜力，以保护我们的星球，”欧洲航天局地球观测数据科学家尼古拉斯·隆热佩说道，“这个项目是一个完美的例子，展示了科学界、大型科技公司和专家如何合作利用这项技术造福地球科学。当地球观测数据专家、机器学习专家、数据科学家和高性能计算工程师汇聚在一起时，奇迹就会发生。”
图片：IBM/ESA
来自SiliconANGLE联合创始人约翰·弗瑞尔的一条消息：您的支持对我们至关重要，它帮助我们保持内容免费。只需点击一下即可支持我们提供免费、深度且相关的内容的使命。
加入我们的YouTube社区
加入包括超过15,000名#CubeAlumni专家的社区，其中包括亚马逊首席执行官安迪·贾西、戴尔科技创始人兼首席执行官迈克尔·戴尔、英特尔首席执行官帕特·格尔辛格等众多名人和专家。
“CUBE是我们行业的重要合作伙伴。你们确实是我们的活动的一部分，我们真的很感谢你们的到来，我知道人们也欣赏你们创造的内容。”——安迪·贾西
谢谢！
(以上内容均由Ai生成)
