播客:AI 数据需要可扩展的闪存,但也需要公平
快速阅读: 《计算机周刊》消息,组织面临数据增长和永久保存的挑战,可通过结合多种存储介质优化成本与性能。建议采纳“可发现、可访问、互操作、可重用”的“FAIR”原则,提升数据管理效率,支持人工智能发展。
在人工智能对数据量增长以及数据保留等方面带来的挑战下,组织如何更高效地管理存储?如今,随着人工智能技术的发展,有两个突出的问题摆在眼前:一是数据持续增长的问题从未停歇;二是我们在设计解决方案时使用的数据需要永久保存。这意味着,除了GPU集群的每次单独运行外,还有大量未被计算在内的数据需要以合理成本长期保存。
目前市面上有一些解决方案,通过结合闪存、硬盘和磁带三种介质,根据它们各自的特性和需求,在不同层级和数量间进行优化配置,从而实现成本与性能的最佳平衡。通过这种方式,组织可以根据自身需求调整存储方案的性能与经济性,为所有数据提供长期存储保障。
我建议那些正在思考如何应对数据永续增长问题的组织,可以探索“FAIR”数据管理理念。“FAIR”这一概念已经存在六到八年,最初源于组织内部的研究领域,目的是解决如何系统化整理研究成果的问题,但它同样适用于管理人工智能相关的数据集。“FAIR”是“可发现(Findable)、可访问(Accessible)、互操作(Interoperable)和可重用(Reusable)”的缩写。这实际上是一套指导原则,能够帮助组织评估当前的数据管理环境,并在构建数据管理基础设施时,参照这些原则进行衡量和优化,尽力整理和利用好所有的数据资源。这种方法有点像从传统图书馆学中汲取智慧,并将其应用到数字时代的创新实践中。
总结来说,采用“FAIR”原则不仅能让组织在数据管理方面更具条理性和前瞻性,还能有效应对未来数据增长的压力,为人工智能的发展奠定坚实的基础。
(以上内容均由Ai生成)