Google 的 Colossus 内部存储系统仍然依赖 HDD 来存储其大部分数据

快速阅读: 据《技术点》最新报道，谷歌揭秘科洛弗存储平台：支持YouTube等服务，使用HDD与SSD混合存储，通过机器学习优化数据 placement，大幅提升性能与可靠性，助力谷歌云服务稳定运行。

在电影《超能电脑》中，一台先进的超级计算机变得有知觉并控制了人类。科洛弗也是谷歌几乎所有互联网服务所在存储平台的名字。虽然我们不清楚该公司是否直接从这部经典科幻电影中获得灵感，但其中的隐喻依然存在。

在最近的一篇博客文章中，谷歌揭示了科洛弗背后的某些“秘密”，这是谷歌描述为通用存储平台的巨大网络基础设施。科洛弗功能强大、可扩展性强，且易于使用和编程。谷歌表示，这一庞大的系统仍然使用经过验证（尽管仍在演进）的磁性硬盘驱动器。

科洛弗支持许多谷歌提供的服务，包括YouTube、Gmail、Drive等。该平台源自Google文件系统项目，这是一个分布式存储系统，用于管理大型、数据密集型应用程序，使其更容易管理。令人惊讶的是，谷歌通过引入一种基于快速固态硬盘的专有缓存技术，极大地提升了科洛弗的性能。

谷歌在一个数据中心的每个集群构建一个科洛弗文件系统。这些集群中的许多都足够强大，拥有多艾字节的存储容量，其中两个文件系统各自托管超过10个艾字节的数据。该公司声称，由谷歌提供支持的应用程序或服务在谷歌云区域内应不会耗尽磁盘空间。

科洛弗文件系统的数据吞吐量非常惊人。谷歌声称，最大的集群“经常”超过每秒50太字节的读取速度，而写入速度达到每秒25太字节。

“这足以每秒传输超过100部完整的8K电影，”该公司表示。

合理安排数据存储位置对于实现这种超凡的性能至关重要。科洛弗内部用户可以决定他们的文件是需要存入HDD还是SSD，但大多数开发人员采用一种名为L4分布式SSD缓存的自动化方案。这项技术使用机器学习模型来决定对特定数据块应用什么策略。然而，系统最终会将所有新数据写入HDD。

令人惊讶的是，87%的人备份了自己的数据，但数据丢失事故仍然存在。L4缓存技术可以通过观察I/O模式、将文件分割到特定的“类别”以及模拟不同的存储方式，随着时间的推移部分缓解这一问题。根据谷歌的文档，这些存储策略包括“在SSD上存放一小时”、“在SSD上存放两小时”和“不放在SSD上”。

当模拟准确预测文件访问模式时，少量数据会被放在SSD上以承担大部分初始读取任务。数据最终被迁移到更便宜的存储（HDD）上，以降低总体托管成本。

“作为谷歌及其云服务的基础，科洛弗在为数十亿用户提供可靠服务方面起着关键作用，其复杂的SSD放置能力有助于降低成本并提高性能，同时自动调整以适应工作负载变化，”该公司表示。“我们对我们目前构建的系统感到自豪，并期待进一步提升其规模、复杂度和性能。”

(以上内容均由Ai生成)