OpenAI 10月23日发布技术博客《Rapidly scaling online storage to serve over 1 billion ChatGPT users (Part II)》，介绍其应用存储平台 Habitat 如何扩展底层的 Azure Cosmos DB。Habitat 为 ChatGPT、API、Codex 及内部服务提供数据访问，需在 40 个地理区域内以毫秒级响应超过 10 亿用户，存储数据超过 500 PB。
OpenAI 称，Habitat 经历了“多租户—单租户隔离—回归默认多租户”的循环：与 Azure 团队合作引入热点键限流、请求分级 QoS，以及每个物理分区可扩到 10K RU/s、支持按 RU 用量分裂的新版 serverless 模式。其最大的 Cosmos DB 账户存储数十 PB 数据、峰值超过 2000 万 QPS。
通过就近复制关键数据、基于变更数据捕获（CDC）失效的区域内缓存，以及用 Rust 重写服务，全球读取 p50 延迟从约 120 毫秒降至约 10 毫秒，提升约 12 倍。OpenAI 还透露正在自研 EB 级在线存储系统，结合 Rockset 的 RocksDB Cloud 内核与 Raft 复制。
信源:https://openai.com/index/scaling-storage-one-billion-users-part-two/