谷歌现在正从退役服务器中取出DDR4内存模块，并将其重新用于新的AI服务器

星***

Wccftech – 2 Sep 26 (https://wccftech.com/google-is-now-pulling-ddr4-modules-out-of-retired-servers-and-reusing-them-in-new-ai-servers/)

Google Is Now Pulling DDR4 Modules Out Of Retired Servers And Reusing Them In... (https://wccftech.com/google-is-now-pulling-ddr4-modules-out-of-retired-servers-and-reusing-them-in-new-ai-servers/)
High-performance memory now eats around 75 percent of an AI server's bill of materials, forcing Google into salvage mode.
Est. reading time: 2 minutes

[!quote]+
谷歌供应链基础设施高级总监 Nikhil Cherian 最近在一次峰会论坛上透露，人工智能行业已迅速从计算受限转向内存受限，高性能内存已占给定人工智能服务器物料清单 (BOM) 成本的约 75%。
据 Cherian 称，为了“突破内存瓶颈，谷歌正在同时开发软件和硬件解决方案”，甚至拆解退役服务器以回收可回收的组件，从而建立内部回收供应链。
事实上，谷歌设计了特殊的硬件适配器，允许将上一代内存解决方案（例如 DDR4）连接到其新一代 AI 服务器。Cherian 还承认，谷歌特意重新进口退役的服务器，只是为了拆除它们的 DDR4 模块 (https://www.chinaflashmarket.com/a/184240)。
与此同时，这家科技巨头不断优化底层函数库、模型架构和键值缓存压缩，力求降低单位计算能力的内存使用量。
为了方便那些可能还不了解的人，谷歌今年推出了两款 TPU ASIC：TPU8t 专注于训练给定的 AI 模型，而 TPU8i 则针对推理进行了优化。
因此，谷歌的TPU8i利用高度先进的专用内存层来消除性能瓶颈：

每个 TPU 8i 芯片都配备了 288 GB 的 HBM3e，可提供 8.6 TB/s 的超快内存带宽。

该 ASIC 还集成了 384 MB 的片上 SRAM，用于存储活动键值 (KV) 缓存，无需查询外部系统 RAM。

TPU 8i 服务器完全用谷歌定制的基于 Arm 的 Axion 处理器 (https://wccftech.com/google-unveils-the-heart-of-agentic-ai-the-ai-hypercomputer-8th-gen-tpus-nvidia-rubin-axion-cpus/)取代了旧的 x86 主机处理器，这些处理器依靠高速 DDR5 内存架构来执行主机级任务，例如数据预处理。
然而，鉴于 Cherian 最近的让步，谷歌似乎已被迫在其新的 AI 服务器中使用较旧的 DDR4 模块来代替 DDR5 模块，至少在某些情况下是这样。

ZhuXi***

这个思路我先马住！