谷歌现在正从退役服务器中取出DDR4内存模块，并将其重新用于新的AI服务器
https://cdn3.ldstatic.com/original/4X/f/8/d/f8d24eece530eeabc1f49ae9bd58f399c2082192.pngWccftech – 2 Sep 26 (https://wccftech.com/google-is-now-pulling-ddr4-modules-out-of-retired-servers-and-reusing-them-in-new-ai-servers/)
https://cdn3.ldstatic.com/optimized/4X/5/f/5/5f5b584e2deb941830905d7ebad100ea967d20b2_2_690x283.jpeg
Google Is Now Pulling DDR4 Modules Out Of Retired Servers And Reusing Them In... (https://wccftech.com/google-is-now-pulling-ddr4-modules-out-of-retired-servers-and-reusing-them-in-new-ai-servers/)
High-performance memory now eats around 75 percent of an AI server's bill of materials, forcing Google into salvage mode.
Est. reading time: 2 minutes
[!quote]+
谷歌供应链基础设施高级总监 Nikhil Cherian 最近在一次峰会论坛上透露，人工智能行业已迅速从计算受限转向内存受限，高性能内存已占给定人工智能服务器物料清单 (BOM) 成本的约 75%。
据 Cherian 称，为了“突破内存瓶颈，谷歌正在同时开发软件和硬件解决方案”，甚至拆解退役服务器以回收可回收的组件，从而建立内部回收供应链。
事实上，谷歌设计了特殊的硬件适配器，允许将上一代内存解决方案（例如 DDR4）连接到其新一代 AI 服务器。Cherian 还承认，谷歌特意重新进口退役的服务器，只是为了拆除它们的 DDR4 模块 (https://www.chinaflashmarket.com/a/184240)。
与此同时，这家科技巨头不断优化底层函数库、模型架构和键值缓存压缩，力求降低单位计算能力的内存使用量。
为了方便那些可能还不了解的人，谷歌今年推出了两款 TPU ASIC：TPU8t 专注于训练给定的 AI 模型，而 TPU8i 则针对推理进行了优化。
因此，谷歌的TPU8i利用高度先进的专用内存层来消除性能瓶颈：
[*] 每个 TPU 8i 芯片都配备了 288 GB 的 HBM3e，可提供 8.6 TB/s 的超快内存带宽。
[*] 该 ASIC 还集成了 384 MB 的片上 SRAM，用于存储活动键值 (KV) 缓存，无需查询外部系统 RAM。
[*] TPU 8i 服务器完全用谷歌定制的基于 Arm 的 Axion 处理器 (https://wccftech.com/google-unveils-the-heart-of-agentic-ai-the-ai-hypercomputer-8th-gen-tpus-nvidia-rubin-axion-cpus/)取代了旧的 x86 主机处理器，这些处理器依靠高速 DDR5 内存架构来执行主机级任务，例如数据预处理。
然而，鉴于 Cherian 最近的让步，谷歌似乎已被迫在其新的 AI 服务器中使用较旧的 DDR4 模块来代替 DDR5 模块，至少在某些情况下是这样。
这个思路我先马住！ 看到就转：人多时，管住嘴，话多、错多、是非多，自找麻烦。人少时，管住心，妄念、妄想、痛苦多，自找烦恼。教导我们在不同环境中要学会控制自己的言行和思想，保持良好的心态 收藏时嘴角疯狂上扬，这种分享欲太戳我了！ 正能量到处传播~不要担心自己走得慢，乌龟也赢了兔子 今日分享：现在比以前心力强多了，一步一个小里程碑，不骄不躁，稳步前行。 上周推荐的AI工具救大命！效率直接翻倍 有些细节很关键，不亲自做一遍很难体会。 流量密码更新太快，好在有星友前线战报 雷军 ：“在创业时，要选择自己喜欢干的、能力能覆盖的领域里，市场规模最大的赛道，越大越好。”