美光科技数据中心业务负责人杰里米·沃纳指出，当前内存行业的增长并非以往那种简单的周期性波动，而是由AI爆发带来的结构性需求激增。
一个关键现实是：如果内存不够，GPU的计算能力就无法充分释放。推动内存需求暴涨的三大原因包括：大模型的上下文长度快速拉长、模型参数量持续膨胀、以及使用AI服务的用户数量迅猛增加。目前，上下文长度正以每年约30倍的速度增长。
整个内存供应链——从芯片设计、制造到封装——都已全面吃紧。“我们建的晶圆厂还不够多”，沃纳坦言。不只是美光，英特尔、英伟达、台积电等头部厂商也都表示产线已满负荷运转；而新建晶圆厂需要数年时间，短期内无法缓解供需失衡。
尽管云服务商大幅增加资本开支引发市场对可持续性的担忧，但沃纳认为，这背后是一场远超预期的技术革命。AI的实际应用还远未见顶：训练阶段已趋成熟，推理正加速普及，而智能体AI和物理AI更尚处起步阶段——我们才刚刚打开AI变革的大门。
他进一步说明了AI数据中心中五层内存架构：
第一层：HBM（高带宽内存），直接集成在GPU旁，容量通常为10–100GB，速度最快，但容量最小；
第二层：主内存（DDR），连接CPU，容量约为HBM的4–20倍，速度较慢、距离更远；
第三层：扩展内存，通过光纤连接外部独立内存模组，目前尚未量产，但已被行业列为重点方向；
第四层：上下文存储，即用SSD存放KV缓存。虽然延迟和带宽不如HBM，但单块SSD容量可达HBM的1000倍；
第五层：数据湖，由海量SSD组成，规模达EB（艾字节）级别，构成数据中心最底层的存储基础。