芯耀
1244
摩尔定律大家都熟悉。但是金式定律却鲜为人知。金氏定律兴起的背景是摩尔定律的逐渐失效。
摩尔定律的增长速度从 1975 年到大约 2012 年一直保持稳定，但自 2013 年后开始放缓。摩尔定律断言：晶体管尺寸每18个月缩小一倍。但是，目前晶体管的尺寸却是，所为的7nm，5nm，3nm都是等效缩放。详见4年前写的这篇文章：芯片工艺的5nm和7nm是怎么来的？揭开芯片工艺和摩尔定律背后的“秘密”
那么金式定律是怎么回事？
金氏定律 (Kim's Law)?指出：在密集的三维集成电路中，其堆叠层数约每两年翻一番。该定律以韩国科学技术院 (KAIST) 的金正浩 (Joungho Kim) 教授的名字命名。2017 年，他通过在报纸上发表相关文章首次正式提出金氏定律，并预测这种增长速度至少在未来几年内将持续下去。
多年来，金正浩的预测已被证明是正确的。与“摩尔定律”揭示2D的晶体管尺寸不同，金式定律如图揭示芯片技术从平面扩展转向垂直堆叠的演进规律，为3D芯片技术发展提供理论框架。而这其中，最符合金式定律的芯片产品就是HBM。
2009年，当AMD和SK海力士决定联合开发一种新型内存技术时，恐怕没有人能预料到，这项技术会在十五年后成为全球科技巨头竞逐的焦点。
这就是高带宽内存（High Bandwidth Memory，HBM）。
一项通过3D堆叠DRAM芯片实现小体积、高带宽和高速传输的突破性技术。
HBM的创新在于：它将多层DRAM芯片垂直堆叠，通过硅通孔（TSV）技术实现层间互连。
这种设计带来了四大显著优势：
高带宽：远超传统DRAM的数据传输能力
高容量：单位面积内集成更多存储单元
低功耗：缩短数据传输距离，降低能耗
小尺寸：3D堆叠大幅减小物理空间占用
随着人工智能（AI）和大数据技术的进步，对高带宽、大容量DRAM的需求正在迅速增长。
HBM，于2013年首次开发并被采纳为JEDEC标准。
自那时起，HBM通过提高数据速率、增加堆叠层数和DRAM芯片数量，持续提供更高的带宽和更大的容量。
例如，HBM2E，其单颗HBM可提供410 GB/s的带宽和16 GB的容量。
前段时间比较火的昇腾910C，可以看到，有64GB的Momeory。
可能用的应该就是HBM2e，4颗16G的HBM的DIE。
一共1600GB/S的带宽。
而我们对比来看，H100用的则是5颗，HBM3，每颗16G，所以可以达到80GB的存储容量。
其datasheet上说H100可以达到3300GB/S的带宽。
然而，随着图形处理器（GPU）和神经处理单元（NPU）等并行计算单元性能的持续提升。
市场对带宽和容量的需求已超出了当前HBM所能提供的水平。
HBM的存储容量和带宽，也开始不断进化。
| 代际 | 发布时间 | 带宽 | 容量 | 堆叠层数 | 数据传输速率 |
|---|---|---|---|---|---|
| HBM1 | 2014年 | 128 GB/s | 1 GB | 4层 | 1 Gbps |
| HBM2 | 2016年 | 256–307 GB/s | 4–8 GB | 4/8层 | 2.4 Gbps |
| HBM2E | 2020年 | 410–460 GB/s | 8–16 GB | 4/8层 | 3.2–3.6 Gbps |
| HBM3 | 2022年 | 819 GB/s | 16–24 GB | 8/12层 | 6.4 Gbps |
| HBM3E | 2024年 | 1.18 TB/s | 24–36 GB | 8/12层 | 9.2 Gbps |
| HBM4 | 2025年 | 2.0 TB/s | 36–64 GB | 12/16层 | 8 Gbps |
| HBM5 | 2029年 | 4.0 TB/s | 80 GB | 16层 | 8 Gbps |
| HBM6 | 2032年 | 8.0 TB/s | 96–120 GB | 16/20层 | 16 Gbps |
| HBM7 | 2035年 | 24 TB/s | 160–192 GB | 20/24层 | 24 Gbps |
| HBM8 | 2038年 | 64 TB/s | 200–240 GB | 24层 | 32 Gbps |
目前阶段处于HBM4，下一代HBM5预计将经历诸多变革以实现更高的带宽和容量。
上图是下一代HBM5的概念图。
为了实现更高的内部TSV带宽，将引入螺旋点对点TSV (spiral point-to-point TSV)；
为了降低功耗，将在TSV接口引入小摆幅接口 (small-swing interface)。
此外，为了补偿因堆叠DRAM层数急剧增加而产生的负载效应，将增加一个用于DRAM供电和信号传输的缓冲层 (buffer layer)。
同时，还将在HBM的逻辑层引入存内计算（Processing in Memory, PIM）?结构，以充分利用极高的TSV带宽优势。
未来HBM将走向何方？
韩国科学技术院（KAIST）发布了一份长达371页的报告。
而该报告详细阐述了高带宽内存（HBM）?技术直至2038年的演进历程，展示了其在带宽、容量、I/O位宽以及热管理方面的显著提升。
该路线图涵盖了从HBM4到HBM8的技术发展，包括在封装、3D堆叠、嵌入NAND存储器的以内存为中心的结构，乃至利用基于机器学习的方法来控制功耗等方面的进展。
我们总结一下HBM的趋势：
1：单堆栈容量：将从HBM4的288 GB至348 GB，提升到HBM8的5,120 GB至6,144 GB。
2：功率需求：随着性能提升，单堆栈功耗也将增加，从HBM4的75W升至HBM8的180W。
3：内存带宽：在2026年至2038年间，预计将从2 TB/s增长到64 TB/s。
4：数据传输速率：将从8 GT/s（千兆传输/秒）提升至32 GT/s。
5：I/O位宽：每个HBM封装的I/O接口位宽也将大幅增加，从当今HBM3E的1,024位，到HBM4的2,048位，并最终一路提升至16,384位。
目前，HBM市场形成了稳定的两强格局：SK海力士以53%?的市场份额保持领先，三星占38%。
目前二者，竞争态势异常激烈。
而从国内正处于HBM2到HBM3的研发阶段。
而这正是GPU的核心存储能力。
当摩尔定律的钟摆缓缓停滞；在芯片的垂直的方向上，一场由金氏定律（Kim's Law）驱动的革命正加速奔涌。
HBM用堆叠的维度换取了GPU存储容量的无限可能。
目前来看，HBM容量的增加还没有看到尽头，而国内的追赶才刚刚开始。
我是歪睿老哥，一个喜欢写作的架构师，如果你觉得本文还不错，请大家点赞，在看，分享，并且设为星标，公众号后台能及时推送给大家。
