新闻  |   论坛  |   博客  |   在线研讨会
HBM(高带宽存储器)简介
旺材芯片 | 2024-08-04 01:12:30    阅读:1256   发布文章

本文主要源于几篇产业报告从中提取了一些相对重要且客观信息进行梳理文中图表较多可能会影响阅读其实整体思路很简单主要分为四个板块:1、AI时代的内存墙问题;2、HBM用来解决这个问题并阐述了HBM的概念及技术特点;3、HBM的制造工艺;4、HBM的核心材料

AI算力时代的内存墙问题

随着摩尔定律的不断迭代,CPU运行速度快速提升,CPU主频高达5GHz,DRAM内存性能取决于电容充放电速度以及DRAMCPU之间的接口带宽存储性能提升远慢于CPU,DRAM内存带宽成为制约计算机性能发展的重要瓶颈DDR4内存主频为2666~3200MHz,带宽为6.4GB/s,但是在AI应用中(高性能计算/数据中心),算力芯片的数据吞吐量峰值在TB/s主流的DRAM内存或显存带宽一般为几GB/s到几十GB/s量级与算力芯片存在显著的差距,“内存墙由此形成Transformer类模型为例模型大小平均每两年翻410,AI硬件上的内存大小仅仅是以每年翻2倍的速率在增长;内存墙问题不仅与内存容量大小有关也包括内存的传输带宽;内存容量和传输的速度都大大落后于硬件的计算能力

图片

典型的DRAM每个芯片有八个DQ引脚(数据传输路径用作处理器和存储器之间通信的数据总线必须具备读写功能所以具备双向特性),即数据输入/输出引脚组成DIMM模块单元后(双列直插式存储模块安装在PCB板上的存储模块包含多个存储芯片被用作PC或者服务器中的主存储单元),共有64DQ引脚随着数据处理速度等方面的要求不断提高数据传输量也不断增加传统DRAM DQ引脚的数量已无法保证数据快速通过传统DRAM需要大量空间与CPU/GPU等处理器通信同时封装的形式看需要通过引线键合或PCB进行连接,DRAM不可能对海量数据进行并行处理

图片

HBM的概念

HBM(High Bandwidth Memory)意为高带宽存储器是一种面向需要极高吞吐量的数据密集型应用程序的DRAM,HBM 的作用类似于数据的中转站”,就是将使用的每一帧每一幅图像等图像数据保存到帧缓存区中等待GPU 调用

HBM 在带宽功耗封装体积方面具备明显优势按照不同应用场景行业标准组织 JEDEC DRAM 分为三个类型标准 DDR、移动 DDR 以及图形 DDR,图形 DDR 中包括 GDDR  HBM。相比于标准的 DDR4、DDR5 等产品 GDDR  HBM 为代表的图形 DDR 具备更高的带宽其中HBM 在实现更大带宽的同时也具备更小的功耗和封装尺寸

图片

图片

图片

HBM 有效解决了内存墙的问题在中高端 GPU 中得到广泛应用高带宽存储器HBM(Highband Memory)使用硅通孔TSV和微凸块技术垂直堆叠多个DRAM可以显著提升数据处理速度性能提升的同时尺寸有所减少。2013年开始,JEDEC制定了高带宽存储器系列标准(包括HBM,HBM2,HBM2E,HBM3),其中,HBM3相比2代标准有显著的提升芯片单个引脚速率达到6.4Gbit/s,总带宽超过1TB/s。

图片

图片

HBM的技术特点

主要可分为高速/高带宽更低功耗扩展容量

高速/高带宽HBM2EHBM3的单引脚最大输入/输出(I/O)速度分别达3.2Gbit/s6.4Gbit/s,低于GDDR5存储器的7Gbit/s,HBM的堆栈方式可通过更多的I/O数量使总带宽远高于GDDR5,例如HBM2带宽可以达到307 GB/s。海力士官网数据显示:HBM3E的数据处理速度相当于可以在1s内下载230部全高清(FHD)级电影(每部5千兆字节,5GB),优化后可用于处理人工智能领域的海量数据

图片

图片

更低功耗采用微凸块和TSV技术存储和算力芯片信号传输路径短单引脚I/O速率较低使HBM具备更好的内存功耗能效特性DDR3存储器单引脚I/O带宽功耗为基准,HBM2I/O功耗比明显低于DDR3/DDR4GDDR5,相比于GDDR5存储器,HBM2的单引脚I/O带宽功耗比数值降低42%。

图片


图片

HBM制造工艺

HBM 制造工艺包括 TSV、Bumping 和堆叠等工艺环节。HBM 是由多个 DRAMdie 堆叠而成利用硅通孔(TSV)和微凸块(Microbump) die 之间相连接多层 DRAMdie 再与最下层的 Basedie 连接然后通过凸块(Bump)与硅中阶层(interposer)互联。HBM  GPU、CPU  ASIC 共同铺设在硅中阶层上通过 CoWoS  2.5D/3D 封装工艺相互连接硅中介层通过 CuBump 连接至封装基板(Package Substrate)最后封装基板再通过锡球与下方的PCB 基板相连

图片

图片

图片

图片

HBM工艺流程中所需要的设备清单如下


HBM堆叠核心:MR-MUF(向上堆叠方式

SK海力士表示通过先进的MR-MUF堆叠技术加强了工艺效率和产品性能的稳定性;随着对高速高容量的需求不断增加散热问题预计将成为HBM产品持续迭代的重大技术障碍。MR-MUF:将半导体芯片堆叠后为了保护芯片和芯片之间的电路在其空间中注入液体形态的保护材斜并固化的封装工艺技术与每堆叠一个芯片铺上薄膜型材料的方式对比工艺效率高散热方面也更有效具体步骤:1)连接芯片的微凸块采用金属塑封材料;2)一次性融化所有的微凸块连接芯片与电路;3)芯片与芯片之间或者芯片与载板之间的间隙填充绝缘和塑封同时完成


HBM堆叠技术发展趋势

海力士正在加速开发新工艺混合键合”,截止目前,HBMDRAM芯片之间通过微凸块材料进行连接通过混合键合芯片可以在没有凸块的情况下连接从而显著减小芯片的厚度当间距小到20um以内热压键合过程中细微倾斜使得钎料变形挤出而发生桥连短路难以进一步缩减互联间距HBM芯片标准厚度为720um,预计2026年左右量产的第六代HBM4需要纵向垂直堆叠16DRAM芯片当前的封装技术很难让客户满意所以混合键合的应用被认为是必然的趋势。2023年海力士用于第三代HBM产品(HBM2e)测试混合键合技术规格低于HBM4产品同时海力士拟计划将新一代的HBM与逻辑芯片堆叠在一起取消硅中介层




混合键合的定义混合键合是一种永久键合将介电键合(siox)与嵌入式金属(Cu)结合起来互联形成电介质和金属-金属键使用紧密嵌入电介质中的微小铜焊盘可以提供比铜微凸块多1000倍的I/O连接支持3D封装和先进的存储立方体更高的互连密度混合键合可以实现低于10um的键合间距当接近10u尺寸时带有焊锡尖端的铜凸块会遇到可靠性问题从而导致转向混合键合


新一代HBM材料-LMC

根据我国集成电路材料专题系列报告》,90%的集成电路采用环氧塑封料(Epoxy Molding Compound,简称EMC)作为包封材料环氧塑封料可分为饼状片状颗粒状(GMC)和液态(LMC)四种其中饼状环氧塑封料主要用于传统封装采用传递成型法对芯片实现包封;后三者主要用于先进封装片状、GMCLMC采用压缩法实现芯片包封其中GMC具有操作简单工时较短成本较低等优势;LMC具备可中低温固化低吸水率以及高可靠性等优点。LMC可应用于HBM封装中。SK海力士在其HBM3产品上采用了MR-MUF(Mass Reflow-Molded Underfil)技术,大幅提高了散热性能然而相比固态EMC,LMC填料含量低

图片

图片

来源: 光学与半导体综研


*博客内容为网友个人发布,仅代表博主个人观点,如有侵权请联系工作人员删除。

参与讨论
登录后参与讨论
推荐文章
最近访客