隨著數據中心越來越多地利用人工智能和機器學習（AI/ML），大量數據不斷產生和消耗，這對數據中心快速高效地存儲、移動和分析數據提出了巨大挑戰。
在中國尤其如此：隨著中國不斷推動人工智能發展，對高性能處理的需求不斷增長，傳統數據中心已成為必須解決的瓶頸。為了應對這一挑戰，中國宣布了新型數據中心發展三年行動計劃。與傳統數據中心相比，新型數據中心具有高科技、高算力、高能效、高安全性等特點。
在市場需求和產業政策支持的雙重推動下，數據中心服務器迫切需要更大的內存帶寬和容量，以更好地支持AI/ML的持續發展。
自2013 年推出以來，高帶寬內存(HBM) 越來越被視為將數據中心服務器和AI 加速器的性能提升到新高度的理想方法之一。 HBM是一種基於3D堆疊技術的高性能SDRAM架構，可以實現巨大的內存帶寬。
2018年底，JEDEC固態技術協會宣布了HBM2E標準，以支持更高的帶寬和容量。 HBM2E每個引腳的傳輸速率提升至3.6Gbps，每堆棧可實現461GB/s的內存帶寬。此外，HBM2E支持高達12個DRAM的堆棧高度和高達24GB的單堆棧內存容量。
在HBM2E 中，連接到處理器的四個堆棧將提供超過1.8TB/s 的帶寬。通過內存的3D堆疊，HBM2E可以在非常小的空間內實現高帶寬和高容量。在此基礎上，下一代HBM3內存將數據傳輸速率和容量推向新的高度。
Rambus HBM3 內存子係統專門針對高帶寬和低延遲進行了優化，以緊湊的架構和高性能封裝提供最佳的性能和靈活性。該解決方案由完全集成的PHY 和數字控製器組成，包括完整的HBM3 內存子係統。
與HBM2E 相比，RambusHBM3 內存子係統將最大數據傳輸速率提高了一倍多，達到每個數據引腳8.4Gbps（當DRAM 具有該速度時）。係統接口有16 個獨立通道，每個通道包含64 位，總數據寬度為1024 位。在最大數據傳輸速率下，可提供總接口帶寬1075.2GB/s，即帶寬超過1TB/s。
該內存子係統專為2.5D 架構而設計，具有中介層，可在SoC 上的3DDRAM 堆棧和PHY 之間傳輸信號。同時，這種信號密度和堆疊架構的結合也需要特殊的設計考慮。為了提高設計的實施難度和靈活性，Rambus 對整個2.5D 架構內存子係統進行了完整的信號和電源完整性分析，以確保滿足所有信號、電源和散熱要求。此外，Rambus 還提供中介層參考設計。
Rambus 憑借30 多年在高速信號處理方麵的專業知識以及在2.5D 內存係統架構設計和實現方麵的豐富經驗，正在引領HBM 的發展。 Rambus提供業界最快的HBM2E內存子係統；現在，Rambus 憑借數據傳輸速率高達8.4Gbps 的HBM3 內存子係統，進一步提高了HBM 的帶寬標準。
