隨著生成式人工智慧(Generative AI, Gen AI)應用場景的持續擴大,對高速、高頻寬、低延遲記憶體的需求也愈加迫切。無論是模型訓練還是推理,生成式 AI 都需即時處理海量數據,因此記憶體性能已成為支撐這些應用的關鍵基石。針對不同的記憶體技術於生成式 AI的應用,全球市調研究公司Counterpoint Research指出,高頻寬記憶體(High Bandwidth Memory,HBM)為目前市場上最受關注的解決方案之一,各大記憶體大廠也都正在積極布局。
生成式AI模型(如大型語言模型LLM、大型視覺模型LVM等)對記憶體的需求涵蓋訓練與推理兩大應用場景。訓練過程中需...