AI 記憶體：市場現況

本影片並非投資建議。內容整理自截至 2026 年 10 月的公開資料與 MESH 的 CORTEX 筆記，公司數據皆為各公司自己的說法。

逐字稿

0:00 · 開場

這支影片帶你認識AI記憶體，資料截至2026年10月，我們會談到，記憶體為什麼成了瓶頸，每一種AI運算各自仰賴哪一種記憶體，以及這對市場有什麼意義。

0:16 · 為何是現在

記憶體為什麼這麼重要？因為運算已經超越了記憶體，David Patterson和Xiaoyu Ma發現，從2012年到2022年，輝達GPU的64位元運算能力成長到80倍，記憶體頻寬卻只成長到17倍，而AI倚重的，是比較慢的那一邊，每生成一個新的詞元，也就是token，這個步驟稱為解碼，它受限於記憶體，晶片等的是記憶體，而不是數學運算，有一項分析發現，在輸出很長的代理式工作中，解碼可能佔掉大約90%的時間，AI系統使用的是一道記憶體階梯，用速度換取容量。

0:59 · 記憶體階梯

最上層是SRAM，就在晶片本身上：速度最快，但容量只有MB到GB等級，下一層是HBM，也就是高頻寬記憶體，把DRAM堆疊起來，緊貼著處理器封裝，每顆GPU有數百GB，再往下，是比較便宜的LPDDR，GDDR和DDR記憶體，接著是透過CXL共享的記憶體池，最後是快閃記憶體，容量最大，但速度最慢，先從GPU和客製化加速器談起。

1:38 · GPU與SRAM

它們靠HBM運作，輝達的Rubin GPU搭載288GB的HBM4，頻寬為每秒22TB，AMD的MI455X搭載432GB，Google的Ironwood TPU則有192GB，這些記憶體很昂貴，Epoch AI估計，在輝達B200的生產成本中，HBM加上先進封裝，約佔三分之二，第二個陣營，則是把模型留在晶片上，放在SRAM裡，Groq最新的LPU內建500MB的SRAM，頻寬為每秒150TB，而Cerebras則在單一晶圓上放進了44GB，這讓解碼非常快，但容量很小，輝達由256顆晶片組成的LPX機櫃，總共只有128GB，即便如此，輝達仍然選擇投入，2025年12月，輝達取得Groq的技術授權，並延攬了Groq的創辦人，CNBC報導這筆交易的金額為200億美元，因此，最新的趨勢是依照階段，把工作拆開，預填，也就是讀取提示詞的階段，受限於運算，解碼則受限於記憶體，所以每個階段，都可以配上不同的硬體和不同的記憶體，輝達的Rubin平台，加入了以Groq為基礎的LPX機櫃負責解碼，而AWS則把負責預填的Trainium，搭配負責解碼的Cerebras，輝達也發表了Rubin CPX，這是一款採用較便宜GDDR7的預填晶片，不過據報導，它後來改以HBM4重新設計，再來是KV快取，也就是模型對一段對話的工作記憶。

3:32 · 分層與邊緣

它會隨著每一個詞元、每一位使用者而增長，它沒辦法長時間留在HBM裡，所以會沿著階梯往下溢出，輝達的Vera CPU，最多可再增加1.5TB的LPDDR5X，與GPU的HBM作為單一記憶體池運作，而輝達的BlueField-4儲存方案，則在下方再加上一層快閃記憶體，SanDisk和SK海力士，也公布了高頻寬快閃記憶體的規格，每個堆疊最多512GB，SanDisk的首批樣品，目前預計在2027年推出，在手機和筆電上，則是同一個故事的縮小版，裝置端AI靠LPDDR5X運作，而蘋果的研究人員指出，生成詞元受限於記憶體頻寬，而不是運算，蘋果基本款M5的頻寬為每秒153GB，高通最高階的Snapdragon X2則是每秒228GB，有些新創公司的設計，則是完全繞開了HBM，d-Matrix在SRAM內部進行運算，並正轉向3D堆疊DRAM，Positron則以LPDDR5X為基礎，每顆加速器有2TB，不過它的晶片還沒完成設計定案，另一些業者，則直接在記憶體內部運算，在三星自己的展示中，其記憶體內處理LPDDR5X，讓一個80億參數的模型，詞元生成速率提高到3倍，而類比運算新創EnCharge和Mythic，各自募得超過1億美元，綜合來看，每一種運算，都倚重階梯上不同的一階，GPU和加速器靠HBM，快速解碼晶片靠SRAM，CPU和邊緣裝置靠LPDDR，KV快取則靠DRAM、CXL和快閃記憶體。

5:36 · 記憶體廠

對記憶體廠來說，這是一波榮景，SK海力士第二季繳出76%的營業利益率，美光最新一季營收為540億美元，將近一年前的5倍，三星也回來了：Counterpoint估計，從第一季到第二季，三星的HBM營收市佔率從21%升到33%，SK海力士則從58%滑落到50%，三家都表示，目前已在出貨HBM4，不過集邦科技指出，良率偏低，仍限制了出貨量，美光估計。

6:12 · 市場

HBM市場在2025年約為350億美元，到2028年將成長至約1,000億美元，Yole在2025年年中的預測，則要到2030年，才達到相近的數字，集邦科技目前預期，整體記憶體市場，在2026年將達到約8,890億美元，2027年則超過1.28兆美元，依集邦科技的估計，今年大型雲端業者的資本支出，將有47%用在記憶體上，另一面則是缺貨，根據集邦科技，一般型DRAM的合約價，在2026年第一季大約翻倍，影響也向外擴散：集邦科技表示，輝達在Vera Rubin超級晶片模組上，已將LPDDR記憶體減半，而且明年可能只拿得到所需數量的約60%，集邦科技目前預期，2027年HBM價格將大漲121%，投資人正大舉押注在重新思考記憶體的晶片上。

7:16 · 新創

2026年，Etched以210億美元的估值，募得7億美元，SambaNova以110億美元的估值，募得10億美元，Positron則以50億美元的估值，募得8.75億美元，MatX募得超過5億美元，d-Matrix則在2025年底，以20億美元的估值，募得2.75億美元，而且出場的規模也很大，Cerebras在2026年5月掛牌上市，以定價計算的市值將近400億美元，據報導，輝達為了Enfabrica的團隊與技術，支付了超過9億美元，邁威爾則同意收購CXL交換器廠商XConn，金額約5.4億美元，風險確實存在。

8:07 · 展望

記憶體產業有週期性，過去的超級週期，曾在一到兩年內轉入下行，而大規模的新晶圓廠產能，將在2028年到位，缺貨迫使業者妥協：集邦科技表示，晶片業者正在考慮改用較矮的8層HBM堆疊，甚至減少每個裝置的HBM用量，新的記憶體層級也可能延後，高頻寬快閃記憶體的樣品，已從2026年延到2027年，另外，Counterpoint指出，輝達客製化HBM的宣稱，大多還無法查證。

8:45 · 總結

總結一下，運算已經超越了記憶體，而解碼受限於記憶體，每一種運算，都對應到階梯上的一階，GPU用HBM，快速解碼用SRAM，CPU和邊緣裝置用LPDDR，KV快取則用DRAM、CXL和快閃記憶體，記憶體廠正迎來榮景，價格也已經飆漲，投資人正把資金投入重新思考記憶體的晶片，出場案也已經出現，懸而未決的問題是，供給能否在週期反轉之前跟上，以上就是2026年10月，AI記憶體的現況，本影片整理了公開資料，以及MESH的CORTEX筆記，本影片並非投資建議，公司數據皆為各公司自己的說法。