Latent Space 在 2026/2/24 上了一集 Claude Code for Finance + The Global Memory Shortage (YouTube 完整版、X 公告)，來賓是 SemiAnalysis 的 Doug O’Laughlin。上半場聊他怎麼把 Claude Code 當成金融研究的主力工具，那篇「GitHub 上 4% 的公開 commits 出自 Claude Code」的 Claude Code is the Inflection Point 就是 SemiAnalysis 發的，這部分本文不展開。小編覺得這集真正有意思的是下半場的全球記憶體短缺，因為它帶出一個跟每位 AI 工程師都有關的結論: LLM 的 context window 短期內不會再大幅成長，卡住它的不是演算法，是 HBM 記憶體。這篇就專心講這個，以及它為什麼讓 context engineering 變得更重要。

Doug 早年是匿名財經帳號「ValueMule」，2018 年因為研究 ASML 轉進半導體，後來創辦 Fabricated Knowledge，再併入 Dylan Patel 的 SemiAnalysis，是少數同時懂晶片供應鏈和 AI 應用的分析師。

40 年一遇的記憶體短缺，有四個成因

下半場對應 SemiAnalysis 二月初的 Memory Mania 這篇。他們從 2024 年底就開始提醒記憶體要出事，而這次短缺是 40 年一遇的等級，因為四件事同時發生:

1. DRAM 微縮停滯，成本不再自動下降

過去五十年，記憶體有一個大家習以為常的規律: 製程每進步一代，同一片晶圓就能切出更多位元，每 GB 的成本就自動下降。所以就算需求大增，只要等技術往前走，價格長期還是一路往下。這個規律在最近十年失效了: 全盛時期 DRAM 密度每十年成長約 100 倍，過去十年只剩約 2 倍，技術進步帶來的降價力量幾乎歸零。下面這張圖一看就懂:

DRAM 每 GB 成本，1973 到 2024 年，對數座標。跌了五十年的曲線，最近十年明顯放平。來源: SemiAnalysis Memory Mania

縮不下去的原因，簡單說是 DRAM 的記憶單元 (cell) 已經小到接近物理極限: 每個記憶單元靠一顆微小電容存電荷來記住 0 或 1，縮到現在，存的電荷只剩幾萬顆電子 (Memory Mania 文章的比較: 一粒灰塵帶的靜電，大約是它的一萬倍)，訊號微弱到再縮就讀不到了。

所以這次漲價跟以往最不一樣的地方是: 沒有「等製程進步就會降價」這條路可以指望了。DRAM 價格從此純看供需，而供需正好在最糟的時刻失衡。

2. 上一輪不景氣是史上最慘，沒有人擴產

記憶體是漲跌循環非常劇烈的產業: 缺貨時大賺，供過於求時大賠。Doug 說上一輪下跌要回到 1996 年才找得到可比的慘況: 記憶體廠自由現金流轉負、資本支出全停，無塵室和設備這類要提前兩三年準備的投資通通沒做。90 年代中期全球有 20 多家 DRAM 廠，一輪一輪淘汰下來，現在只剩 3 到 4 家有實質產能的供應商，誰都不想在低點擴產。

3. HBM 的交換比: 每做 1 個位元，就少掉 3~4 個位元的 DRAM

HBM 就是 AI 加速器旁邊那幾疊高頻寬記憶體，做法是把多層 DRAM 晶粒垂直堆疊封裝起來。它的晶粒比較大、堆疊的每一步都有良率損耗，所以同樣的晶圓產能拿去做 HBM，產出的位元數只有一般 DRAM 的幾分之一。Doug 說:

HBM 的每一個位元，本質上都是 DRAM 產能的 4 倍乘數。

AI 加速器的需求全部集中在 HBM，等於用 3:1 到 4:1 的比率，從本來就沒擴產的 DRAM 產能裡挪走。Doug 自己的比喻: 有人發明了一種更高級的航空燃油，唯一的製造方法是把你手上的普通燃油大量濃縮提煉，「這種情況下只要出現任何需求，就是立刻短缺」。

4. KV cache 卸載: 連一般的伺服器記憶體也被 AI 買走

記憶體市場大致分三層: 最高階是 GPU 上的 HBM，中間是伺服器用的一般 DRAM (DDR5)，再往下是手機和 PC 用的消費性記憶體。前面講的是 AI 把最高階的 HBM 搶光，但需求沒有停在那裡: 推論系統為了節省昂貴的 HBM 空間，會把暫時用不到的 KV cache 先搬到伺服器的一般 DRAM 存放 (稱為卸載，offload)，要用時再搬回來。於是中間這層的 DDR5 也被 AI 大量買走，Doug 的說法是「中間這層也蒸發了」。推理模型和 agent 工作流把 context 越用越長，KV cache 就越大，正是這波需求的直接來源，後面講 context window 時會再展開。

消費端也躲不掉。節目上 Doug 直接建議 swyx「現在就去買 iPhone」，後來看是對的: Dylan Patel 三月在 Dwarkesh Podcast 給的數字是 DRAM 價格已經漲了三倍，iPhone 估計會因此貴 250 美元，全球智慧手機出貨量可能從 11 億支掉到 5、6 億支。Doug 說這是史上第一次，記憶體貴到變成「要選擇誰能拿到」: 低階手機、遊戲顯卡會有一段時間直接從市場上消失。連已經被判定失敗的記憶體池技術 CXL (SemiAnalysis 2023 年就寫過 CXL Is Dead In The AI Era) 都要復活了: 把每一條找得到的 DDR4 舊記憶體接上機架共享使用，短缺嚴重到連舊料都得拿出來用。

從 2 月到 7 月: 方向沒變，數字更陡

訪談是 2 月底錄的，Doug 當時的預測是 DRAM 價格「可能再漲 100%」。五個月過去，SemiAnalysis 後續發表的數字只有更陡: 四月的估算是 DRAM 價格 2026 全年會再漲超過一倍，HBM 供不應求會持續到 2027，記憶體佔大型雲端業者 (hyperscaler) 資本支出的比例，也從前兩年的約 8% 升到 2026 年的 30%。美光 (Micron) 六月底的財報是最直接的佐證: 毛利率 84.6%，執行長還坦言部分關鍵客戶的需求只能滿足 50% 到 2/3，完全是賣方市場。

對 AI 工程師來說，市場細節可以略過，記住兩個訊號就好。一是短缺已經影響晶片設計本身: 六月 Dylan Patel 透露 Nvidia 把下一代 Rubin Ultra 的 HBM 堆疊從 16 層砍到 12 層，連跟供應鏈綁最深的 Nvidia 都拿不到想要的量。二是有意義的新產能要等 2027 年底到 2028 年，也就是說接下來這一兩年，模型供應商能拿到的記憶體就是這麼多了。

Nvidia 對 TPU: 勝負不在晶片設計，在誰拿得到 HBM

節目裡有一段講加速器競爭，Doug 的論點可以整理成三步:

第一步，現在確實是 TPU 優勢最大的一刻。 Doug 估算 TPU v7 (Ironwood) 是目前總持有成本 (TCO) 最好的加速器，而且領先幅度有感。原因有兩個: 一是 TPU 這邊該成熟的都成熟了，軟體生態、網路架構都到位，還多了 Anthropic 這個真正懂得用 TPU 的外部大客戶; 二是 Nvidia 自己這一代跌了一跤，GB200 出貨延遲又不穩定，Doug 直說如果 GB200 準時出貨、穩定運作，會全面壓過 v7。所以才有「在完全不缺貨的世界裡，每家實驗室都會盡可能多拿 TPU v7」這句話，連 OpenAI 都不例外。

第二步，但在什麼都缺的年代，比的不是晶片設計，是供應鏈。 TPU 想多做也做不出來，台積電產能是最大限制; 更關鍵的是記憶體: 短缺時 HBM 實質上是分配制，三家供應商的產能就這麼多，誰能簽下最好、最多的供應，看的是長約和多年的關係經營。這正是 Nvidia 最強的地方，Doug 說「Nvidia 毫無疑問是最強的，他們掌握整條供應鏈」。黃仁勳親自在亞洲和三星會長、SK 海力士高層喝酒應酬，重點不是喝酒本身，而是記憶體供應重要到 Nvidia 的執行長親自出面經營關係、鎖定最好的產能; 節目裡的反問是: 你覺得 Sergey Brin 有在做同樣的事嗎? 沒有。

第三步，所以 Rubin 世代會反轉，而且贏的正是 context window 最需要的東西。 Nvidia 下一代 Rubin 平台配 HBM4，Doug 判斷「HBM 和記憶體容量的優勢會倒向 Rubin 這邊」，而推論時代更大更快的記憶體，直接決定「context window 能做多大」，swyx 接話: 「決定一切」。用 Doug 的說法，Google 想搶市佔「這扇門只有現在開著」，等 Rubin 出來就關上了。

簡單說: 晶片設計的差距可以追，但記憶體供應的差距，在 40 年一遇的短缺裡就是勝負本身，而這件事 Nvidia 布局最深。後續進展一則: SemiAnalysis 四月的 ISSCC 2026 整理 提到三星的 HBM4 進步明顯，效能已能滿足 Rubin 的要求，SK 海力士的獨大局面可能鬆動。三家都能量產 HBM4 對供給是好消息，但別忘了上面的交換比: HBM 做得越多，被換掉的一般 DRAM 產能就越多。

Context window 卡在 1M，而且是物理限制

這集討論度最高的就是這段。swyx 先丟出觀察:

swyx: 所有人，包括 Sam Altman，都在預測更長的 context window。但我們實際上已經卡在 1M 兩年了。

Doug: 我最近一直在想這件事。它不會變成 100M，也不會變成 1T。就是這樣了，接下來五年、十年大概就是這樣。

編按: Gemini 1.5 Pro 在 2024 年 2 月發表 1M context window，到這集錄音的 2026 年 2 月正好兩年，主流模型的上限還停在同一個量級。

Doug 給了一個很好的定位: 長 context 本質上就是「往上堆記憶體」的能力。為什麼說這是物理限制、不是演算法問題? 訪談裡點到為止，小編展開算給大家看。核心是 KV cache: Transformer 模型在生成時，前面每個 token 的中間計算結果 (注意力的 Key 和 Value) 都要留在 GPU 的 HBM 裡隨時取用，這份暫存就是 KV cache，它隨 context 長度線性成長。以 Llama 3 70B 這種等級的模型粗估 (80 層、8 個 KV head、head_dim 128、FP16)，每個 token 的 KV cache 約 0.33 MB:

128K tokens 的 KV cache
約 43 GB
一張 H200 (141GB HBM) 放得下
1M tokens 的 KV cache
約 330 GB
超過單卡容量，要 3 張 H200 分攤
100M tokens 的 KV cache
約 32 TB
超過 230 張 H200，只為了存住對話
✏️ 小編製圖與估算，只算 KV cache，模型權重還要另外放。不同架構差異很大，但量級如此。

也就是說 100M context 光是 KV cache 就是 32TB 等級，需要兩百多張 GPU 只為了「記住」一段對話，經濟上完全不成立。

而且問題不只容量，還有頻寬: 生成回應時，每產生一個新 token，都要把整份 KV cache 從 HBM 完整讀一遍。context 越長，每個 token 的生成就越慢、越貴。這就是為什麼各家對長 context 的定價更高，也是為什麼推論部署現在流行把「讀入處理 prompt 的預填 (prefill) 階段」和「逐字生成的解碼 (decode) 階段」拆開，放在不同的機器上跑。

演算法能省的都是常數倍: GQA、MLA、KV cache 量化，這些技術都是在壓縮每個 token 佔的空間 (DeepSeek 的 MLA 壓得特別多)，但改變不了「隨 context 線性成長」這個本質。

swyx 接著問了一個很實際的問題: 從論文和他自己的使用經驗來看，模型在超長 context 下的表現會下降，並不會真的把 context 全部用上，那 100M 有意義嗎? Doug 的回答:

100M 的版本今天就存在，只是各有各的缺陷: 它們並沒有真的對每個 token 做完整的注意力計算。你可以用狀態空間模型 (SSM) 甚至 LSTM 去處理一億個 token，但你並沒有對這一億個 token 付出完整的注意力。

他補充說，模型有效運用 context 的能力這幾年進步很多、還會再進步，但「我們永遠不會用滿全部的 context」。這句話值得記住: 就算 context window 不變，「塞得下」和「用得好」也是兩回事。

swyx 給了總結: 「你代表的是我們軟體這端永遠無法克服的物理限制。」Doug 接著補上: 「我們連翻倍都做不到，更別說 10 倍。」Dylan Patel 三月在 Dwarkesh 那集則從需求端印證同一件事: 這波記憶體需求大增的直接原因，就是推理模型把 context 越拉越長，context 越長 KV cache 就越大，你就是需要更多記憶體。

Context rationing: context 會變成配給品

既然供給短期不會變出來，接下來就是分配問題。swyx 在節目上當場想出「context rationing (context 配給)」這個詞，Doug 順著推演計價的未來: 免費版的 context window 可能縮到 1,000 tokens 上下，然後對 1M 收 100 倍的價錢，「1M context window 就像豪宅」(他的原話)。swyx 接著開玩笑說以後會有 context 配給券: 「你今天的 context 額度用完了」。兩人講得半開玩笑，但方向很認真: 按 context window 分級計價，明年出現都不奇怪。

至於解法，這集加上後續幾場訪談合起來看有三種，每一種都不快:

  1. 演算法: 遞迴語言模型 (recursive language models，遞迴地重複使用同一份 context window，swyx 說他最近很關注)、稀疏注意力 (sparse attention)、線性注意力 (linear attention)、狀態空間模型。共同的取捨是都不對每個 token 做完整的注意力計算，省記憶體的代價是模型對 context 前段的內容記得比較模糊: 當答案需要用到幾十萬 token 之前提過的細節時，可能漏掉或記錯。
  2. 硬體: Dylan Patel 七月初在 Sequoia 的訪談 講了技術面: DRAM 的記憶單元發明至今 40 年、NAND 也 25 年沒有重大突破，過去五年的進步只是把 HBM 堆更高、跑更快。接下來幾年值得期待的是把記憶體直接堆疊在運算晶片上 (而不是像 HBM 一樣分開封裝再連線)，頻寬會大幅成長。但這是以年為單位的計畫，救不了這兩年。
  3. 特化晶片: Taalas 這類把模型權重直接做進晶片、推論不需要外部記憶體的方案。Doug 認為有一席之地，理由是正式上線的模型其實都蒸餾得很小，搭配預填和解碼分離的趨勢，推論市場會分化出「固定模型、超低單價」的一塊。但他也提醒要保守看待: 過去十年做 AI 晶片、想挑戰 Nvidia 的新創公司很多，幾乎都以失敗收場，連算是活下來的 Cerebras 和 Groq，市場都還在問他們到底能做成什麼生意。Taalas 得先證明自己是例外。

小結: context 的價值在密度，不在長度

小編覺得這集最值得帶走的想法是: 「模型會不會更聰明」和「context window 會不會更大」，這兩件事要分開來想。前者看演算法和訓練，還在快速進步; 後者看 HBM 和 DRAM 供應鏈，而供應鏈已經給出答案: 未來幾年就是 1M 這個量級，而且會越來越貴。從 2 月的訪談到 7 月的現況，這個判斷只有被加強，沒有被推翻。

回頭把整集的線索收攏，會發現它們指向同一個結論:

  • 物理上，KV cache 隨 context 線性成長，記憶體供給短期不會增加，1M 就是這幾年的上限;
  • 經濟上，context 越長，每個 token 的生成越慢、越貴，計價只會往 context rationing 的方向走，塞進 context 的每個 token 都是錢;
  • 品質上，就算塞得下，模型也不會把每個 token 都用上，Doug 自己都說「我們永遠不會用滿全部的 context」。

三條線加起來: context 註定是要精打細算的稀缺資源，而且塞好塞滿本來就不是好策略。與其等一個更大的 context window (等不到)，不如把手上這 1M 的資訊密度做好。這正是 context engineering 在處理的問題，ihower 的文章中提到做法有四類方向，每一類都正好在回應這集講的限制:

  • 寫入 context: 把不需要隨時放在 context 裡的資訊 (使用者偏好、過往結論) 存到 context window 之外，形成長期記憶，要用再拿回來;
  • 選擇 context: 靠 RAG 檢索、記憶提取、動態挑選工具，只把當下任務需要的資訊拉進 context;
  • 壓縮 context: 超過門檻就總結、修剪，只留執行任務所需的 tokens，例如 Claude Code 的 auto-compact;
  • 隔離 context: 把支線任務拆給 sub-agent 用它自己的 context 執行，回到主 context 的只有結果。

用這集的視角看，這四件事的共同效果就是用更少的 token 達成同樣的任務品質: 直接省下 KV cache 的記憶體、省下越來越貴的長 context 費用，也避開塞太滿的品質下降。context engineering 會越來越重要，不是因為它時髦，而是因為物理和供應鏈都說了: 短期內沒有人會來救你，能救你的只有把 context 用得更好。