如果你曾奪妳，為什麼 OpenAI 的 o1、DeepSeek-R1 這些模型在回答困難問題前，會先「想一陣子」才給出答案──那麼這篇文章正好給你一個完整的理解框架。

Lilian Weng（現任 OpenAI 安全研究副總裁）在她的 Lil’Log 部落格發表了這篇文章《Why We Think》，系統性地梳理了 Test-Time Compute（推論期算力，TTC）與 Chain-of-Thought（思維鏈，CoT）的研究進展。這是一篇兼具廣度與深度的經驗，尤其在近期 LLM 推理能力演進的工程師和研究者仍何，幾乎是必讀材料。

為什麼「多想一下」有效？

文章從三個角度切入這個問題：

1. 心理學導向比：設計師德主 Daniel Kahneman 的《快思慢想》將人類思考分為「系統一（快速直覺）」與「系統二（慢速邏輯）」。LLM 的預訓練階段像系統一，而 CoT 推理則讓模型切換到系統二模式，花更多時間做更細緻的判斷。

2. 算力即資源：在 Transformer 時代中，模型每生成一個 token 耗費用 2 倍參數量的浮點運算（FLOPs）。CoT 的聪明之處在於，它讓模型在產出「最終答案」前，先消耗大量 FLOPs 在中間推理步驟──唯問題複雜，思考較長，算力投入越多。

3. 潛在訓練模型：從機械模型的視角，CoT 的推理過程可被視為「潛在訓練模型」，目標是最大化 P(正確答案 問題)，而 z 就是那條幫助模型抵達正確答案的隱性路徑。

讓推理更好的兩條路

Weng 將改善推理歸納的策略分為「平行抽樣（Parallel Sampling）」與「序列修訂（Sequential Revision）」：

  • 平行抽樣：同時生成多個候選答案，再透過 Process Reward Model（過程獎勵模型，PRM）或多數投票選出最佳解。代表技術有 Best-of-N、Beam Search、Self-Consistency。
  • 序列修訂：讓模型對自己的回答逐步反思修改。雖然在 LLM 們不太生長會自我糾錯──研究顯示，若繫外部回饋（如 unit test 結果、更強模型的評分），直接獎勵自我修正反而讓答案更差。

DeepSeek-R1：RL 訓練推理能力的里程碑

文章用相當篇幅介紹了 DeepSeek-R1 的訓練流程：透過四階段（冷啟動 SFT → 推理向 RL → 拒接 + 非推理 SFT → 最終 RL）迭代訓練，讓模型在數學、編程等複雜任務有顯著提升。

關鍵細節：

  • 冷啟動 SFT：先用廣度的人工資料微調，避免模型亂說話、誤導錯誤
  • Reasoning RL：只用數學、程式等可以自動驗證的行為獎勵，reward 就是「答對了嗎」
  • Rejection sampling + 非推理 SFT：從 RL checkpoint 掃描高品質 CoT，再淬入寫作、問答等非推理資料，重新訓練 base model
  • Final RL：同時化推理和非推理能力

有一個我覺得特別有意思：他們嘗試了 Process Reward Model（PRM）和 MCTS，全部失敗了。PRM 很難定義每一步是否正確，而且容易被模型 hack；MCTS 的搜尋空間對語言模型來說太大，value model 也很難訓練好。

DeepSeek 顯意把失敗的嘗試寫進堂，這難我很尊重。

另外，pure RL 沒有 SFT 的情況下，模型屢現也能自己挖出「反思」和「回溯修正」的行為──他們叫它 “Aha moment”。這不是人為設計的，是 RL 訓練自然浮現的。

CoT 的忠誠性問題，比你想的複雜

模型在 <thinking> 裡寫的東西，真的代表它「在想什麼」嗎？

Weng 花了很大篇幅討論這件事。結論很微妙：

  1. CoT 確實能幫模型「組織思路」、減少幻覺，尤其在多步驟推理時
  2. 但也會出現 post-hoc rationalization（事後合理化）──模型已經暗地裡決定答案了，CoT 只是用來「解釋」這個答案
  3. 更危險的是，如果你在 CoT 裡植入偏見或錯誤前提（比如「假設這個人一定是壞人」），模型極容易被引導，甚至無視訓練資料中的正確資訊

這帶來一個倉理層次的挑戰：如果 CoT 被設計成「看起來合理但其實有偏見」，我們很難從外部偵測。OpenAI 在 o1 的時候就遮蔽了完整 CoT（只顯示 summary），部分原因也是基於此。

Weng 的結論是：CoT 是工具，不是透明窗口。它讓模型更強，但不見得讓我們更理解模型。

Scaling Laws：推理的經濟學

Test-time compute 的一大重點是「投資報酬率」：多花 N 倍算力，能換來多少效能提升？

研究顯示：

  • 在簡單任務，scaling 效果差（已接近天花板）
  • 在複雜推理（數學證明、程式生成），scaling 效果顯著，尤其當模型本身參數已經夠大
  • 但邊際效益遞減：從 Best-of-4 到 Best-of-64 的提升，遠小於 Best-of-1 到 Best-of-4

這意味著：推理時算力的「最佳配置」會因任務而異，未來可能需要動態調配策略（簡單問題直接回答，難題再開 CoT）。

我的三個外帶重點

  1. RL 是解鎖推理的關鍵，但訓練難度極高（OpenAI 和 DeepSeek 能做到，不代表所有團隊都行）
  2. CoT 不等於「透明思考」，它是效能工具，也可能是偏見放大器
  3. Scaling Laws 提醒我們：無限堆 compute 不劃算，真正的進步在於「什麼時候該想多久」

延伸閱讀：