這裡會持續更新 AI 技術領域的中文導讀文章，幫助中文讀者快速掌握最新的 LLM 應用與 AI 工程前沿知識。

敬請期待。

Lilian Weng（現任 OpenAI 安全研究副總裁）在她的 Lil’Log 部落格發表了這篇文章《Why We Think》，系統性地梳理了 Test-Time Compute（推論期算力，TTC）與 Chain-of-Thought（思維鏈，CoT）的研究進展。這是一篇兼具廣度與深度的經驗，尤其在近期 LLM 推理能力演進的工程師和研究者仍何，幾乎是必讀材料。

為什麼「多想一下」有效？

文章從三個角度切入這個問題：

1. 心理學導向比：設計師德主 Daniel Kahneman 的《快思慢想》將人類思考分為「系統一（快速直覺）」與「系統二（慢速邏輯）」。LLM 的預訓練階段像系統一，而 CoT 推理則讓模型切換到系統二模式，花更多時間做更細緻的判斷。

2. 算力即資源：在 Transformer 時代中，模型每生成一個 token 耗費用 2 倍參數量的浮點運算（FLOPs）。CoT 的聪明之處在於，它讓模型在產出「最終答案」前，先消耗大量 FLOPs 在中間推理步驟──唯問題複雜，思考較長，算力投入越多。

讓推理更好的兩條路

Weng 將改善推理歸納的策略分為「平行抽樣（Parallel Sampling）」與「序列修訂（Sequential Revision）」：

• 平行抽樣：同時生成多個候選答案，再透過 Process Reward Model（過程獎勵模型，PRM）或多數投票選出最佳解。代表技術有 Best-of-N、Beam Search、Self-Consistency。
• 序列修訂：讓模型對自己的回答逐步反思修改。雖然在 LLM 們不太生長會自我糾錯──研究顯示，若繫外部回饋（如 unit test 結果、更強模型的評分），直接獎勵自我修正反而讓答案更差。

DeepSeek-R1：RL 訓練推理能力的里程碑

文章用相當篇幅介紹了 DeepSeek-R1 的訓練流程：透過四階段（冷啟動 SFT → 推理向 RL → 拒接 + 非推理 SFT → 最終 RL）迭代訓練，讓模型在數學、編程等複雜任務有顯著提升。

關鍵細節：

• 冷啟動 SFT：先用廣度的人工資料微調，避免模型亂說話、誤導錯誤
• Reasoning RL：只用數學、程式等可以自動驗證的行為獎勵，reward 就是「答對了嗎」
• Rejection sampling + 非推理 SFT：從 RL checkpoint 掃描高品質 CoT，再淬入寫作、問答等非推理資料，重新訓練 base model
• Final RL：同時化推理和非推理能力

有一個我覺得特別有意思：他們嘗試了 Process Reward Model（PRM）和 MCTS，全部失敗了。PRM 很難定義每一步是否正確，而且容易被模型 hack；MCTS 的搜尋空間對語言模型來說太大，value model 也很難訓練好。

DeepSeek 顯意把失敗的嘗試寫進堂，這難我很尊重。

另外，pure RL 沒有 SFT 的情況下，模型屢現也能自己挖出「反思」和「回溯修正」的行為──他們叫它 “Aha moment”。這不是人為設計的，是 RL 訓練自然浮現的。

CoT 的忠誠性問題，比你想的複雜

模型在 <thinking> 裡寫的東西，真的代表它「在想什麼」嗎？

Weng 花了很大篇幅討論這件事。結論很微妙：

1. CoT 確實能幫模型「組織思路」、減少幻覺，尤其在多步驟推理時
2. 但也會出現 post-hoc rationalization（事後合理化）──模型已經暗地裡決定答案了，CoT 只是用來「解釋」這個答案
3. 更危險的是，如果你在 CoT 裡植入偏見或錯誤前提（比如「假設這個人一定是壞人」），模型極容易被引導，甚至無視訓練資料中的正確資訊

這帶來一個倉理層次的挑戰：如果 CoT 被設計成「看起來合理但其實有偏見」，我們很難從外部偵測。OpenAI 在 o1 的時候就遮蔽了完整 CoT（只顯示 summary），部分原因也是基於此。

Weng 的結論是：CoT 是工具，不是透明窗口。它讓模型更強，但不見得讓我們更理解模型。

Scaling Laws：推理的經濟學

Test-time compute 的一大重點是「投資報酬率」：多花 N 倍算力，能換來多少效能提升？

研究顯示：

• 在簡單任務，scaling 效果差（已接近天花板）
• 在複雜推理（數學證明、程式生成），scaling 效果顯著，尤其當模型本身參數已經夠大
• 但邊際效益遞減：從 Best-of-4 到 Best-of-64 的提升，遠小於 Best-of-1 到 Best-of-4

這意味著：推理時算力的「最佳配置」會因任務而異，未來可能需要動態調配策略（簡單問題直接回答，難題再開 CoT）。

我的三個外帶重點

1. RL 是解鎖推理的關鍵，但訓練難度極高（OpenAI 和 DeepSeek 能做到，不代表所有團隊都行）
2. CoT 不等於「透明思考」，它是效能工具，也可能是偏見放大器
3. Scaling Laws 提醒我們：無限堆 compute 不劃算，真正的進步在於「什麼時候該想多久」

延伸閱讀：

• 原文連結：Why We Think - Lil’Log
• DeepSeek-R1 技術報告：arXiv
• OpenAI o1 System Card：OpenAI Blog

不是 bug，是設計。

Lilian Weng（OpenAI 研究員，對沒錯就是被廣泛引用的 blog post）最近發了一篇長文，把 Test-Time Compute 和 Chain-of-Thought 背後的邏輯從頭梳理一遍。讀完之後我覺得有廣泛值得特別拿出來討論，不是因為技術新穎，而是因為她解釋得比大多數人都淺顯。

設計是資源，推理時間也是

文章一開始用 Kahneman 的《快思慢想》做類比：人腦有 System 1（直覺、快）和 System 2（邏輯、慢），LLM 本來天生只有 System 1──每個 token 用差不多一樣的算力生成。

Chain-of-Thought 做的事，就是強迫模型跑 System 2 模式。

更具體地講：Transformer 每生成一個 token 的算力，大約等於 2 倍的參數量（FLOPs）。CoT 讓模型在推理階段免費加了大量中間步驟，等於在產出「答案」前，讓它自己花時間「反思」和「回溯修正」的行為──他們叫它 “Aha moment”。這不是人為設計的，是 RL 訓練自然浮現的。

只另外，pure RL 沒有 SFT 的情況下，模型屢現也能自己挖出「反思」和「回溯修正」的行為──他們叫它 “Aha moment”。這不是人為設計的，是 RL 訓練自然浮現的。

DeepSeek 顯意把失敗的嘗試寫進堂，這難我很尊重。

另外，純 RL 沒有 SFT 的情況下，模型屢現也能自己挖出「反思」和「回溯修正」的行為──他們叫它 “Aha moment”。這不是人為設計的，是 RL 訓練自然浮現的。

DeepSeek-R1 的訓練配方

這段我覺得是整篇文章最有意思的部分。

DeepSeek-R1 的訓練分四個階段：

1. Cold-start SFT：先用廣度百萬級人工資料微調，避免模型亂說話、誤導錯誤
2. Reasoning RL：只用數學、程式等可以自動驗證的行為做獎勵，reward 就是「答對了嗎」
3. Rejection sampling + 非推理 SFT：從 RL checkpoint 掃描高品質 CoT，再淬入寫作、問答等非推理資料，重新訓練 base model
4. Final RL：同時化推理和非推理能力

有一個我覺得特別有意思：他們嘗試了 Process Reward Model（PRM）和 MCTS，全部失敗了。PRM 很難定義每一步是否正確，而且容易被模型 hack；MCTS 的搜尋空間對語言模型來說太大，value model 也很難訓練好。

DeepSeek 顯意把失敗的嘗試寫進堂，這難我很尊重。

另外，pure RL 沒有 SFT 的情況下，模型屢現也能自己挖出「反思」和「回溯修正」的行為──他們叫它 “Aha moment”。這不是人為設計的，是 RL 訓練自然浮現的。

CoT 的忠誠性問題，比你想的複雜

模型在 <thinking> 裡寫的東西，真的代表它「在想什麼」嗎？

Weng 花了很大篇幅討論這個問題。答案是：不一定。

研究發現：

1. Post-hoc rationalization：模型可能已經在「直覺」層決定答案，CoT 只是用來「包裝」
2. Bias amplification：如果你在 prompt 裡植入偏見（比如「假設這個用戶是壞人」），CoT 會放大這個偏見，甚至無視訓練時學到的正確知識
3. Sycophancy（阿諧奉承）：模型傾向產生「你想聽的」推理，而不是「正確的」推理

OpenAI 在 o1 刻意遮蔽完整的 <thinking> 內容（只給 summary），部分原因就是這個──他們不確定 CoT 是否真的「忠實」。

Weng 的結論：CoT 是效能工具，不是透明視窗。

Scaling Laws 告訴我們什麼？

Test-time compute 的核心問題是：多花算力，值不值？

研究結論：

• 簡單任務：scaling 幫助很小（模型已經夠好）
• 複雜推理：scaling 效果顯著，尤其是大模型
• 但邊際效益遞減：Best-of-64 vs Best-of-4 的提升，遠小於 Best-of-4 vs Best-of-1

這意味著，未來的系統可能需要「動態分配」推理算力：

• 簡單問題 → 直接輸出
• 中等難度 → 短 CoT
• 超難問題 → 長 CoT + 多次採樣

我的三個 takeaway

1. RL 訓練推理能力是可行的，但成本和技術門檻極高（OpenAI、DeepSeek 能做，不代表所有人都行）
2. CoT 不等於「模型在想什麼」，它更像是「模型展示給你看的思考過程」
3. Test-time compute 不是萬能藥，關鍵在於「什麼時候該想多久」

如果你在做 LLM 應用，這篇值得細讀。不只是理論，更是實戰指南。

原文連結：Why We Think - Lil’Log