在超硬核的“時間線索”推理謎題中，32B小模型借助GRPO擊敗了其他模型，其推理能力超越了o1、o3 - mini、DeepSeek - R1等，并且訓練成本大幅下降100倍。還介紹了研究人員如何對小模型進行強化訓練，以及在訓練過程中的一些發(fā)現(xiàn)，如模型推理長度的變化等內(nèi)容。
在具有挑戰(zhàn)性的“時間線索”（Temporal Clue）邏輯謎題中，這一謎題脫胎于經(jīng)典桌游Clue并加入新維度，堪稱邏輯推理的“珠穆朗瑪峰”，它不僅考驗模型基本推理能力，還能暴露頂級大模型軟肋。基于強化學習微調(diào)后的Qwen 2.5 32B，其推理能力完全碾壓o1、o3 - mini、R1，甚至追平Claude 3.7 Sonnet，整個模型推理成本暴降100多倍。前谷歌工程師、初創(chuàng)OpenPipe聯(lián)創(chuàng)Kyle Corbitt和團隊將“時間線索”謎題作為模型的“終極試煉場”，提出小模型在復雜推理任務(wù)中能否逆襲的假設(shè)。他們選用開源的Qwen模型（14B和32B），通過GRPO強化學習進行魔鬼式訓練，小模型推理性能顯著提升。不過，團隊還發(fā)現(xiàn)Qwen 14B的推理長度隨時間“隨機”增加，Qwen 32B的推理長度卻在減少，這發(fā)生在獎勵機制完全不涉及長度的情況下。在AI推理領(lǐng)域，自去年OpenAI推出o系列推理模型后，強化學習掀起狂潮，諸多巨頭入局打造高級推理模型，很多基準測試接近飽和，但邏輯推理仍是難題。為此，OpenPipe兩位聯(lián)創(chuàng)決定用RL微調(diào)后的小模型挑戰(zhàn)復雜推理題。研究人員打造了新基準“時間線索”，將謎題轉(zhuǎn)化為單人邏輯謎題。他們先對頂尖大模型進行測試，包括DeepSeek - R1、o1、o3 - mini、Claude Sonnet 3.7以及開源的Qwen 14B和32B，結(jié)果Claude Sonnet 3.7表現(xiàn)最優(yōu)，開源DeepSeek - R1與o1、o3 - mini性能相當，未經(jīng)調(diào)優(yōu)的Qwen 2.5 Instruct模型表現(xiàn)平平。那么如何將較小的開源模型訓練到前沿水平呢？答案是強化學習。這里LLM是智能體，謎題是環(huán)境。研究人員選擇了由DeepSeek開發(fā)的GRPO算法，它簡化訓練過程且性能強大。為加速實驗省略Kullback - Leibler（KL）散度懲罰。在訓練過程中，有諸多環(huán)節(jié)，如生成模型對謎題任務(wù)的響應、對響應評分等基本步驟。在生成響應時使用vLLM推理引擎，Prefix caching很重要，還需解決向vLLM發(fā)送過多請求的問題。處理完成內(nèi)容時使用標準的HuggingFace Transformers AutoTokenizer。Qwen模型雖經(jīng)過預訓練和指令微調(diào)，但還不能可靠解決“時間線索”謎題，不過偶爾成功就夠了。研究人員通過增加良好推理概率、減少“不良”推理概率，將模型引導至“偵探大師”級水平，采用策略梯度方法計算損失調(diào)整權(quán)重，使用torchtune庫訓練。雖然主要用Qwen模型，但也對8B和70B的Llama模型進行實驗。torchtune提供多種節(jié)省內(nèi)存和提升性能的工具。模型在經(jīng)過超過100次迭代訓練后實現(xiàn)SOTA級演繹推理能力。訓練過程中性能提升遵循冪律分布，研究人員推測模型可能過早收斂于初期有效的貪婪策略。輸出長度在訓練期間有有趣變化，剛開始響應長度逐步增加后趨于穩(wěn)定，后期14B模型響應變長，32B模型響應長度顯著減少。為定性評估邏輯推理能力提升，團隊用Claude Sonnet 3.7分析Qwen 32B模型解謎推理能力，發(fā)現(xiàn)訓練后模型邏輯推理能力提升。團隊還根據(jù)Fireworks AI的無服務(wù)器定價方案估算Qwen模型成本，發(fā)現(xiàn)提出的方法改善了成本與準確率的權(quán)衡關(guān)系。最后，團隊發(fā)現(xiàn)僅用16個訓練樣例就能實現(xiàn)10 - 15%的顯著性能提升。
本文總結(jié)了在“時間線索”邏輯謎題中，小模型通過GRPO強化學習實現(xiàn)推理能力的逆襲，包括超越部分大模型、推理成本大幅下降，還闡述了模型訓練過程中的各種操作、遇到的現(xiàn)象以及最終取得的成果，如實現(xiàn)SOTA級演繹推理能力、改善成本與準確率的權(quán)衡關(guān)系等。
本文鏈接：http://m.zh1234.com/news5303.html32B小模型憑GRPO逆襲推理謎題，成本暴降100倍，Qwen小模型經(jīng)強化學習，推理能力超預期
