AI research agent 可以提出、實作和評估 machine learning 實驗，但真正的瓶頸往往不是寫出候選方案，而是跑完每個方案需要數小時甚至數日的 GPU 時間。8 月 14 日提交的 arXiv 論文 AI Research Preference Models，將問題定義成一個執行預算分配問題：在多個候選研究方向中，Agent 應先做哪一個？
研究團隊提出 AI Research Preference Models，簡稱 RPM。RPM 不直接修改 model weights，而是預測哪些候選 solution 最值得執行，避免把所有候選都完整跑一次。論文測試兩個版本：inference-only RPM 讀取候選計劃、程式碼和過往已執行方案；agentic RPM 則會先做小規模 pilot experiment，再決定是否投入更大預算。
作者把兩個版本接入 AIRA-dojo search agent，並以 AIRS-Bench 評估 machine learning research tasks。論文報告平均 normalized score 由未使用 RPM 的 0.684 提升至 0.711 和 0.729；兩個 RPM 版本大約用 15 小時便達到 unguided agent 24 小時的表現，使用少於三分之二的 execution budget。作者亦表示最佳 RPM 在兩個 AIRS-Bench 任務上取得新的 state-of-the-art。這些是單篇預印本的 benchmark 結果，並非通用研究能力證明。
這個方向的重要性在於，它把 Agent 的效率重新放在「選擇做甚麼」而不是「每一步想得多快」。如果一個研究 Agent 可以快速生成大量看似合理的實驗，但沒有辦法預測哪個方案值得真正訓練，更多推理只會把等待時間和 GPU 成本推高。RPM 讓候選排序、pilot、完整訓練和結果評估成為一個可觀測的 workflow。
不過，preference model 也會引入新的偏差。它可能偏好容易預測但沒有突破性的方案，或因過往資料分佈而錯過少見方向；小規模 pilot 的結果也未必能代表 full-scale training。研究 Agent 應保留探索配額、隨機或多樣性抽樣、held-out evaluation 和人工研究判斷，避免把所有資源只放在模型最有信心的候選。
對企業內部 AI research workflow，類似設計可以用在資料科學、A/B test 或模型調參：先把候選方案、預期收益、評估成本和失敗風險寫入 queue，再由 router 決定 pilot、完整執行或暫緩。每個決策都要保存輸入、預測、實際結果和後續更新，才可以知道節省的 GPU 時間是否換來更好的研究產出，而不只是少跑幾個實驗。
AI Research Preference Models 的訊號是，長程 Agent 的下一個競爭層可能是 execution economics。當模型能提出的方案多於系統可以驗證的方案時，研究 Agent 需要一個可校準、可反駁和可保留探索的資源分配層。這不是單純提高模型智力，而是把有限時間、算力和驗證機會變成可管理的 workflow。
