LLMadness – 瘋狂三月模型評估

我想測試頂級大型語言模型的非編碼代理能力，所以建立了一個預測瘋狂三月對戰表的模型評估。稍微嘗試了不同格式後，我採用了以下設定：- 63場單場預測 vs. 完整一次性對戰表 - 每場比賽最多10次工具調用 - 系統提示中包含針對爆冷門的特定指令 - 按輪次指數計分（1、2、4、8、16、32） 有一些有趣的發現：- 不出所料，大多數對戰表都接近預期排名。預測到的重大爆冷門非常少。- 在完全相同的設定和限制下，成本和代幣使用量存在巨大差異。兩個Claude模型填寫對戰表都花費超過40美元，而MiMo-V2-Flash只花了0.39美元。所有15次模型運行總共花費138.69美元。- 速度也有很大差異。Claude Opus 4.6花了將近2整天完成2場附加賽和63場對戰表比賽。Qwen 3.5 Flash只用了不到10分鐘。- 即使給定了錦標賽年份（2026），多個模型還是引用了前幾年的資訊。Claude似乎是最大的問題製造者，非常堅持認為Cooper Flagg會在今年杜克大學的隊伍中。這真是結合我兩項興趣的有趣方式，我很期待在接下來幾週觀察模型的表現。你可以點擊每個對戰表節點查看完整的模型追蹤和選擇理由。技術堆疊是Typescript、Next.js、React和原生CSS。沒有資料庫，所有內容都儲存在靜態JSON檔案中。每場比賽後，我會更新實際結果並透過GitHub Pages重新部署。由於對戰表今天就要鎖定，我想盡可能快速完成，所以幾乎所有程式碼都是AI生成的（驚人吧）。希望你喜歡這個作品！