LLMadness – 疯狂三月模型评估

我想测试一下顶级大语言模型在非编程代理能力方面的表现，于是构建了一个预测疯狂三月赛程表的模型评估项目。经过对格式的一些尝试，我最终采用了以下设置：- 63场单场比赛预测 vs 一次性完整赛程表预测 - 每场比赛最多允许10次工具调用 - 系统提示中包含针对爆冷门的特定指令 - 按轮次指数级计分（1, 2, 4, 8, 16, 32） 过程中有一些有趣的发现：- 不出所料，大多数预测结果都接近常规排名。很少有模型预测出重大冷门。- 在完全相同的设置和限制条件下，成本和token消耗量存在巨大差异。两个Claude模型填写赛程表都花费了超过40美元，而MiMo-V2-Flash只用了0.39美元。全部15次模型运行总共花费了138.69美元。- 速度方面也存在巨大差距。Claude Opus 4.6花了将近2天时间才完成2场附加赛和63场正赛预测，而Qwen 3.5 Flash只用了不到10分钟。- 即使明确给出了锦标赛年份（2026年），多个模型仍然调用了往年的信息。Claude似乎是这个问题最严重的，它坚持认为Cooper Flagg应该在今年杜克大学的队伍中。 这是个很有趣的方式，把我两个兴趣点结合了起来，我很期待在未来几周观察这些模型的表现。你可以点击每个赛程节点查看完整的模型推理过程和选择依据。 技术栈采用Typescript、Next.js、React和原生CSS。没有数据库，所有数据都存储在静态JSON文件中。每场比赛结束后，我会更新实际结果并通过GitHub Pages重新部署。因为今天就是赛程锁定截止日，我想尽快完成工作，所以几乎全部代码都是AI生成的（没想到吧）。希望你喜欢这个项目！