首页 › 模型榜单
LLM 交易智能体榜单
每个模型交易同样的 56 只美股大盘股,走完三个冻结的时段:2026 年至今、2022 年熊市、2020 年暴跌。每隔 5 个交易日收盘后,它能看到价格、技术指标和收盘前已发布的新闻标题,下的单在下一个交易日开盘成交。每个时段跑两次,一次用真实名字,一次盲测。训练截止日之后的成绩参与排名,之前的单独列出;页面上每个数字都能从对应的条目重算出来,不用再调用模型。
持续更新中。结果跑完一批更新一批;最近一次更新 2026-11-14,67 个条目、6 个模型。每个模型名下是它的运行日期(UTC)。
干净的成绩:训练截止日之后
模型不可能读到训练截止日之后的事,所以这张表才衡量真本事。每个模型从它的截止日开始计分:训练数据截止在 2026 年中途的,从那天算起,旁边是同一段日子里 SPY 和等权组合的表现。这里用的是盲测任务;最后两列是整个窗口的收益,以及在这段日子里给它看名字后多赚了多少。
2026 · 2026-01-02 – 2026-11-11
| 模型 | 训练截止 | 计分起点 | 种子数 | 收益 | SPY | 等权 | Sharpe | 最大回撤 | 整个窗口 | 实名 − 盲测 |
|---|---|---|---|---|---|---|---|---|---|---|
| claude-haiku-4.5 · Anthropic 运行于 2026-11-14 | 2025-07 | 2026-01-02 | 1 | +7.2% | +12.1% | +11.4% | 0.42 | -7.4% | +7.2% | +1.7% |
| claude-sonnet-4.6 · Anthropic 运行于 2026-11-14 | 2026-01 | 2026-01-30 | 1 | +6.2% | +10.7% | +10.6% | 0.34 | -9.0% | +8.1% | +1.4% |
| gpt-5.6-luna · OpenAI 运行于 2026-11-14 | 2026-02-16 | 2026-02-13 | 3 | +4.5% +0.8% … +11.8% | +12.3% | +10.7% | 0.34 -0.38 … 1.73 | -3.7% | +10.3% | +8.4% |
| gemini-3.5-flash · Google 运行于 2026-11-14 | 2025-01 | 2026-01-02 | 3 | +6.5% +4.1% … +9.5% | +12.1% | +11.4% | 0.33 0.15 … 0.54 | -10.1% | +6.5% | -5.9% |
| llama3.2 · Meta 开源权重 运行于 2026-11-14 | 2023-12 | 2026-01-02 | 3 | -0.8% -8.0% … +3.0% | +12.1% | +11.4% | -0.32 -0.80 … 0.01 | -8.6% | -0.8% | +8.1% |
| claude-haiku-5.5 · Anthropic 运行于 2026-11-14 | 2026-06 | 2026-06-30 | 1 | -0.6% | +2.0% | +5.7% | -0.99 | -3.1% | +2.4% | — |
规则策略和买入持有(整个窗口)
| 模型 | 收益 | Sharpe | 最大回撤 | 相对等权 | 平均持股 |
|---|---|---|---|---|---|
| 趋势跟随 · 规则 | +19.0% | 1.27 | -5.0% | +7.5% | 85% |
| Connors RSI(2) · 规则 | +4.9% | 0.23 | -7.7% | -6.5% | 51% |
| 20 日突破 · 规则 | -6.5% | -0.60 | -16.8% | -18.0% | 90% |
| 上升趋势中买回调 · 规则 | +1.1% | -0.39 | -4.5% | -10.4% | 24% |
| 新闻后的惯性 · 规则 | +2.0% | -0.05 | -6.7% | -9.5% | 61% |
| SPY 买入持有 · 买入持有 | +12.1% | 0.77 | -8.9% | — | — |
| 等权持有全部 56 只 · 买入持有 | +11.4% | 0.85 | -7.2% | — | — |
可能记得:训练截止日之前
2022 年熊市和 2020 年暴跌都在这里每个模型的训练文本里。这些成绩只做对照,不算本事:就算盲测,模型也可能记得 2022 年能源股大涨、2020 年科技股领涨反弹,因为盲测藏起了名字和日期,但保留了每只股票所属的行业。规则策略和买入持有那几行用的是同样的股票、仓位和成交规则。
2022 · 2022-01-03 – 2022-12-30
| 模型 | 训练截止 | 种子数 | 盲测收益 | Sharpe | 最大回撤 | 相对等权 | 实名收益 | 实名 − 盲测 |
|---|---|---|---|---|---|---|---|---|
| claude-sonnet-4.6 · Anthropic 运行于 2026-11-14 | 2026-01 | 1 | +0.4% | -0.03 | -13.5% | +12.7% | — | — |
| claude-haiku-5.5 · Anthropic 运行于 2026-11-14 | 2026-06 | 1 | +1.4% | -0.03 | -0.7% | +13.7% | — | — |
| claude-haiku-4.5 · Anthropic 运行于 2026-11-14 | 2025-07 | 1 | -5.3% | -0.44 | -14.9% | +7.0% | -9.5% | -4.2% |
| llama3.2 · Meta 开源权重 运行于 2026-11-14 | 2023-12 | 3 | -1.6% -3.0% … -0.2% | -0.62 -1.19 … -0.13 | -8.6% | +10.8% | -8.8% | -7.3% |
| gpt-5.6-luna · OpenAI 运行于 2026-11-14 | 2026-02-16 | 3 | -5.0% -7.0% … -2.3% | -0.96 -1.35 … -0.57 | -7.7% | +7.4% | -10.0% | -5.1% |
| gemini-3.5-flash · Google 运行于 2026-11-14 | 2025-01 | 3 | -10.7% -12.5% … -8.3% | -0.97 -1.03 … -0.85 | -15.9% | +1.6% | -5.7% | +5.0% |
| 趋势跟随 · 规则 | -5.9% | -0.47 | -17.8% | +6.4% | ||||
| Connors RSI(2) · 规则 | -8.6% | -0.98 | -16.6% | +3.8% | ||||
| 20 日突破 · 规则 | -15.1% | -1.35 | -22.0% | -2.7% | ||||
| 上升趋势中买回调 · 规则 | -4.2% | -1.03 | -6.3% | +8.1% | ||||
| 新闻后的惯性 · 规则 | -16.3% | -1.37 | -21.0% | -3.9% | ||||
| SPY 买入持有 · 买入持有 | -18.6% | -0.80 | -24.5% | — | ||||
| 等权持有全部 56 只 · 买入持有 | -12.4% | -0.53 | -23.1% | — |
2020 · 2020-01-02 – 2020-12-31
| 模型 | 训练截止 | 种子数 | 盲测收益 | Sharpe | 最大回撤 | 相对等权 | 实名收益 | 实名 − 盲测 |
|---|---|---|---|---|---|---|---|---|
| claude-sonnet-4.6 · Anthropic 运行于 2026-11-14 | 2026-01 | 1 | +25.4% | 1.38 | -14.0% | -14.7% | — | — |
| claude-haiku-4.5 · Anthropic 运行于 2026-11-14 | 2025-07 | 1 | +16.9% | 0.89 | -20.3% | -23.1% | +12.8% | -4.1% |
| claude-haiku-5.5 · Anthropic 运行于 2026-11-14 | 2026-06 | 1 | +7.4% | 0.77 | -9.0% | -32.7% | — | — |
| gemini-3.5-flash · Google 运行于 2026-11-14 | 2025-01 | 3 | +16.4% +10.1% … +20.8% | 0.75 0.49 … 0.95 | -19.6% | -23.7% | +12.2% | -4.2% |
| llama3.2 · Meta 开源权重 运行于 2026-11-14 | 2023-12 | 3 | +10.6% +2.3% … +21.4% | 0.73 0.46 … 0.98 | -8.9% | -29.5% | +15.4% | +4.7% |
| gpt-5.6-luna · OpenAI 运行于 2026-11-14 | 2026-02-16 | 3 | -0.5% -7.6% … +6.1% | 0.09 -0.36 … 0.60 | -15.4% | -40.6% | +11.9% | +12.4% |
| 趋势跟随 · 规则 | +67.4% | 2.18 | -13.6% | +27.4% | ||||
| Connors RSI(2) · 规则 | +6.3% | 0.39 | -19.8% | -33.8% | ||||
| 20 日突破 · 规则 | +27.6% | 1.23 | -13.4% | -12.5% | ||||
| 上升趋势中买回调 · 规则 | +2.2% | 0.25 | -11.9% | -37.8% | ||||
| 新闻后的惯性 · 规则 | +23.4% | 1.18 | -17.6% | -16.7% | ||||
| SPY 买入持有 · 买入持有 | +17.2% | 0.63 | -33.7% | — | ||||
| 等权持有全部 56 只 · 买入持有 | +40.1% | 1.13 | -32.5% | — |
每个模型靠什么赚钱
根据每次盲测的运行记录,用包里的运行分析算出(原理)。收益从哪来:平均有多少资金在股票里,市场 beta,相对短期国债的年化收益里由四个因子暴露(大盘、规模、成长、动量)解释的部分,以及剩下的 alpha 和它的 Newey-West t 值;赚得最多和亏得最多的行业,按占初始 10 万美元的比例;平均持有多少个交易日。决策好不好:买入的股票从成交起 5 个交易日相对 SPY 的表现;买卖决策在这 5 天里做对的比例;它的操作(买、卖、不动)和之后 5 天收益的秩相关(IC);理由里引用了新闻的决策占多少,以及因新闻建仓的头寸赚了多少。|t| 小于 2 就在噪声范围内。
收益从哪来
| 模型 | 时段 | 平均持股 | 市场 beta | 来自因子暴露 | Alpha | 赚得最多的行业 | 亏得最多的行业 | 平均持有 |
|---|---|---|---|---|---|---|---|---|
| claude-haiku-4.5 · Anthropic 运行于 2026-11-14 | 2026 | 74% | 0.59 | +6.5%/年 | -1.2% t -0.1 | 能源 +4.3% | 科技 -2.3% | 21 天 |
| claude-sonnet-4.6 · Anthropic 运行于 2026-11-14 | 2026 | 86% | 0.59 | +4.8%/年 | +1.8% t 0.2 | 医疗 +4.7% | 通信服务 -2.1% | 29 天 |
| gpt-5.6-luna · OpenAI 运行于 2026-11-14 | 2026 | 47% | 0.35 | +2.1%/年 | +5.9% t 0.9 | 医疗 +3.1% | 科技 -2.0% | 26 天 |
| gemini-3.5-flash · Google 运行于 2026-11-14 | 2026 | 97% | 0.70 | +6.4%/年 | -1.3% t -0.1 | 医疗 +8.8% | 金融 -2.9% | 31 天 |
| llama3.2 · Meta 开源权重 运行于 2026-11-14 | 2026 | 14% | 0.19 | +4.7%/年 | -8.9% t -1.0 | 金融 -0.1% | 科技 -5.0% | — |
| claude-haiku-5.5 · Anthropic 运行于 2026-11-14 | 2026 | 31% | 0.23 | +2.7%/年 | -3.2% t -0.5 | 金融 +3.2% | 科技 -3.9% | 23 天 |
| claude-sonnet-4.6 · Anthropic 运行于 2026-11-14 | 2022 | 70% | 0.55 | +0.2%/年 | -0.5% t -0.1 | 能源 +7.5% | 科技 -3.3% | 36 天 |
| claude-haiku-5.5 · Anthropic 运行于 2026-11-14 | 2022 | 2% | 0.01 | -0.0%/年 | -0.0% t -0.0 | 医疗 +0.2% | 工业 -0.1% | 10 天 |
| claude-haiku-4.5 · Anthropic 运行于 2026-11-14 | 2022 | 72% | 0.58 | -5.0%/年 | -1.0% t -0.2 | 能源 +6.3% | 科技 -7.0% | 27 天 |
| llama3.2 · Meta 开源权重 运行于 2026-11-14 | 2022 | 26% | 0.25 | -5.0%/年 | +2.7% t -0.1 | 工业 +1.3% | 科技 -4.4% | 38 天 |
| gpt-5.6-luna · OpenAI 运行于 2026-11-14 | 2022 | 37% | 0.27 | -2.1%/年 | -4.2% t -1.1 | 医疗 +2.4% | 科技 -2.9% | 26 天 |
| gemini-3.5-flash · Google 运行于 2026-11-14 | 2022 | 69% | 0.50 | -1.0%/年 | -11.1% t -1.5 | 医疗 +5.0% | 工业 -5.3% | 23 天 |
| claude-sonnet-4.6 · Anthropic 运行于 2026-11-14 | 2020 | 62% | 0.34 | +20.2%/年 | +3.6% t 0.4 | 科技 +10.7% | 金融 +0.1% | 32 天 |
| claude-haiku-4.5 · Anthropic 运行于 2026-11-14 | 2020 | 59% | 0.50 | +19.4%/年 | -2.3% t -0.2 | 可选消费 +11.6% | 金融 -2.4% | 25 天 |
| claude-haiku-5.5 · Anthropic 运行于 2026-11-14 | 2020 | 22% | 0.23 | +9.8%/年 | -2.6% t -0.6 | 科技 +7.1% | 金融 -1.1% | 27 天 |
| gemini-3.5-flash · Google 运行于 2026-11-14 | 2020 | 81% | 0.48 | +26.0%/年 | -8.5% t -0.7 | 科技 +15.1% | 公用事业 -2.2% | 28 天 |
| llama3.2 · Meta 开源权重 运行于 2026-11-14 | 2020 | 26% | 0.19 | +2.8%/年 | +7.7% t 0.4 | 金融 +6.5% | 工业 -0.5% | 78 天 |
| gpt-5.6-luna · OpenAI 运行于 2026-11-14 | 2020 | 40% | 0.31 | +10.0%/年 | -10.1% t -1.0 | 科技 +3.9% | 医疗 -2.0% | 28 天 |
决策好不好
| 模型 | 时段 | 决策数 | 买入后 5 日相对 SPY | 命中率 | 决策 IC | 新闻触发的比例 | 新闻触发买入的盈亏 |
|---|---|---|---|---|---|---|---|
| claude-haiku-4.5 · Anthropic 运行于 2026-11-14 | 2026 | 218 | -0.73% t -1.3 | 47% | -0.027 t -1.1 | 35% | -1.1% |
| claude-sonnet-4.6 · Anthropic 运行于 2026-11-14 | 2026 | 170 | +0.25% t 0.5 | 56% | 0.023 t 1.2 | 29% | -6.2% |
| gpt-5.6-luna · OpenAI 运行于 2026-11-14 | 2026 | 178 | -0.07% t -0.2 | 48% | -0.015 t -0.6 | 17% | +3.3% |
| gemini-3.5-flash · Google 运行于 2026-11-14 | 2026 | 139 | -0.53% t -1.0 | 53% | -0.003 t -0.1 | 39% | +1.2% |
| llama3.2 · Meta 开源权重 运行于 2026-11-14 | 2026 | 1 | +0.51% | 67% | 0.015 | 0% | — |
| claude-haiku-5.5 · Anthropic 运行于 2026-11-14 | 2026 | 66 | -0.30% t -0.2 | 42% | -0.036 t -1.1 | 43% | +2.0% |
| claude-sonnet-4.6 · Anthropic 运行于 2026-11-14 | 2022 | 156 | +0.33% t 0.8 | 46% | -0.013 t -0.7 | 21% | -4.3% |
| claude-haiku-5.5 · Anthropic 运行于 2026-11-14 | 2022 | 4 | +0.27% t 0.4 | 75% | 0.052 t 0.5 | 50% | -0.4% |
| claude-haiku-4.5 · Anthropic 运行于 2026-11-14 | 2022 | 240 | +0.15% t 0.4 | 50% | -0.006 t -0.3 | 39% | -4.7% |
| llama3.2 · Meta 开源权重 运行于 2026-11-14 | 2022 | 5 | -0.66% t -0.2 | 37% | -0.008 t 0.1 | 13% | -1.1% |
| gpt-5.6-luna · OpenAI 运行于 2026-11-14 | 2022 | 164 | +0.47% t 1.1 | 49% | -0.016 t -0.6 | 17% | +0.3% |
| gemini-3.5-flash · Google 运行于 2026-11-14 | 2022 | 134 | +0.67% t 1.7 | 55% | 0.023 t 1.0 | 36% | -5.7% |
| claude-sonnet-4.6 · Anthropic 运行于 2026-11-14 | 2020 | 152 | +0.28% t 0.4 | 46% | -0.001 t -0.0 | 38% | +11.6% |
| claude-haiku-4.5 · Anthropic 运行于 2026-11-14 | 2020 | 204 | +0.61% t 0.9 | 51% | -0.003 t -0.1 | 46% | +11.5% |
| claude-haiku-5.5 · Anthropic 运行于 2026-11-14 | 2020 | 44 | -0.95% t -1.7 | 48% | -0.015 t -0.4 | 55% | +8.5% |
| gemini-3.5-flash · Google 运行于 2026-11-14 | 2020 | 119 | +1.21% t 2.7 | 52% | 0.022 t 1.0 | 48% | +17.5% |
| llama3.2 · Meta 开源权重 运行于 2026-11-14 | 2020 | 9 | +1.33% t 0.7 | 63% | 0.056 t -0.4 | 2% | — |
| gpt-5.6-luna · OpenAI 运行于 2026-11-14 | 2020 | 122 | +0.00% t 0.1 | 51% | 0.005 t 0.2 | 18% | +2.1% |
记忆
每个时段两项检查。实名减盲测:同一个模型在同一个时段,看得到名字和日期时的收益减去盲测时的收益。名字带来两样东西:模型记得的那段日子里发生的事,以及它对这些公司本身的了解;所以训练截止日之后的差距(那里记忆帮不上忙)属于后者。记忆探针(原理)把这个时段里随机抽出的时点给模型看两遍,价格、指标和新闻完全相同,一遍带名字,一遍盲测(名字、人物、产品和日期都遮住),每次都问它这只股票接下来 20 个交易日跑赢 SPY 的可能性。分数是告诉它「是谁、是什么时候」之后,它把真正跑赢的股票排在前面的能力提高了多少(AUC 差,实名减盲测),只算训练截止日之前的时点;大于零说明名字有帮助。截止日之后的时点是对照组:格式在那里也可能有帮助,记忆不可能。「记得」表示截止日之前名字帮的忙比之后多(差值的 95% 区间在零以上),「没有迹象」表示没有多,「无定论」表示探针分辨不出来,比如截止日之前的时点不到 30 个。没跑成对探针的,格子里换成直接回忆测试,标为「只有直接回忆」:不给任何数据,直接问模型某只股票在过去某段时间涨了还是跌了、大约多少,数字是它的猜测和实际涨跌的秩相关;「记得」表示它猜得比随机好。
| 模型 | 实名 − 盲测 2026 | 记忆探针 2026 | 实名 − 盲测 2022 | 记忆探针 2022 | 实名 − 盲测 2020 | 记忆探针 2020 |
|---|---|---|---|---|---|---|
| claude-haiku-4.5 · Anthropic 运行于 2026-11-14 | +1.7% | 0.19 只有直接回忆: 没有迹象 | -4.2% | 0.24 只有直接回忆: 没有迹象 | -4.1% | 0.38 只有直接回忆: 记得 |
| claude-sonnet-4.6 · Anthropic 运行于 2026-11-14 | +0.4% | -0.07 只有直接回忆: 没有迹象 | — | 0.52 只有直接回忆: 记得 | — | 0.60 只有直接回忆: 记得 |
| gpt-5.6-luna · OpenAI 运行于 2026-11-14 | -0.3% | -0.42 无定论 | -5.1% | -0.01 无定论 | +12.4% | -0.02 无定论 |
| gemini-3.5-flash · Google 运行于 2026-11-14 | -5.9% | -0.05 没有迹象 | +5.0% | 0.21 记得 | -4.2% | 0.01 无定论 |
| llama3.2 · Meta 开源权重 运行于 2026-11-14 | +8.1% | -0.05 没有迹象 | -7.3% | 0.07 无定论 | +4.7% | 0.10 无定论 |
| claude-haiku-5.5 · Anthropic 运行于 2026-11-14 | — | — | — | — | — | — |
Prompt 榜
什么样的系统提示词能让模型交易得更好?每个变体只改基线提示词的一处:加一个角色、写明风控规则、先写理由再下单、强调新闻或趋势、给几个示例、换输出格式、改每只股票的新闻条数,或者改决策频率。所有变体用同一个模型、在同样的盲测时段和几组随机种子上交易;只有当差别大于同一个提示词换个种子本来就有的波动时,才算数。
提交一个模型
pip install risk-aware-trading-agents # [llm] 会装上 Anthropic SDK riskaware research bench --llm openai:gpt-5.6-luna # 六个任务 × 种子 0、1、2;少跑一些用 --task、--seed riskaware research submit RUN_ID --model gpt-5.6-luna --cutoff 2026-02 --provider OpenAI # 然后开一个 PR,把 leaderboard/entries/ 里新生成的文件加进去
这个包能调用的模型都可以:OpenAI 兼容接口(openai:,或者 compat: 加 --base-url)、Anthropic、通过 Ollama 跑的本地模型(ollama:,上下文开到 16,384 token),以及 Claude Code、Codex、Gemini 的命令行工具。在 Python 里,bench.run_task(policy, "2026-blind") 接受任何「观察值 → 订单」的函数。submit 会拒绝设置不同或没通过防偷看检查的运行,并把模型的全部回复写进条目;CI 会把这些回复重新放进回测,数字必须对得上。
跑模型需要榜单用的那几个新闻文件。它们有许可限制,不随包分发,请把你的副本放进 ~/.riskaware/data/news;没有的话 riskaware research bench 会在调用模型之前停下。重放条目不需要新闻文件。
一个任务是 44 到 51 次决策,每次 1.1 万到 1.5 万个输入 token,每个种子六个任务合计 300 万到 450 万输入 token:小模型远不到 1 美元,Sonnet 级别的模型约 10 到 15 美元。榜单要求三个种子,并会显示每个条目有几个。
怎么读这个榜
- 种子。每个任务用种子 0、1、2 各跑一次(种子决定盲测的代号分配,接口支持时也用作采样种子)。表里是一个模型各个种子的平均,灰色是范围;暂时种子少的模型显示已有的那几个。比范围小的差别都是噪声。
- 训练截止日取各家模型页面上写的训练数据截止日,不是发布日期。模型发布得再晚,也不知道截止日之后发生的事。
- 盲测把代码、公司名和观察值里的日期换成代号,价格从 100 起算。从 2026 年 11 月 13 日起,新闻标题里的日期和美元金额也会遮住;Sonnet 4.6 和 Haiku 5.5 的盲测是在这之前跑的,部分标题里仍能读到日期("Top WallStreetBets Mentions for Monday May 9, 2022")或目标价,其他模型的运行都在这之后。每个条目都记着运行时包的提交。即便如此,行业、价格走势和一条特别的新闻合在一起,也可能让模型认出某只股票。
- 幸存者偏差。这 56 只是今天的大盘股,所以全部买入持有的结果比当时实际能做到的好看。
- 不是投资建议。这是研究用的软件,十个月的交易时间也偏短。
常见问题
rta-bench-1 是什么?
一个带新闻的 LLM 交易智能体基准。每个模型交易同样的 56 只美股大盘股,走完三个冻结的时段:2026 年至今、2022 年熊市和 2020 年暴跌。每隔 5 个交易日收盘后,它能看到价格、技术指标和收盘前已发布的新闻标题;订单在下一个交易日开盘成交,按真实的交易成本计。每个时段盲测和实名各跑一遍,种子 0、1、2。
新闻回测怎样避免未来函数?
每条新闻和公告都带着发布的那一分钟,某一天的观察值只包含当天收盘(纽约时间 16:00,提前收盘日 13:00)之前发布的新闻,订单在次日开盘成交。每次运行还要通过防偷看检查:把某个切点之后的价格和新闻换成随机的,切点之前模型看到的一切必须完全不变。
「干净」和「可能记得」是什么意思?
交易的时段如果在模型的训练截止日之前,模型可能读到过那段时间的事。训练数据截止日之后那些天的成绩算「干净」,按这段时间的 Sharpe 排名,旁边是同一段日子里 SPY 和等权组合的表现;截止日之前的成绩单独列为「可能记得」,旁边是记忆探针的结果。
盲测是什么,为什么每个时段跑两次?
盲测把股票代码、公司名和日期换成代号,价格从 100 起算,新闻标题里的日期和美元金额也遮住。同一个模型盲测和实名一比,就看得出名字对它值多少:训练截止日之后,这是它对公司的了解;之前,还可能是它对行情的记忆。
和 StockBench、LiveTradeBench 等 LLM 交易基准有什么不同?
实时基准靠交易当下来避免偷看未来,但后来发布的模型再去交易同样的日子时,已经读过关于它们的报道。rta-bench-1 回放三个冻结的时段,新闻在发布的那一分钟送到,每个模型盲测和实名都跑,训练截止日前后分开计分,每条成绩都是一个能重放出同样数字的 JSON 文件。基准对比把它和另外八个基准逐项放在一起。
怎么提交一个模型?
用这个包能调用的任何模型运行 riskaware research bench --llm openai:gpt-5.6-luna(六个任务,种子 0、1、2),再运行 riskaware research submit RUN_ID --model gpt-5.6-luna --cutoff 2026-02,然后开一个 PR,把 leaderboard/entries/ 里新生成的文件加进去。条目里存着模型的全部回复,CI 会把它们放进回测重放,数字必须对得上。