风险感知交易智能体

首页 › 模型榜单

LLM 交易智能体榜单

每个模型交易同样的 56 只美股大盘股,走完三个冻结的时段:2026 年至今、2022 年熊市、2020 年暴跌。每隔 5 个交易日收盘后,它能看到价格、技术指标和收盘前已发布的新闻标题,下的单在下一个交易日开盘成交。每个时段跑两次,一次用真实名字,一次盲测。训练截止日之后的成绩参与排名,之前的单独列出;页面上每个数字都能从对应的条目重算出来,不用再调用模型。

提交一个模型 下载结果(JSON) Hugging Face 上的榜单 基准怎么定的

持续更新中。结果跑完一批更新一批;最近一次更新 2026-11-14,67 个条目、6 个模型。每个模型名下是它的运行日期(UTC)。

6 个任务2026、2022、2020 年,每年盲测和实名各一次
56 只股票11 个行业,最多 10 个仓位,只做多,本金 10 万美元
44 到 51 次决策每 5 个交易日收盘后一次,次日开盘成交
65,863 条新闻按发布时间回放,每次决策每只股票最多 3 条(有许可限制,不随包分发)

干净的成绩:训练截止日之后

模型不可能读到训练截止日之后的事,所以这张表才衡量真本事。每个模型从它的截止日开始计分:训练数据截止在 2026 年中途的,从那天算起,旁边是同一段日子里 SPY 和等权组合的表现。这里用的是盲测任务;最后两列是整个窗口的收益,以及在这段日子里给它看名字后多赚了多少。

2026 · 2026-01-02 – 2026-11-11

模型训练截止计分起点种子数收益SPY等权Sharpe最大回撤整个窗口实名 − 盲测
claude-haiku-4.5 · Anthropic
运行于 2026-11-14
2025-072026-01-021+7.2%+12.1%+11.4%0.42-7.4%+7.2%+1.7%
claude-sonnet-4.6 · Anthropic
运行于 2026-11-14
2026-012026-01-301+6.2%+10.7%+10.6%0.34-9.0%+8.1%+1.4%
gpt-5.6-luna · OpenAI
运行于 2026-11-14
2026-02-162026-02-133+4.5% +0.8% … +11.8%+12.3%+10.7%0.34 -0.38 … 1.73-3.7%+10.3%+8.4%
gemini-3.5-flash · Google
运行于 2026-11-14
2025-012026-01-023+6.5% +4.1% … +9.5%+12.1%+11.4%0.33 0.15 … 0.54-10.1%+6.5%-5.9%
llama3.2 · Meta 开源权重
运行于 2026-11-14
2023-122026-01-023-0.8% -8.0% … +3.0%+12.1%+11.4%-0.32 -0.80 … 0.01-8.6%-0.8%+8.1%
claude-haiku-5.5 · Anthropic
运行于 2026-11-14
2026-062026-06-301-0.6%+2.0%+5.7%-0.99-3.1%+2.4%—

规则策略和买入持有(整个窗口)

模型收益Sharpe最大回撤相对等权平均持股
趋势跟随 · 规则+19.0%1.27-5.0%+7.5%85%
Connors RSI(2) · 规则+4.9%0.23-7.7%-6.5%51%
20 日突破 · 规则-6.5%-0.60-16.8%-18.0%90%
上升趋势中买回调 · 规则+1.1%-0.39-4.5%-10.4%24%
新闻后的惯性 · 规则+2.0%-0.05-6.7%-9.5%61%
SPY 买入持有 · 买入持有+12.1%0.77-8.9%——
等权持有全部 56 只 · 买入持有+11.4%0.85-7.2%——

可能记得:训练截止日之前

2022 年熊市和 2020 年暴跌都在这里每个模型的训练文本里。这些成绩只做对照,不算本事:就算盲测,模型也可能记得 2022 年能源股大涨、2020 年科技股领涨反弹,因为盲测藏起了名字和日期,但保留了每只股票所属的行业。规则策略和买入持有那几行用的是同样的股票、仓位和成交规则。

2022 · 2022-01-03 – 2022-12-30

模型训练截止种子数盲测收益Sharpe最大回撤相对等权实名收益实名 − 盲测
claude-sonnet-4.6 · Anthropic
运行于 2026-11-14
2026-011+0.4%-0.03-13.5%+12.7%——
claude-haiku-5.5 · Anthropic
运行于 2026-11-14
2026-061+1.4%-0.03-0.7%+13.7%——
claude-haiku-4.5 · Anthropic
运行于 2026-11-14
2025-071-5.3%-0.44-14.9%+7.0%-9.5%-4.2%
llama3.2 · Meta 开源权重
运行于 2026-11-14
2023-123-1.6% -3.0% … -0.2%-0.62 -1.19 … -0.13-8.6%+10.8%-8.8%-7.3%
gpt-5.6-luna · OpenAI
运行于 2026-11-14
2026-02-163-5.0% -7.0% … -2.3%-0.96 -1.35 … -0.57-7.7%+7.4%-10.0%-5.1%
gemini-3.5-flash · Google
运行于 2026-11-14
2025-013-10.7% -12.5% … -8.3%-0.97 -1.03 … -0.85-15.9%+1.6%-5.7%+5.0%
趋势跟随 · 规则-5.9%-0.47-17.8%+6.4%
Connors RSI(2) · 规则-8.6%-0.98-16.6%+3.8%
20 日突破 · 规则-15.1%-1.35-22.0%-2.7%
上升趋势中买回调 · 规则-4.2%-1.03-6.3%+8.1%
新闻后的惯性 · 规则-16.3%-1.37-21.0%-3.9%
SPY 买入持有 · 买入持有-18.6%-0.80-24.5%—
等权持有全部 56 只 · 买入持有-12.4%-0.53-23.1%—

2020 · 2020-01-02 – 2020-12-31

模型训练截止种子数盲测收益Sharpe最大回撤相对等权实名收益实名 − 盲测
claude-sonnet-4.6 · Anthropic
运行于 2026-11-14
2026-011+25.4%1.38-14.0%-14.7%——
claude-haiku-4.5 · Anthropic
运行于 2026-11-14
2025-071+16.9%0.89-20.3%-23.1%+12.8%-4.1%
claude-haiku-5.5 · Anthropic
运行于 2026-11-14
2026-061+7.4%0.77-9.0%-32.7%——
gemini-3.5-flash · Google
运行于 2026-11-14
2025-013+16.4% +10.1% … +20.8%0.75 0.49 … 0.95-19.6%-23.7%+12.2%-4.2%
llama3.2 · Meta 开源权重
运行于 2026-11-14
2023-123+10.6% +2.3% … +21.4%0.73 0.46 … 0.98-8.9%-29.5%+15.4%+4.7%
gpt-5.6-luna · OpenAI
运行于 2026-11-14
2026-02-163-0.5% -7.6% … +6.1%0.09 -0.36 … 0.60-15.4%-40.6%+11.9%+12.4%
趋势跟随 · 规则+67.4%2.18-13.6%+27.4%
Connors RSI(2) · 规则+6.3%0.39-19.8%-33.8%
20 日突破 · 规则+27.6%1.23-13.4%-12.5%
上升趋势中买回调 · 规则+2.2%0.25-11.9%-37.8%
新闻后的惯性 · 规则+23.4%1.18-17.6%-16.7%
SPY 买入持有 · 买入持有+17.2%0.63-33.7%—
等权持有全部 56 只 · 买入持有+40.1%1.13-32.5%—

每个模型靠什么赚钱

根据每次盲测的运行记录,用包里的运行分析算出(原理)。收益从哪来:平均有多少资金在股票里,市场 beta,相对短期国债的年化收益里由四个因子暴露(大盘、规模、成长、动量)解释的部分,以及剩下的 alpha 和它的 Newey-West t 值;赚得最多和亏得最多的行业,按占初始 10 万美元的比例;平均持有多少个交易日。决策好不好:买入的股票从成交起 5 个交易日相对 SPY 的表现;买卖决策在这 5 天里做对的比例;它的操作(买、卖、不动)和之后 5 天收益的秩相关(IC);理由里引用了新闻的决策占多少,以及因新闻建仓的头寸赚了多少。|t| 小于 2 就在噪声范围内。

收益从哪来

模型时段平均持股市场 beta来自因子暴露Alpha赚得最多的行业亏得最多的行业平均持有
claude-haiku-4.5 · Anthropic
运行于 2026-11-14
202674%0.59+6.5%/年-1.2% t -0.1能源 +4.3%科技 -2.3%21 天
claude-sonnet-4.6 · Anthropic
运行于 2026-11-14
202686%0.59+4.8%/年+1.8% t 0.2医疗 +4.7%通信服务 -2.1%29 天
gpt-5.6-luna · OpenAI
运行于 2026-11-14
202647%0.35+2.1%/年+5.9% t 0.9医疗 +3.1%科技 -2.0%26 天
gemini-3.5-flash · Google
运行于 2026-11-14
202697%0.70+6.4%/年-1.3% t -0.1医疗 +8.8%金融 -2.9%31 天
llama3.2 · Meta 开源权重
运行于 2026-11-14
202614%0.19+4.7%/年-8.9% t -1.0金融 -0.1%科技 -5.0%—
claude-haiku-5.5 · Anthropic
运行于 2026-11-14
202631%0.23+2.7%/年-3.2% t -0.5金融 +3.2%科技 -3.9%23 天
claude-sonnet-4.6 · Anthropic
运行于 2026-11-14
202270%0.55+0.2%/年-0.5% t -0.1能源 +7.5%科技 -3.3%36 天
claude-haiku-5.5 · Anthropic
运行于 2026-11-14
20222%0.01-0.0%/年-0.0% t -0.0医疗 +0.2%工业 -0.1%10 天
claude-haiku-4.5 · Anthropic
运行于 2026-11-14
202272%0.58-5.0%/年-1.0% t -0.2能源 +6.3%科技 -7.0%27 天
llama3.2 · Meta 开源权重
运行于 2026-11-14
202226%0.25-5.0%/年+2.7% t -0.1工业 +1.3%科技 -4.4%38 天
gpt-5.6-luna · OpenAI
运行于 2026-11-14
202237%0.27-2.1%/年-4.2% t -1.1医疗 +2.4%科技 -2.9%26 天
gemini-3.5-flash · Google
运行于 2026-11-14
202269%0.50-1.0%/年-11.1% t -1.5医疗 +5.0%工业 -5.3%23 天
claude-sonnet-4.6 · Anthropic
运行于 2026-11-14
202062%0.34+20.2%/年+3.6% t 0.4科技 +10.7%金融 +0.1%32 天
claude-haiku-4.5 · Anthropic
运行于 2026-11-14
202059%0.50+19.4%/年-2.3% t -0.2可选消费 +11.6%金融 -2.4%25 天
claude-haiku-5.5 · Anthropic
运行于 2026-11-14
202022%0.23+9.8%/年-2.6% t -0.6科技 +7.1%金融 -1.1%27 天
gemini-3.5-flash · Google
运行于 2026-11-14
202081%0.48+26.0%/年-8.5% t -0.7科技 +15.1%公用事业 -2.2%28 天
llama3.2 · Meta 开源权重
运行于 2026-11-14
202026%0.19+2.8%/年+7.7% t 0.4金融 +6.5%工业 -0.5%78 天
gpt-5.6-luna · OpenAI
运行于 2026-11-14
202040%0.31+10.0%/年-10.1% t -1.0科技 +3.9%医疗 -2.0%28 天

决策好不好

模型时段决策数买入后 5 日相对 SPY命中率决策 IC新闻触发的比例新闻触发买入的盈亏
claude-haiku-4.5 · Anthropic
运行于 2026-11-14
2026218-0.73% t -1.347%-0.027 t -1.135%-1.1%
claude-sonnet-4.6 · Anthropic
运行于 2026-11-14
2026170+0.25% t 0.556%0.023 t 1.229%-6.2%
gpt-5.6-luna · OpenAI
运行于 2026-11-14
2026178-0.07% t -0.248%-0.015 t -0.617%+3.3%
gemini-3.5-flash · Google
运行于 2026-11-14
2026139-0.53% t -1.053%-0.003 t -0.139%+1.2%
llama3.2 · Meta 开源权重
运行于 2026-11-14
20261+0.51%67%0.0150%—
claude-haiku-5.5 · Anthropic
运行于 2026-11-14
202666-0.30% t -0.242%-0.036 t -1.143%+2.0%
claude-sonnet-4.6 · Anthropic
运行于 2026-11-14
2022156+0.33% t 0.846%-0.013 t -0.721%-4.3%
claude-haiku-5.5 · Anthropic
运行于 2026-11-14
20224+0.27% t 0.475%0.052 t 0.550%-0.4%
claude-haiku-4.5 · Anthropic
运行于 2026-11-14
2022240+0.15% t 0.450%-0.006 t -0.339%-4.7%
llama3.2 · Meta 开源权重
运行于 2026-11-14
20225-0.66% t -0.237%-0.008 t 0.113%-1.1%
gpt-5.6-luna · OpenAI
运行于 2026-11-14
2022164+0.47% t 1.149%-0.016 t -0.617%+0.3%
gemini-3.5-flash · Google
运行于 2026-11-14
2022134+0.67% t 1.755%0.023 t 1.036%-5.7%
claude-sonnet-4.6 · Anthropic
运行于 2026-11-14
2020152+0.28% t 0.446%-0.001 t -0.038%+11.6%
claude-haiku-4.5 · Anthropic
运行于 2026-11-14
2020204+0.61% t 0.951%-0.003 t -0.146%+11.5%
claude-haiku-5.5 · Anthropic
运行于 2026-11-14
202044-0.95% t -1.748%-0.015 t -0.455%+8.5%
gemini-3.5-flash · Google
运行于 2026-11-14
2020119+1.21% t 2.752%0.022 t 1.048%+17.5%
llama3.2 · Meta 开源权重
运行于 2026-11-14
20209+1.33% t 0.763%0.056 t -0.42%—
gpt-5.6-luna · OpenAI
运行于 2026-11-14
2020122+0.00% t 0.151%0.005 t 0.218%+2.1%

记忆

每个时段两项检查。实名减盲测:同一个模型在同一个时段,看得到名字和日期时的收益减去盲测时的收益。名字带来两样东西:模型记得的那段日子里发生的事,以及它对这些公司本身的了解;所以训练截止日之后的差距(那里记忆帮不上忙)属于后者。记忆探针(原理)把这个时段里随机抽出的时点给模型看两遍,价格、指标和新闻完全相同,一遍带名字,一遍盲测(名字、人物、产品和日期都遮住),每次都问它这只股票接下来 20 个交易日跑赢 SPY 的可能性。分数是告诉它「是谁、是什么时候」之后,它把真正跑赢的股票排在前面的能力提高了多少(AUC 差,实名减盲测),只算训练截止日之前的时点;大于零说明名字有帮助。截止日之后的时点是对照组:格式在那里也可能有帮助,记忆不可能。「记得」表示截止日之前名字帮的忙比之后多(差值的 95% 区间在零以上),「没有迹象」表示没有多,「无定论」表示探针分辨不出来,比如截止日之前的时点不到 30 个。没跑成对探针的,格子里换成直接回忆测试,标为「只有直接回忆」:不给任何数据,直接问模型某只股票在过去某段时间涨了还是跌了、大约多少,数字是它的猜测和实际涨跌的秩相关;「记得」表示它猜得比随机好。

模型实名 − 盲测 2026记忆探针 2026实名 − 盲测 2022记忆探针 2022实名 − 盲测 2020记忆探针 2020
claude-haiku-4.5 · Anthropic
运行于 2026-11-14
+1.7%0.19 只有直接回忆: 没有迹象-4.2%0.24 只有直接回忆: 没有迹象-4.1%0.38 只有直接回忆: 记得
claude-sonnet-4.6 · Anthropic
运行于 2026-11-14
+0.4%-0.07 只有直接回忆: 没有迹象—0.52 只有直接回忆: 记得—0.60 只有直接回忆: 记得
gpt-5.6-luna · OpenAI
运行于 2026-11-14
-0.3%-0.42 无定论-5.1%-0.01 无定论+12.4%-0.02 无定论
gemini-3.5-flash · Google
运行于 2026-11-14
-5.9%-0.05 没有迹象+5.0%0.21 记得-4.2%0.01 无定论
llama3.2 · Meta 开源权重
运行于 2026-11-14
+8.1%-0.05 没有迹象-7.3%0.07 无定论+4.7%0.10 无定论
claude-haiku-5.5 · Anthropic
运行于 2026-11-14
——————

Prompt 榜

什么样的系统提示词能让模型交易得更好?每个变体只改基线提示词的一处:加一个角色、写明风控规则、先写理由再下单、强调新闻或趋势、给几个示例、换输出格式、改每只股票的新闻条数,或者改决策频率。所有变体用同一个模型、在同样的盲测时段和几组随机种子上交易;只有当差别大于同一个提示词换个种子本来就有的波动时,才算数。

提交一个模型

pip install risk-aware-trading-agents      # [llm] 会装上 Anthropic SDK
riskaware research bench --llm openai:gpt-5.6-luna      # 六个任务 × 种子 0、1、2;少跑一些用 --task、--seed
riskaware research submit RUN_ID --model gpt-5.6-luna --cutoff 2026-02 --provider OpenAI
# 然后开一个 PR,把 leaderboard/entries/ 里新生成的文件加进去

这个包能调用的模型都可以:OpenAI 兼容接口(openai:,或者 compat: 加 --base-url)、Anthropic、通过 Ollama 跑的本地模型(ollama:,上下文开到 16,384 token),以及 Claude Code、Codex、Gemini 的命令行工具。在 Python 里,bench.run_task(policy, "2026-blind") 接受任何「观察值 → 订单」的函数。submit 会拒绝设置不同或没通过防偷看检查的运行,并把模型的全部回复写进条目;CI 会把这些回复重新放进回测,数字必须对得上。

跑模型需要榜单用的那几个新闻文件。它们有许可限制,不随包分发,请把你的副本放进 ~/.riskaware/data/news;没有的话 riskaware research bench 会在调用模型之前停下。重放条目不需要新闻文件。

一个任务是 44 到 51 次决策,每次 1.1 万到 1.5 万个输入 token,每个种子六个任务合计 300 万到 450 万输入 token:小模型远不到 1 美元,Sonnet 级别的模型约 10 到 15 美元。榜单要求三个种子,并会显示每个条目有几个。

怎么读这个榜

常见问题

rta-bench-1 是什么?

一个带新闻的 LLM 交易智能体基准。每个模型交易同样的 56 只美股大盘股,走完三个冻结的时段:2026 年至今、2022 年熊市和 2020 年暴跌。每隔 5 个交易日收盘后,它能看到价格、技术指标和收盘前已发布的新闻标题;订单在下一个交易日开盘成交,按真实的交易成本计。每个时段盲测和实名各跑一遍,种子 0、1、2。

新闻回测怎样避免未来函数?

每条新闻和公告都带着发布的那一分钟,某一天的观察值只包含当天收盘(纽约时间 16:00,提前收盘日 13:00)之前发布的新闻,订单在次日开盘成交。每次运行还要通过防偷看检查:把某个切点之后的价格和新闻换成随机的,切点之前模型看到的一切必须完全不变。

「干净」和「可能记得」是什么意思?

交易的时段如果在模型的训练截止日之前,模型可能读到过那段时间的事。训练数据截止日之后那些天的成绩算「干净」,按这段时间的 Sharpe 排名,旁边是同一段日子里 SPY 和等权组合的表现;截止日之前的成绩单独列为「可能记得」,旁边是记忆探针的结果。

盲测是什么,为什么每个时段跑两次?

盲测把股票代码、公司名和日期换成代号,价格从 100 起算,新闻标题里的日期和美元金额也遮住。同一个模型盲测和实名一比,就看得出名字对它值多少:训练截止日之后,这是它对公司的了解;之前,还可能是它对行情的记忆。

和 StockBench、LiveTradeBench 等 LLM 交易基准有什么不同?

实时基准靠交易当下来避免偷看未来,但后来发布的模型再去交易同样的日子时,已经读过关于它们的报道。rta-bench-1 回放三个冻结的时段,新闻在发布的那一分钟送到,每个模型盲测和实名都跑,训练截止日前后分开计分,每条成绩都是一个能重放出同样数字的 JSON 文件。基准对比把它和另外八个基准逐项放在一起。

怎么提交一个模型?

用这个包能调用的任何模型运行 riskaware research bench --llm openai:gpt-5.6-luna(六个任务,种子 0、1、2),再运行 riskaware research submit RUN_ID --model gpt-5.6-luna --cutoff 2026-02,然后开一个 PR,把 leaderboard/entries/ 里新生成的文件加进去。条目里存着模型的全部回复,CI 会把它们放进回测重放,数字必须对得上。

更多指南

LLM 交易智能体基准对比rta-bench-1 和 StockBench、LiveTradeBench、AI-Trader 等八个基准 新闻回测,不用未来函数为什么按日历日期对齐新闻会虚高 测试 LLM 交易智能体在 Python 里或通过 MCP 交易冻结的市场 按时间点的新闻数据2020、2022、2026 年的价格、VIX 和新闻