LLM 交易智能体基准对比
已经有不少基准在问 LLM 智能体会不会交易。它们的区别在于：智能体做决定时能知道什么，结果能不能重跑，模型会不会只是记得测试的那段行情。这一页把我们的 LLM 交易智能体榜单所用的基准 rta-bench-1 和另外八个放在一起，就这几点逐项对比。
除我们自己这一行，每一行都摘自论文的 arXiv 摘要页，读取于 2026 年 11 月 13 日。「未说明」指摘要页没有写，论文正文可能有。发现写错的地方，欢迎开 issue 或 PR 指正。
逐项对比
| 基准 | 新闻按发布的那一分钟回放 | 冻结时段 | 盲测和实名 | 按训练截止日分开计分 | 一个文件、能重放的提交 |
|---|---|---|---|---|---|
| rta-bench-1（本项目） 回放 56 只美股大盘股 | 是：有许可的新闻标题（2026 年另有 SEC 8-K 公告）在发布的那一分钟送到；收盘后决策，次日开盘成交 | 3 个：2026 年至今、2022 年熊市、2020 年暴跌 | 每个模型两种都跑，另有记忆探针 | 是：截止日之后的成绩参与排名，之前的单独列出 | 是：一个 JSON 条目存着模型的全部回复，CI 重放后数字必须一致 |
| StockBench 为期数月的股票交易环境 | 每日信号里有新闻；时间口径未说明 | 未说明 | 未说明 | 未说明；称没有数据污染 | 未说明；以开源基准发布 |
| CLQT 一年的历史回测，加四周券商模拟盘实时赛道 | 未说明 | 1 段一年期回测，另有实时赛道 | 未说明 | 实时赛道用截止日之后的数据；用「TimeGate」只放行按时间点的数据 | 未说明 |
| LiveTradeBench 实时：美股和 Polymarket，21 个 LLM 测 50 天 | 实时推送 | 没有：实时 | 未说明 | 只用实时数据 | 未说明 |
| AI-Trader 实时：美股、A 股和加密货币 | 智能体自己搜索信息 | 没有：实时 | 未说明 | 只用实时数据；称没有数据污染 | 未说明；代码和评测数据在 GitHub |
| InvestorBench 股票、加密货币和 ETF；13 个 LLM 底座 | 未说明 | 未说明 | 未说明 | 未说明 | 未说明；开源的多模态数据集 |
| FinSABER 二十年、100 多只标的的历史回测 | 未说明 | 历史：二十年 | 未说明 | 未说明；针对幸存者偏差和数据窥探偏差 | 未说明 |
| BlindTrade 名字匿名化的历史回测 | 未说明 | 历史：2025 年至 8 月 1 日，扩展到 2024–2025 年 | 盲测：股票代码和公司名匿名化，并做了阴性对照 | 未说明 | 未说明 |
| Agent Market Arena 实时、持续运行：加密货币和股票 | 经专家核对的新闻，实时 | 没有：实时 | 未说明 | 只用实时数据 | 未说明 |
rta-bench-1 不一样的地方
- 按分钟回放新闻。实时基准靠交易当下来避免偷看未来，但明年发布的模型再去交易这些日子时，已经读过关于它们的报道。rta-bench-1 回放历史：每条新闻在发布的那一分钟送到，每次运行都要通过对模型所见内容的防偷看检查。很多新闻回测按日历日期把新闻和价格对齐；在我们的例子里，这会把一个每笔亏 6.7 bp 的信号变成每笔赚 32 bp。
- 三种不同的市场。上涨的 2026 年、2022 年加息熊市和 2020 年暴跌，只在普涨时表现好的模型会被看出来。
- 记忆是量出来的，不是假设没有。同一个模型在每个时段盲测和实名各交易一次。训练截止日之后的成绩参与排名，之前的单独列出，旁边是记忆探针的结果。只遮住名字，能看出模型不靠名字时怎么做；两种都跑，才看得出名字对它值多少。
- 一条成绩就是一个文件。条目里存着模型的每一条回复，持续集成把它们放进回测重放，数字必须一致。提交一个模型，就是开一个 PR、加一个 JSON 文件。
- 免费。
pip install risk-aware-trading-agents就带上三个时段的价格和回测器，价格也在 Hugging Face 上。结论基于按发布时间回放的新闻；标题数据有许可限制、不随包分发。
实时竞技场能回答冻结时段回答不了的问题：模型今天面对没人见过的新闻时怎么交易。冻结时段回答另外几个：结果能不能重复、能不能比较、能不能核对。两类基准互为补充。