按发布时间回放新闻的 LLM 交易智能体基准
很多新闻回测按日历日期把新闻和价格对齐,收盘后才发布的新闻也被当成收盘时就知道。这里每条新闻都在它发布的那一分钟送到,订单在下一个交易日开盘成交,覆盖三个冻结的市场:2020 年暴跌、2022 年熊市和 2026 年。Llama、GPT、Claude、Gemini 在上面盲测和实名各交易三遍(三个种子),训练截止日前后的成绩分开计。
别处没有的三件事
按发布时间回放新闻结论用的是 2020、2022、2026 三年共 65,863 条新闻标题和 SEC 公告,按发布时间回放(有许可限制,不随包分发;可以用你自己的新闻)。同一个信号,按日历日期对齐新闻每笔赚 32 bp,按发布时间对齐每笔亏 6.7 bp。
LLM 交易员榜单Llama 3.2、GPT-5.6 Luna、Claude、Gemini 在 2026 年、2022 年熊市和 2020 年暴跌里交易同样的 56 只股票,盲测和实名各三个种子。训练截止日之后的成绩参与排名,之前的单独列出,每条成绩都能重放核对。
Prompt 榜什么样的系统提示词能让 LLM 交易得更好:角色、风控规则、先写理由、侧重新闻或趋势、示例、输出格式。每处改动都在同样的时段和种子上测,和换种子本来就有的波动比。
2026 年训练截止日之后,盲测
每个模型从它的训练截止日开始计分,旁边是同一段日子里 SPY 和 56 只股票等权持有的表现。完整榜单还有 2022、2020 年、实名成绩和每个模型靠什么赚钱。
| 模型 | 计分起点 | 收益 | SPY | 等权 | Sharpe |
|---|---|---|---|---|---|
| claude-haiku-4.5 · Anthropic 运行于 2026-11-14 | 2026-01-02 | +7.2% | +12.1% | +11.4% | 0.42 |
| claude-sonnet-4.6 · Anthropic 运行于 2026-11-14 | 2026-01-30 | +6.2% | +10.7% | +10.6% | 0.34 |
| gpt-5.6-luna · OpenAI 运行于 2026-11-14 | 2026-02-13 | +4.5% | +12.3% | +10.7% | 0.34 |
| gemini-3.5-flash · Google 运行于 2026-11-14 | 2026-01-02 | +6.5% | +12.1% | +11.4% | 0.33 |
| llama3.2 · Meta 开源权重 运行于 2026-11-14 | 2026-01-02 | -0.8% | +12.1% | +11.4% | -0.32 |
| claude-haiku-5.5 · Anthropic 运行于 2026-11-14 | 2026-06-30 | -0.6% | +2.0% | +5.7% | -0.99 |
为什么要按发布时间回放
收盘后发布的财报和新闻,用日历日期去对齐,会被算进当天的收盘价,回测就提前知道了明天的消息。我们在新闻回测指南里用同一个信号做了对比:按日历日期对齐,每笔平均赚 32 bp;按发布时间对齐、次日开盘才成交,每笔平均亏 6.7 bp。研究工具箱里的每次实验和每次 LLM 交易运行,都只看得到收盘前已经发布的新闻,并且都会做防偷看检查:把切点之后的价格和新闻全换成随机的再跑一遍,切点之前的决策必须一模一样。
快速开始
pip install risk-aware-trading-agents riskaware research data # 三个时段的数据和 SHA-256 校验 riskaware research bench --llm ollama:llama3.2:3b --task 2026-blind # 用本地模型跑一个基准任务 riskaware research leaderboard # 在仓库目录里看榜单
Python 3.10 及以上。本地模型通过 Ollama 运行;OpenAI 兼容接口、Anthropic,以及 Claude Code、Codex、Gemini 的命令行工具也都能用。怎么把你的模型提交到榜单 →
还有什么
这个项目原本是一套风控优先的美股交易智能体:先看 FOMC、CPI、非农日历和 VIX 期限结构再决定买不买,现金加短期国债不低于 30%,支持回测、模拟盘、每天自动运行的智能体、MCP 服务和 10 家券商。这些内容在完整首页和中文文档里。