忠实性问题

当LLM交易者解释其决策时——”我买入了AAPL，因为RSI显示超卖，且财报超出预期”——它真的是基于这些因素做出的判断吗？还是说这个解释只是事后合理化，而真正的”决策”是出于完全不同的原因？

一个研究团队的TradeTrap研究正是针对这一问题展开的。

研究方法

研究人员创建了一个受控环境，其中：

1. LLM智能体获得市场数据和新闻以做出交易决策
2. 部分数据包含故意设置的陷阱——看似可信的虚假信号
3. 智能体需要做出决策并解释原因
4. 研究人员比较声明的原因与实际的触发因素

陷阱类型

• 锚定陷阱——在上下文中插入一个与分析无关的随机”目标价格”
• 近因陷阱——近期数据差于平均水平，但趋势仍然向好
• 权威陷阱——虚假的”知名分析师”引言，包含错误预测
• 确认陷阱——确认模型已有偏见的数据

结果

陷阱命中率

注：表格中使用的是研究进行时（2025年底）可用的模型。

模型	锚定	近因	权威	确认
GPT-4o	34%	41%	28%	52%
Claude 3.5 Sonnet	22%	35%	19%	44%
DeepSeek V3	39%	48%	33%	57%
Gemini 2.0 Flash	31%	38%	25%	49%

忠实性评分

模型解释与其决策实际原因的匹配程度：

模型	忠实性
Claude 3.5 Sonnet	67%
GPT-4o	61%
Gemini 2.0 Flash	58%
DeepSeek V3	54%

这意味着在33-46%的情况下，LLM交易者的解释与其决策的实际原因不符。

关键发现

1. 确认偏差是最大问题

所有模型在确认自身偏见方面表现出最大的脆弱性。如果模型”决定”买入某资产，它就会找到支持该决策的数据，即使客观数据表明相反。

2. 思维链无法拯救

即使是具有详细思维链（Chain-of-Thought）的推理模型也容易掉入陷阱。更甚者，冗长的推理链有时会掩盖不可靠的决策，制造深度分析的假象。

3. 错误成本随自主性增长

LLM交易者的自主性越高，每一次忠实性错误的代价就越大。如果智能体基于错误推理自动下单，后果可能非常严重。

实践建议

研究作者建议：

• 不要信任LLM交易者的解释——独立验证决策
• 使用集成方法——多个模型投票决定
• 限制自主性——大额交易需要人在回路中
• 在对抗性数据上测试——检查智能体如何应对陷阱
• 记录所有中间步骤——便于事后分析错误

对行业的意义

TradeTrap对所有构建AI交易系统的人来说是一个重要信号。在SWE-Bench或MMLU上的高分并不意味着交易中的可靠性。需要专门的测试来考虑认知陷阱和忠实性。

研究全文可在arXiv上查阅。