I Tried to Catch 5 AIs Favoring Themselves. Only Some Did. 我试图抓住5个偏袒自己的AI。只有部分做到了。

TL;DR

• 实验验证了部分AI模型存在自我偏好偏差，GPT-5.6和DeepSeek V4 Pro显著高估自身作品。
• Claude Fable 5表现出高度校准性，其自我评分与同行平均分几乎一致（-0.01）。
• Grok-4.5和Gemini 3.1 Pro反而对自我作品给出低于平均分的“轻微自我惩罚”。
• 结论表明并非所有模型都存在自利偏见，且高分需结合同行评审判断是否存在虚高。
• 实践建议：避免由生成同一内容的模型单独进行质量评估，应采用多模型交叉评审机制。

为什么值得看

该研究通过可控的盲测实验揭示了当前主流大语言模型在自我评估环节存在的异质性偏差，为AI工作流中的质量控制提供了实证依据。对于依赖AI生成内容进行迭代优化的从业者而言，理解不同模型的自我认知特性有助于设计更严谨的审核流程，防止因单一模型主观性导致的评估失真。

技术解析

• 实验设计：采用厨房桌式对照实验，使用统一提示词让5个模型（GPT-5.6 Sol, DeepSeek V4 Pro, Claude Fable 5, Grok-4.5, Gemini 3.1 Pro）分别撰写关于远程工作的观点文章，随后互换盲评。
• 评分维度：清晰度、结构、推理质量、说服力四项指标取平均值作为总分，要求评审者严格打分（7分为基准线）且不猜测作者身份。
• 数据特征：Claude生成的文章被公认为最佳（平均分8.51），而Gemini的文章得分最低（6.62）；GPT生成的文章争议最大（分数跨度6.80至8.50）。
• 偏差量化：计算“自我分 - 同行平均分”差值，GPT呈现+1.49强正偏差，DeepSeek为+0.55中度正偏差，Claude接近零偏差，Grok和Gemini则为负偏差（-0.40/-0.46）。
• 实现细节：未对原始输出进行清洗处理（如保留Claude违规的标题格式），以确保实验环境的真实性与诚实度。

行业启示

• 架构优化方向：开发者应针对不同模型的特性调整其在内容生产链中的角色定位，例如将易产生自我高估的模型（如GPT）仅用于初稿生成，而引入校准性好的模型（如Claude）作为主要审核节点。
• 工作流标准化：企业级AI应用必须建立“多模型交叉验证”机制，严禁单一模型既当运动员又当裁判，特别是在涉及关键决策或公开发布的内容场景中。
• 风险提示意识：用户在使用AI辅助创作时不应盲目信任系统自带的自评功能，需意识到不同模型在元认知能力上存在显著差异，并主动引入外部参照系进行校验。