信息一改再改,大模型就乱了:表现最好的GPT-5.5也只能答对59.3%
快链头条 2026-09-15 17:11:00
动察 Beating AI 快讯,腾讯混元等团队发布 EvolveScaler,专门测试大模型能不能跟上不断变化的信息。它会在长文本里不断加入修改、撤回、补录和作废的信息,再让模型根据最新状态回答问题。
比如先给模型看 40 天游戏记录,再问:「如果第 7 天没打那个小 Boss,最后还能不能打赢?」这会连带改变后面的装备、血量和战斗结果。模型得从第 7 天开始,把后面几十天重新推一遍,原文里没有现成答案。
团队设计了 117 类任务、159 种问题,最长约 1200 个事件。14 个模型配置包括 GPT-5.5、Gemini 3.1 Pro、DeepSeek V4 Preview Pro、GLM-5.2 和 Qwen3.5 Plus。最难档里,成绩中位数只有 11.3%;表现最好的 GPT-5.5-xhigh 也只有 59.3%。
这套数据也能拿来训练模型。一个内部 A3B 模型加入 6000 条这类数据后,在 8 个外部测试上全部提升,平均提高 5.25 分。
快链头条登载此文本着传递更多信息的缘由,并不代表赞同其观点或证实其描述。
文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。
投资有风险,入市须谨慎。本资讯不作为投资理财建议。
7*24小时快讯
某巨鲸平仓760枚BTC空单后转多,40倍做多900枚BTC价值约6920万美元
09-15 17:49(6分钟前)
数据:某巨鲸平空后以 40 倍杠杆做多 900 枚 BTC,持仓价值近 7000 万美元
09-15 17:48(6分钟前)
壁仞科技计划筹集约 10 亿美元
09-15 17:48(6分钟前)
YMTC 武汉 3 厂启动设备连接,年底拟初期投产
09-15 17:48(6分钟前)
Galaxy CEO:Clarity 法案若未通过,美国或长期都不会再有立法
09-15 17:46(8分钟前)
数据:比特币短期持有者连续 30 天盈利,创 2026 年以来最长纪录
09-15 17:45(9分钟前)
Bitget TradFi 合约累计交易量突破 5,300 亿美元,单日峰值近 74 亿美元
09-15 17:45(9分钟前)
ARK Invest昨日趁加密股上涨大幅减持,多笔交易套现近6500万美元
09-15 17:45(10分钟前)
热门资讯
风险提示
根据银保监会等五部门于 2018 年 8月发布《关于防范以「虚拟货币」「区块链」名义进行非法集资的风险提示》的文件, 请广大公众理性看待区块链,不要盲目相信天花乱坠的承诺,树立正确的货币观念和投资理念,切实提高风险意识;对发现的违法犯罪线索,可积极向有关部门举报反映。