MIT新发明！让GPT-6 Astra轻松玩转模型权重

• 2026-11-04
• 热点资讯

嘿，朋友们，今天我要跟你们聊聊一个让人眼睛一亮的消息——MIT的科学家们搞了个大动作，把GPT-6 Astra变成了一个“模型修理工”，能够直接修改小模型Qwen的权重，结果数学能力瞬间暴涨了6倍！你没听错，简直像是给小Qwen喝了能量饮料，打了鸡血，成了数学小天才！

这次的实验简直让人耳目一新。科学家们把Qwen3.5这个小家伙扔给Astra，并让它只修改0.016%的权重。就像给一个刚进学校的孩纸只改动一下课本，结果考分一下子从7.9%直飙到48.1%！这小家伙的数学水平简直可以参加奥林匹克比赛了，当然，前提是它要做题不再像个无头苍蝇。

说到做题，这Qwen在之前可真是跑偏了方向。面对一道题，它居然一路生成类似的文字，反复“复读”，却却迟迟交不上卷。最初，96条练习的回答里，有85条妥妥地以“长篇小说”的形式产生，直逼32768个token的长度上限。真是让人摸不着头脑，连Qwen自己都为此“卡主”了。 立博体育

不过，Astra显然不容易被难住！它像个侦探一样，跟踪这个失败的表现，最终发现了问题根源在一个叫“前馈网络”的地方。于是，它理智地对第15层和第19层的输出列进行了小小的调整，结果一出手，MATH-500的表现直接大幅提升，原本93.0%的长篇回答率下降到了33.1%。再给它几轮机会，得分如坐过山车一样，依次达到了12.3%、14.1%和48.1%。

更有趣的是，Astra可不止是做数学题的小天才，还有排版创意的潜力。研究者把一堆没输入、没输出的Transformer模块给它，让它来识别它们的“语言”。想象一下，在一个“语言沉默”的环境里，Astra也能通过分析权重的“形状”，认出不同游戏里的角色，比如乒乓球、吃豆人之类的。简直就是一个超级侦探，把压力都转化成了能力！

接下来，Astra在一个叫“坡道挑战”的实验中，依靠着微小的权重修复，居然让小车一次成功冲上了坡，完全没有卡住的毛病。你完全可以想象，它就像是给小车配上了“动力增压器”。 立博体育

而且，研究者们灵机一动，把难度提高，让Astra从零开始构建一个全新的网络。想象一下，它面对的是一份白纸，没有梯度、没有训练数据，却能生成一个玩得转的游戏程序。最后，Astra的得分可达517.4，打败了那种经过数亿步训练才得的分数，简直是个“神话”！

总之，这次MIT的研究不仅仅让Astra变得聪明能干，它向我们展示了，让一个已有的通用大模型，通过自我分析和权重重写，简直比让它每天啃书更有效。真是令人耳目一新，未来的AI发展，会不会跟这局面一样，充满了无限的可能呢？