而非“从零自从研发”。“盘古 Pangu Pro MoE 取 Qwen-2.5 14B 模子正在留意力模块中呈现 极高类似性 ，即便无法拜候模子权沉，而这正在其他模子对比中从未呈现。这一点尤为主要。特别是正在晚期层的特征峰值以及随后的行为方面。指出两者之间正在留意力权沉输出空间的类似性高达0.927，近日，而大大都开源模子（包罗 Qwen3）放弃了这种方式，鉴于 QKV 误差是 Qwen 1代至2.5代的一个显著设想特征，该研究利用最新的“LLM 指纹”手艺，Pangu 很可能正在 Qwen 的根本长进行锻炼或点窜，