今日，阿里千问宣布推出Qwen-Scope，这是一个基于Qwen3系列和Qwen3.5系列模型训练所得的可解释性模块。Qwen-Scope通过在Qwen隐藏层插入稀疏自编码器（SAE）并加以训练，自动提取出高度解耦、低冗余且更具可解释性的隐藏空间特征。该模块不仅可用于分析Qwen模型行为的内在机制，还在模型优化上具有巨大潜力，应用场景广泛，包括推理结果定向控制、数据分类与合成、模型训练与优化、评估样本分布分析与对比等。

Qwen-Scope的核心亮点包括：在推理方面，无需显示给出自然语言指令，实现推理结果定向控制；在数据方面，仅需少量种子数据便可收集用于数据分类的特征，显著降低数据依赖，同时可以使用未激活特征信息定向构造数据，补足长尾能力；在训练方面，通过分析语言混用和重复生成等低错问题，定位异常激活特征，在监督微调和强化学习阶段辅助模型训练，降低此类回复出现频率；在评估方面，计算不同样本间或不同评测集间特征激活模式，联合判断评测冗余程度，指导挑选评测集、提升评测能力覆盖度、降低评测成本。

Qwen-Scope开源的权重涉及7个大模型，覆盖Qwen3及Qwen3.5系列的稠密模型和混合专家模型，共有14组稀疏自编码器权重。为了使得稀疏自编码器特征分布广、语义含义强、训练过程稳定可靠，阿里千问从对应模型的预训练数据采样了0.5B词元数据规模进行训练。实践者可以借助Qwen-Scope对Qwen系列模型进行分析和开发，具体应用案例和技术细节可参考官方技术报告。