起源：习近平同普京幼领域座谈作者： 黄诗瑜：

别卷推理了！当前大模型 STEM 短板在视觉感知，代码才是破局关键

本篇论文已被CVPR2026接管，第一作者官同坤来自上海交通大学人为智能钻研院博士生，导师是沈为教授和杨幼康教授。

当多模态大说话模型（MLLMs）在面对科学、技术、工程和数学（STEM）领域的视觉推理题时再三「翻车」，一个底子性的问题摆在了所有钻研者刻下：大模型做不出理科题，到底是由于「脑子笨」（推理能力受限），还是由于「眼神差」（视觉感知缺点）？

为了回覆这个问题，来自上海交通大学和 Qwen 等钻研团队通过将工作分化为两个阶段进行系统性的扩大分析：视觉感知（图像到描述）和推理（仅基于文本描述解决问题）。他们别离扩大感知和推理能力，同时维吃熹中一个能力不变。了局批注，扩大感知能力始终比扩大推理能力带来更大的机能提升。这已经验证据揭示了一个关键见解：在当前阶段，感知才是限度大模型 STEM 视觉推理的真正瓶颈地点。

基于这一深刻洞见，该团队提出了一种全新的范式——CodePercept（代码驱动的视觉感知），并成功被推算机视觉顶级会议CVPR 2026接管。

开源地址https://github.com/TongkunGuan/Qwen-CodePercept论文标题：CodePercept: Code-Grounded Visual STEM Perception for MLLMs论文链接https://arxiv.org/abs/2603.10757

主题洞见：突破天然说话的

「描述性失语」，用代码沉塑感知

近年来，随着 RL（强化进建）的发作，钻研者们试图通过复杂嘉奖机造提升大模型在 STEM 领域的跨模态推理能力。但钻研团队将 STEM 视觉推理工作解耦为「感知（图像到描述）」和「推理（仅基于描述进行解答）」两个阶段后发现：扩大感知能力带来的机能提升，始终优于扩大推理能力。

既然「感知」是最大短板，那该若何评估并提升它？

痛点一：天然说话描述存在幻觉以及「描述性失语」

直觉上，用壮大的关源大模型天生图像描述（Caption）进行知识蒸馏是个好法子。但团队指出了天然说话在 STEM 领域的致命缺点——「描述性失语」。复杂的空间几何干系、精准的数值坐标、多面体中盘根错节的辅助线，底子无法仅凭天然说话来正确、齐全地刻画，且极易产生幻觉。

解决规划：面对这一痛点，钻研团队提出将可执行的 Python 代码作为壮大的视觉感知媒介，并从两个维度进行了范式沉构。他们提出代码作为一种壮大的媒介，通过两项基于代码的工作显著加强 MLLM 的视觉感知能力：

1）代码驱动的描述天生（Code-Grounded Caption Generation）：基于代码的图像描述天生，利用可执行代码作为天生图像描述的真实标签，有效解除 AI 天生的描述谬误（图像 + Code -> Caption）；

2）STEM 图像到代码转录（STEM Image-to-Code Translation）：直接训练模型天生可执行的沉建代码，解除天然说话描述固有的歧义（图像 -> Code）。

痛点二：现有评估系统无法剥离「感知」与「推理」

现有的基准测试（如 MathVista、MathVerse 和 MathVision）通过最终工作问题解决正确率来评估 MLLM 的能力，这结合了 STEM 领域的感知理解和推理能力。当模型失败时，我们无法确定失败是源于感知缺点还是推理能力不及。固然最近的钻研选取了两阶段评估范式（先进行图像描述，再进行 LLM 求解）来分离 MLLM 的感知能力，但该指标仅反映了模型理解问题有关信息的能力，而非全面的视觉感知能力。为了添补这一不及，我们提出了一种确定性且可验证的范式，该范式要求模型天生可能忠诚再现原始图像的可执行 Python 代码。只有通过齐全且正确的视觉理解，模型能力成功地、高保真地再现原始图像。

解决规划：面对这一痛点，钻研团队以为，要求 MLLM 天生用于图像沉建的可执行 Python 代码，可能最严格地验证其感知能力。这一道理单一而壮大：只有当模型齐全理解视觉信息时，能力实现精确的图像再现。

基于此道理，他们推出了 STEM2Code-Eval：一个蕴含 1000 张图像的手动标注基准测试，旨在检验模型天生用于图像沉建的可执行 Python 代码的能力，从而对视觉感知能力进行确定性和可验证的评估。

数据基石：百万级三元组数据集 ICC-1M

为了让代码成为感知的有效媒介，钻研团队构建了ICC-1M 数据集，蕴含 100 万个高质量的图像-描述-代码（Image-Caption-Code）三元组。该数据集通过三大创新流水线合成：

图像复现（Image Reproduction）：将现有 STEM 图像精准转化为可执行的 Python 代码。

图像多样化（Image Diversity）：提取种子图像的主题 STEM 道理，并在分歧的视觉语境中沉新事俘化，确保天生极其丰硕的新鲜图像。

立体几何合成（Solid Geometry Synthesis）：专门针对当前多模态大模型在立体几何空间关系上的短板，开发了基于模板的立体几何代码天生流水线。

所罕见据均需通过严苛的三阶段统一质量节造（图像质量、代码质量、图码一致性验证），确保训练信号的绝对精准。

训练双引擎：两项「代码驱动」进建工作

基于 ICC-1M 数据集，CodePercept 提出了两项开创性的训练工作，系统性提升感知能力：

1、代码驱动的描述天生（Code-Grounded Caption Generation）：将可执行代码视为图像描述的「绝对真谟坠，利用代码分析中简直凿事实（如坐标、数量）进行沉写，彻底解除了传统视觉说话模型固有的数字和几何幻觉。

2、STEM 图像到代码转录（STEM Image-to-Code Translation）：直接疏导大模型天生蕴含具体注解的「诠释性沉建代码」，这不仅解除了天然说话描述的吞吐性，还迫使模型深刻理解「观测特点」与「代码片段」之间的内涵映射法令。

在训练战术上，团队选取了两阶段进建法：

1、第一阶段：SFT（监督微调，CodePercept-S1）。Code 性质上是一种体式化的 Caption，所以结合优化 Image2Caption 与 Image2Code 工作，使模型成立壮大的感知能力；

2、第二阶段：强化进建（CodePercept-R1）。鉴于代码天生的容错率极低，团队引入了 GRPO 强化进建专属优化代码天生。模型不仅必要拿到「体式嘉奖（语法正确）」，还要通过更严苛的「内容执行嘉奖」与「图码类似度嘉奖」，在不休的自我试错中实现能力的指数级跃迁。

硬核评测与惊艳了局

传统评测往往用「解题正确率」来衡量感知，这不仅存在误差，还容易遗漏未考查的视觉细节。为此，钻研团队推出了STEM2Code-Eval Benchmark。这是一个蕴含 1000 张经过人为精校图像的评测基准，它要求模型直接天生 Python 代码来 100% 还原原始图像，提供最确定、最可验证的视觉感知评估底线。

基于 Qwen3-VL 架构的尝试了局令人震撼：

解题端（Captioner-Solver）阐发：在同样的推理求解器下，CodePercept-8B-S1 竟然超过了比其大得多的开源巨头 Qwen2.5-VL-72B（优势达 6.2%），甚至逼近了 Claude-Opus 4.1-Thinking 和 GPT5-Thinking 等关源前沿模型的水平。

视觉沉构（STEM2Code-Eval）阐发：在纯正考查感知的图像还原工作中，经过强化进建优化的 CodePercept-8B-R1 斩获了 63.56 分的佳绩（较基座提升 3.92 分），全面碾压了 Seed 1.6-Vision 和 Qwen3-VL-Plus 等超大参数规模的旗舰模型。

CodePercept 的出现不仅仅是一个新模型的诞生，它更宣告了多模态大模型在解决复杂科学问题时的一条新航路：只有给大模型装上基于代码逻辑的「火眼金睛」，真正的复杂推理之门才会被彻底叩开。