您好,欢迎进入某某沙盘有限公司官网!

咨询热线:

020-88888888

乐鱼体育- 乐鱼体育官方网站- 世界杯指定平台LEYU SPORTS港大等开源GoT-R1:强化学习解锁视觉生成推理新范式

发布时间:2025-06-27 16:13人气:

  乐鱼体育,LEYU乐鱼体育官方网站,乐鱼体育靠谱吗,乐鱼体育app,乐鱼体育官网,leyu乐鱼体育,乐鱼体育入口,乐鱼体育官方,乐鱼leyu官网登录APP,乐鱼后台,乐鱼体育网址,乐鱼体育官方网站,乐鱼体育注册

乐鱼体育- 乐鱼体育官方网站- 世界杯指定体育平台LEYU SPORTS港大等开源GoT-R1:强化学习解锁视觉生成推理新范式

  GoT 框架旨在应对这一挑战,其核心思想是将 “直接生成” 模式转变为 “先推理规划,后引导生成” 的两阶段过程 。具体而言,GoT 首先将用户输入的文本提示(Prompt)解析并扩展为一个详尽的 “生成思维链”(Generation Chain-of-Thought)。此思维链不仅包含对场景中各个构成元素的语义描述(例如,“一个现代风格的客厅,带有 shabby chic 风格的触感”)和具体物体(例如,“一个华丽的枝形吊灯”,“一个带框的镜子”),还附带了这些物体在图像中的精确空间坐标信息(例如,吊灯位于 (372,0), (613,254),镜子位于 (157,251), (285,519)) 。随后,这条融合了语义规划与空间布局的思维链将作为精细化指令,指导后续的图像扩散模型进行图像生成,确保最终输出与预先规划高度吻合 。

  语义对齐奖励 (Rsem):利用 MLLM 评估所生成的 GoT 推理链在语义层面是否完整、是否忠实于原始输入文本,以及是否存在内在逻辑矛盾或表述不清晰等问题 。空间对齐奖励 (Rspa):此为 GoT-R1 的核心创新点。鉴于多数 LLM 或 MLLM 对于直接处理文本形式的坐标数据并判断其空间关系的能力有限 ,GoT-R1 提出将 GoT 推理链中规划的对象坐标信息,在虚拟的空白画布上渲染为包含具体边界框的可视化图像。随后,将此图像输入 MLLM 进行判断,评估其所展现的空间布局是否与原始文本提示中的空间关系描述(例如 “A 在 B 的左侧”)相符 。这种 “文本坐标 ->

  可视化布局 ->

  MLLM 评估” 的转换,显著提升了空间关系奖励信号的准确性和鲁棒性 。

  更重要的是,该成果清晰地展示了强化学习带来的提升。与仅使用 GoT 数据集进行监督微调的基线模型(Janus-Pro-7B-GoT)相比,经过强化学习优化的 GoT-R1-7B 模型在评估指标上实现了高达 15% 的提升。例如,在纹理(Texture)和形状(Shape)等类别的保线B 相较于 GoT 微调模型取得了大幅度的进步 。这些显著的性能增益,有力地证明了 GoT-R1 通过强化学习引导模型自主优化推理路径的策略,对于解决复杂的组合式图像生成任务是切实有效的。

  为了验证强化学习是否真正提升了模型内在的推理能力,而非仅仅优化了最终的图像输出,研究团队还对模型核心的 “思考过程”—— 即 “生成思维链”(Generation Chain-of-Thought)的质量本身进行了深入分析 。为此,团队采用 GPT-4o 作为第三方评估者 ,对 GoT-R1-7B 自主探索生成的推理链与仅经 GoT 监督微调的基线模型(Janus-Pro-7B-GoT)生成的推理链进行了一对一的比较。

  评估结果具有压倒性的说服力。GPT-4o 在所有评估类别中均明确地偏好由 GoT-R1 生成的推理链。例如,在对空间关系理解要求极高的 “Spatial” 类别提示中,GoT-R1 获得了 84 票,而基线 票 。这一结果强有力地证明,GoT-R1 框架通过强化学习,不仅提升了最终图像的生成质量,更从根本上优化了模型自身的推理能力,使其能够生成更准确、更忠实于用户意图、逻辑更清晰的 “思维链”,而这正是其在复杂组合任务中取得成功的关键所在。


020-88888888