夏雨荷 麻豆 GPT-4o图像生成架构被“破解”了？自转头骨干+扩散解码器，还有4o图像生周密面测评基准

GPT-4o 图像生成架构被"破解"了！夏雨荷 麻豆

最近一阵，，东说念主们随之风趣：

4o 图像生成的架构底层逻辑到底是什么？GPT-4o 究竟强在哪？存在哪些短板？

算作解答，北京大学、中山大学等多家科研机构共同推出GPT-ImgEval，初度系统评估了 GPT-4o 在图像生成上的真实进展。

这份量化评估基准不仅囊括了生成质地、裁剪才气和知识推理，还尝试揭示GPT-4o 背后的可能架构，还探究了它生成图像的可检测性问题。

底下具体来看。

GPT-4o 架构揭秘：可能使用了扩散 + 自转头羼杂决议

GPT-ImgEval 团队尝试"反向破解"GPT-4o 的图像生成架构。

扣问团队在论文中建议了 4 种候选架构决议（见下图），尽管细梗概有不同，但有少许是一致的：GPT-4o 很可能给与的是自转头骨干 + 扩散头的羼杂结构。

平常来说，它的职责经由可能是这么的：文本或指示→ 自转头模块意会语义 → 生成中间视觉 Token → 扩散模子将这些 Token 解码成图像。

天然，架构预计弗成仅靠遐想。为此，扣问团队野心了一套严谨的实证环节：

先考中一组长入的文本领导（prompt），辞别使用自转头模子（VAR）和扩散模子（Diffusion）各自生成 1 万张图像算作对比样本；

垄断这些图像西宾一个二分类器，让它学会识别图像是" AR 作风"依然" Diffusion 作风"；

然后，用相通的 Prompt 交给 GPT-4o 生成图像，将这些图像输入该分类器进行识别。

也即是说，整个这个词过程中，领导词保持王人备一致，只看不同模子生成的图像"长得像谁"，以此判断 GPT-4o 的生成神志更接近哪类结构。

放胆很顺利：GPT-4o 生成的图像简直一齐被识别为"扩散作风"，这就从图像作风维度考证了 GPT-4o 的确可能用了扩散模子算作解码器。

除了对视觉解码器的分析，扣问东说念主员也深切探究了视觉编码神志。他们指出，一些扣问（如 UniTok）觉得基于向量量化（VQ）的编码器可能会安稳模子的语义意会才气。

因此，作家觉得如若给与了 pixel encoder，其八成率是连气儿（非 VQ）的而不是闹翻（VQ）的，并基于此建议了四种可能的好意思满架构暗示图。

三大维度全面评估 GPT-4o 图像才气

GPT-ImgEval 聚焦三类中枢任务，对 GPT-4o 进行了系统评估：

文本生成图像（GenEval）：通过对物体数目、神色、位置、组合属性等细粒度维度进行测评，考证模子对文本的意会与图像的构造才气。

指示裁剪图像（Reason-Edit）：模拟用户给出修改指示后，模子在保留图像语义基础上进行局部裁剪的才气，如替换、删除、变色等。

基于寰宇知识的语义合成（WISE）：西宾模子是否能将对寰宇学问、文化配景、科学旨趣等知识真实"显性化"为图像输出。

为了撑持这一系统评估，扣问团队拓荒了一套针对 GPT-4o 的自动化交互剧本，处治了面前该模子尚未绽放图像生成 API 的执行问题。

这套剧本顺利与 GPT-4o 网页界面交互，模拟真实用户活动：

自动输入领导词（Prompt）、点击提交

自动持取生成图像并存储存档

每次央求会新开浏览器窗口，确保不同任务之间坎坷文不互相关扰

撑持任务批量运转，可终了大鸿沟、可重迭的图像生成任务移动

最终，GPT-ImgEval 的举座职责流如下图所示：

在文本生成图像（GenEval）任务中，GPT-4o 获得了0.84 的总得分，杰出当今整个扩散类与自转头类图像生成模子。

尤其在以下几项中进展隆起：数目甩手（0.85）、神色绑定（0.92）、空间位置（0.75）、属性组合（0.61）。

下图是一些 GPT-4o 使用 GenEval 基准中的 prompt 生图的具体例子：

而在图像裁剪任务（Reason-Edit）中，GPT-4o 得分高达0.929，开首第二名越过 0.35，阐述其在指示意会和局部甩手上进展极其自如。

在知识合成（WISE）任务中，GPT-4o 相通大放异彩，多个子维度（生物、文化、物理等）得分均越过 0.9，总分 0.89，远高于面前开源模子（大批在 0.4~0.5 之间）。

这阐述 GPT-4o 具有精深的寰宇知识和推理才气，这应该是收获于 GPT-4o 这种长入多模态框架。

更多扣问论断 GPT-4o vs Gemini 2.0 Flash：多轮裁剪对比

扣问团队还对 GPT-4o 与 Google 的 Gemini 2.0 Flash 进行了多轮图像裁剪对比。

除了性能与架构机制，GPT-4o 在本体的使用体验中也展现出了苍劲的竞争力。扣问团队对其与 Google 最新发布的 Gemini 2.0 Flash 进行了多轮裁剪任务的实测对比。

GPT-4o 撑持好意思满的多轮对话式裁剪经由，坎坷文一致性强

Gemini 反馈速率更快，但每轮需从头上传图像，艰苦连气儿性

在连气儿修改、复杂指示意会、图像语义保持方面，GPT-4o 进展出更高的自如性

从举座趋势来看，两者在裁剪轮数加多后均出现一致性下落，但 GPT-4o 下落更缓，保持更稳。

GPT-4o 与 Gemini 2.0 Flash 多轮裁剪一致性对比如下图所示：

这一双比放胆也进一步考证了：交融大模子语义意会才气的图像生成系统，在交互式创作任务中，正在展现出压倒性上风。

GPT-4o 仍存五大问题，图像量化评估并非无解

扣问团队总结出 GPT-4o 面前的五个常见生成难点：

无法严格保持原图尺寸与边框比例，就怕会自动裁切或缩放

强制锐化，即使用户条件生成吞吐图，也会被模子"优化"成高清

裁剪偏暖、全图色调变化，即使只修改小部分，可能全图色调以致是全局都会被一定进度修改

复杂场景失真，多东说念主或东说念主 - 物体交互场景易出现姿态不天然或结构庞大

非英文文本撑持较弱，如汉文符号常出错，难以在复杂配景准确生成

这些问题不仅影响使用体验，也领导咱们—— GPT-4o 仍在追求"天然感"与"精确甩手"之间寻找均衡。

这些图像能被检测出来吗？

除了感知层面的不雅察和评估，扣问团队进一步想考一个环节问题：GPT-4o 生成的图像，是否果真不错"以伪乱真"？

为此，扣问者使用多个主流图像取证模子，对 GPT-4o 生成的图像进行了系统性评估。

放胆披露，包括 Effort、FakeVLM 在内的多种检测器，对 GPT-4o 图像的识别准确率大批越过 95%，最高接近 99.6%。

不单是停留在数值层面，扣问团队还对量化评估顺利的原因进行了机制层面的归因分析：

GPT-4o 可能在图像生成过程中引入了超分辨率模块，通过上采样插值导致显明伪影

模子有过度锐化与细节增强倾向，视觉恶果虽然"精良"，却留住了被取证模子捕捉的印迹

在用户未条件修改时，仍可能出现尺寸、颜色的隐性变化，轻易了图像一致性

GPT-4o 生成图像色调大批偏暖，举座作风趋同，易被量化评估模子缔造"作风识别阵势"

可量化评估，并非毛病，而是 AIGC 安全野心的基线才气

忘忧草社区在线www

扣问团队觉得，是否可量化评估，不应成为筹备生成模子才气强弱的轮番，而应被视为评估其可控性与安全性的遑急目的。

在改日的 AIGC 系统野心中，"传神"天然遑急，但"可识别"、"可跟踪"相通不可或缺。GPT-4o 生成图像中的伪影、颜色偏好等特征，也恰是鼓动生成量化评估扣问的遑急冲破口。

这也恰是 GPT-ImgEval 的各异化亮点之一：不仅作念量化评估，更从安全机制的角度进行深切会诊和前瞻探索。

GPT-4o 很强，但"结尾"远未到来

GPT-ImgEval 不仅考证了 GPT-4o 在图像生成上的上风，更指出了它仍需冲破的短板。尤其是在可控性、多语种处理、局部裁剪自如性等方面，仍有不少陶冶空间。

GPT-ImgEval 不仅系统性考证了 GPT-4o 在图像生成、图像裁剪与知识合成三大任务中的开首进展，更进一步揭示了其架构特征、失败阵势与安全领域。

该扣问不仅在评测维度上终分解消亡以前、量化精确，也从架构判别、裁剪可控性、多轮意会才气和伪影检测等多个层面，对 GPT-4o 进行了时期全景式会诊。

扣问团队觉得，该职责的遑急真理在于：

1、提供系统化多模态评估范式：初度从"生成 - 裁剪 - 推理"全经由开赴，缔造概括图像才气测试框架；

2、鼓动闭源模子的"可评释评测"扣问：在无法走访模子细节的前提下，缔造架构预计和活动归因机制；

3、强调通用多轮裁剪场景的实用价值：用用户视角考证语义意会一致性与细节保真性，为交互野心落地提供参考；

4、补王人图像生成安全性扣问缺口：通过可检测性实证，发现图像中的上采样 / 超分伪影、颜色特征，鼓动 AIGC 取证时期演进。

更多细节接待查阅原论文。

一键三连「点赞」「转发」「贯注心」

接待在驳斥区留住你的观点！

—  完  —

学术投稿请于职责日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 神志主页蚁集，以及关联神志哦

咱们会（尽量）实时回话你

� � 点亮星标 � �

科技前沿进展逐日见夏雨荷 麻豆