介绍

good, 这篇论文不需要到method, 看pipeline就能理解.

IA-T2I

探索 T2I 模型的知识边界, 以确定为给定的文本提示生成准确图像是否需要额外的参考图像.
我们使用大型视觉-语言模型从文本提示中提取查询, 并通过搜索引擎检索潜在有用的参考图像. 然后直接用检索到的图像来增强 T2I 模型是不切实际的, 因为检索到的图像数量通常很大, 处理这些图像在计算上既昂贵又耗时, 尽管图像按相关性排序, 但排在前面的图像并不一定是作为参考图像最合适的.
为了解决这个问题, 引入了一个分层图像选择模块. 首先基于多样性进行初步筛选, 形成候选集, 然后对候选图像重新排序, 以选择最相关和最有信息量的参考图像. 一旦 T2I 模型生成了由选定的参考图像增强的图像, 就采用自我反思机制来评估输出, 并自主决定是否重新选择参考图像进行另一次生成尝试, 还是接受结果作为最终结果.

还构建了一个数据集, 包含 1) 已知但罕见; 2) 未知; 3) 模棱两可, 评估用的GPT-4o.

它的三个点: 1) 提出pipelien; 2) 构造数据集; 3) 提示词工程开发自动偏好评估方法.

实验

baseline选了T2I, TI2I, Omnipotnet商业模型, 评估了美学质量, 常识一致性, 指令遵循度三个维度, 二元选择只能回答是或否, 由3个标注员打分, 相当于只有user study.

感受

这篇应该是最早的互联网增强图片生成的论文.

我觉得这个pipelien最扯得地方在于, 图中举的这个例子, 大模型构建query去bing上搜图, 然后返回结构让用户自主选择哪个最合适不就好了.

而且我觉得就算是它的pipeline本身, 我觉得边界问题也很难解决, 比如是否需要参考图像这件事, 对于不同的生成模型, 对这件事的看法是不同的. 比如自我反思, 哎算了看了一眼没中, 只有arxiv, 就这样吧.