论文插图也能自动生成了，用到了扩散模型，还被ICLR接收

---

生成式 AI 已经风靡了人工智能社区，无论是个人还是企业，都开始热衷于创建相关的模态转换应用，比如文生图、文生视频、文生音乐等等。

最近呢，来自 ServiceNow Research、LIVIA 等科研机构的几位研究者尝试基于文本描述生成论文中的图表。为此，他们提出了一种 FigGen 的新方法，相关论文还被 ICLR 2025 收录为了 Tiny Paper。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

图片

论文地址：https://arxiv.org/pdf/2306.00800.pdf

也许有人会问了，生成论文中的图表有什么难的呢？这样做对于科研又有哪些帮助呢？

科研图表生成有助于以简洁易懂的方式传播研究结果，而自动生成图表可以为研究者带来很多优势，比如节省时间和精力，不用花大力气从头开始设计图表。此外设计出具有视觉吸引力且易理解的图表能使更多的人访问论文。

然而生成图表也面临一些挑战，它需要表示框、箭头、文本等离散组件之间的复杂关系。与生成自然图像不同，论文图表中的概念可能有不同的表示形式，需要细粒度的理解，例如生成一个神经网络图会涉及到高方差的不适定问题。

因此，本文研究者在一个论文图表对数据集上训练了一个生成式模型，捕获图表组件与论文中对应文本之间的关系。这就需要处理不同长度和高技术性文本描述、不同图表样式、图像长宽比以及文本渲染字体、大小和方向问题。

在具体实现过程中，研究者受到了最近文本到图像成果的启发，利用扩散模型来生成图表，提出了一种从文本描述生成科研图表的潜在扩散模型 ——FigGen。

这个扩散模型有哪些独到之处呢？我们接着往下看细节。

模型与方法

研究者从头开始训练了一个潜在扩散模型。

首先学习一个图像自动编码器，用来将图像映射为压缩的潜在表示。图像编码器使用 KL 损失和 OCR 感知损失。调节所用的文本编码器在该扩散模型的训练中端到端进行学习。下表 3 为图像自动编码器架构的详细参数。

然后，该扩散模型直接在潜在空间中进行交互，执行数据损坏的前向调度，同时学习利用时间和文本条件去噪 U-Net 来恢复该过程。

至于数据集，研究者使用了 Paper2Fig100k，它由论文中的图表文本对组成，包含了 81,194 个训练样本和 21,259 个验证样本。下图 1 为 Paper2Fig100k 测试集中使用文本描述生成的图表示例。

模型细节

首先是图像编码器。第一阶段，图像自动编码器学习一个从像素空间到压缩潜在表示的映射，使扩散模型训练更快。图像编码器还需要学习将潜在图像映射回像素空间，同时不丢失图表重要细节（如文本渲染质量）。

为此，研究者定义了一个具有瓶颈的卷积编解码器，在因子 f=8 时对图像进行下采样。编码器经过训练可以最小化具有高斯分布的 KL 损失、VGG 感知损失和 OCR 感知损失。

其次是文本编码器。研究者发现通用文本编码器不太适合生成图表任务。因此他们定义了一个在扩散过程中从头开始训练的 Bert transformer，其中使用大小为 512 的嵌入通道，这也是调节 U-Net 的跨注意力层的嵌入大小。研究者还探索了不同设置下（8、32 和 128）的 transformer 层数量的变化。

最后是潜在扩散模型。下表 2 展示了 U-Net 的网络架构。研究者在感知上等效的图像潜在表示中执行扩散过程，其中该图像的输入大小被压缩到了 64x64x4，使扩散模型更快。他们定义了 1,000 个扩散步骤和线性噪声调度。

训练细节

ChatGPT Writer

免费 Chrome 扩展程序，使用 ChatGPT AI 生成电子邮件和消息。

106 查看详情

为了训练图像自动编码器，研究者使用了一个 Adam 优化器，它的有效批大小为 4 个样本、学习率为 4.5e−6，期间使用了 4 个 12GB 的英伟达 V100 显卡。为了实现训练稳定性，他们在 50k 次迭代中 warmup 模型，而不使用判别器。

对于训练潜在扩散模型，研究者也使用 Adam 优化器，它的有效批大小为 32，学习率为 1e−4。在 Paper2Fig100k 数据集上训练该模型时，他们用到了 8 块 80GB 的英伟达 A100 显卡。

实验结果

在生成过程中，研究者采用了具有 200 步的 DDIM 采样器，并且为每个模型生成了 12,000 个样本来计算 FID, IS, KID 以及 OCR-SIM1。稳重使用无分类器指导（CFG）来测试超调节。

下表 1 展示了不同文本编码器的结果。可见，大型文本编码器产生了最好的定性结果，并且可以通过增加 CFG 的规模来改进条件生成。虽然定性样本没有足够的质量来解决问题，但 FigGen 已经掌握了文本和图像之间的关系。

下图 2 展示了调整无分类器指导（CFG）参数时生成的额外 FigGen 样本。研究者观察到增加 CFG 的规模（这在定量上也得到了体现）可以带来图像质量的改善。

图片

下图 3 展示了 FigGen 的更多生成示例。要注意样本之间长度的变化，以及文本描述的技术水平，这会密切影响到模型正确生成可理解图像的难度。

图片

不过研究者也承认，尽管现在这些生成的图表不能为论文作者提供实际帮助，但仍不失为一个有前景的探索方向。

更多研究细节请参阅原论文。

以上就是论文插图也能自动生成了，用到了扩散模型，还被ICLR接收的详细内容，更多请关注其它相关文章！

# 解决问题  # 井陉外贸网站推广哪家好  # 出售seo客户电话号码  # 衢州短视频营销推广招聘  # 搭建一个SEO网站  # 天津旅游网站建设外包  # 安阳百度关键词排名厂家  # 网站搜索优化就选s火9星好棒  # iphone的软文营销推广  # 旅游景点网站建设规划  # 鹤壁seo推广团队  # 更快  # ai  # 谁能  # 提出了  # 展示了  # 过程中  # 下表  # 开源  # 自动生成  # 也能  # fig  # 论文 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 有远见！华为四年前注册商标Vision Pro：苹果AR国内要改名  OpenAI 静默关闭 AI 文本检测工具，准确率仅为 26%  谷歌借AI打破十年排序算法封印，每天被执行数万亿次，网友却说是最不切实际的研究？  食品分销跨国企业Sysco CIDO：我们的增长秘诀是以IT为中心  大模型的“黄金搭档”来了！腾讯云正式发布AI原生向量数据库，提供10亿级向量检索能力  美图发布国内首个“懂美学的”AI视觉大模型MiracleVision  AI工具助力公司实施每周4.5天工作制，带来巨大效益  13 个提高生产力的 AI 工具  AI和ML推动联网设备的增长  清华系面壁智能开源中文多模态大模型VisCPM ：支持对话文图双向生成，吟诗作画能力惊艳  一图速览 | 十大脑机接口关键技术发布  揭秘AI数字人语录：抖音AI小和尚、老者语录能赚钱吗？  人工智能进入绿植界，智能庭院市场初具规模  两小时就能超过人类！DeepMind最新AI速通26款雅达利游戏  ​布局智能物联新时代,中国移动“5G+物联网”亮相2025 MWC  掌阅科技入选北京市通用人工智能产业创新伙伴计划第二批成员名单  三个全球首创，青岛西海岸新区“海元宇宙”亮相世界人工智能大会  人工智能：解决劳动力短缺的关键策略  找对了风口想不火都难，乐天派机器人，安卓机器人的最终形态？  AI框架生态峰会本周开幕 华为昇腾“朋友圈”再聚首 全球首个全模态大模型将登场  跟着AI大热的“光模块”到底是什么？  ChatGPT 可以设计机器人吗？  套娃不可取：研究人员证实用AI生成的结果训练AI将导致模型退化  AI生成会议纪要 百度如流升级推出超级助手、智能编码等功能  机器人加速！稀土永磁也被带火，持续性如何？  微软 Copilot 团队主管呼吁用户与 AI 交流时应使用恰当的礼貌用语  OpenAI限制网络爬虫访问以保护数据免被用于AI模型训练  【原创】奥比中光：与英伟达合作开发的3D开发套件正式发布 连接英伟达AI应用生态  利用AI技术更好地发展农村电商  搭载星火认知大模型 讯飞听见智慧屏开启AI办公新体验  你们的开机第一屏画面要变了！安卓机器人首次3D化  能抓取玻璃碎片、水下透明物，清华提出通用型透明物体抓取框架，成功率极高  一次购买全年省心，入手科沃斯这几台机器人，省下时间就是金钱  这款在《自然通讯》发表的机器人，为变形金刚来到现实创造可能性  下一个前沿：量子机器学习和人工智能的未来  普林斯顿Infinigen矩阵开启！AI造物主100%创造大自然，逼真到炸裂  站在社会的高度理解人工智能  张朝阳陆川谈AI：大数据模型大幅提升工作效率，ChatGPT冲击最大的是内容创作领域  Bing Chat 和 Bing Search 正式引入深色模式  学而思推出AI第一课：基于自研大模型的AIGC课程  优傲机器人的人机协作技术 助力中小企发展  世界人工智能大会高合发表演讲，HiPhi Y即将全球上市  苹果AI战略与微软谷歌大相径庭，到底是领先还是落后？  OpenAI 引入个性化指令功能，消除对话中的重复偏好与信息  微软推出 LLaVA-Med AI 模型，可对医学病理案例进行分析  人工智能即将进入Windows：企业准备好安全策略设置了吗?  7/8上海 | 2025世界人工智能大会分论坛:科技与人文-共筑无障碍智能社会  酒店业将如何受益于人工智能的改变？  科技赋能司法执行 阿里资产免费为全国法院升级VR新服务  探索人工智能在物联网领域的影响与改变 

 2023-06-27