1. PaliGemma 2: A Family of Versatile VLMs for Transfer

PaliGemma 2 是基于 Gemma 2 语言模型家族的 PaliGemma 开放视觉-语言模型（VLM）的升级版。我们将 PaliGemma 使用的 SigLIP-So400m 视觉编码器与整个 Gemma 2 模型系列结合，从 2B 模型到 27B 模型。我们在这三个分辨率（224像素、448像素和 896像素）上分多个阶段训练这些模型，以赋予它们通过微调进行知识转移的广泛知识。由此产生的不同模型大小和分辨率的基础模型系列使我们能够研究影响转移性能的因素（如学习率），并分析任务类型、模型大小和分辨率之间的相互作用。我们进一步增加了超出 PaliGemma 范围的转移任务数量和广度，包括不同的 OCR 相关任务，如表格结构识别、分子结构识别、音乐谱识别，以及长细粒度的描述生成和放射学报告生成，在这些任务上，PaliGemma 2 达到了最先进的成果。

论文:https://arxiv.org/pdf/2412.03555

2. TokenFlow: Unified Image Tokenizer for Multimodal Understanding and Generation

我们提出了TokenFlow，这是一种新的统一图像分词器，填补了多模态理解和生成之间的长期空白。先前的研究尝试通过单一的重建目标向量量化（VQ）编码器来统一这两个任务。我们观察到，理解和生成需要本质上不同的视觉信息粒度。这导致了一个关键的权衡，特别是在多模态理解任务中性能受损。TokenFlow 通过一种创新的双码本机制来应对这一挑战，该机制解耦了语义和像素级特征的学习，同时通过共享映射机制来保持它们的对齐。这种设计使得可以直接访问对于理解任务至关重要的高层语义表示和对于生成任务至关重要的细粒度视觉特征，通过共享索引。我们大量的实验表明，TokenFlow 在多个维度上具有优越性。利用TokenFlow，我们首次证明离散视觉输入可以在理解性能上超越LLaVA-1.5 13B，实现7.2%的平均改进。对于图像重构，我们在384_384分辨率下获得了较高的FID分数0.63。此外，TokenFlow 在256_256分辨率下的自回归图像生成中取得了最先进的性能，GenEval得分为0.55，与SDXL相当。

论文:https://arxiv.org/pdf/2412.03069

3. SNOOPI: Supercharged One-step Diffusion Distillation with Proper Guidance

近年来，有研究表明将多步文本到图像扩散模型提炼为一步模型的方法取得了令人鼓舞的结果。最先进的高效提炼技术是SwiftBrushv2（SBv2），即使在资源有限的情况下，其性能也超过了教师模型的水平。然而，我们的研究揭示了它在处理不同扩散模型骨干时的不稳定性问题，原因是使用了固定指导尺度的变分分数提炼（VSD）损失所致。现有的一步扩散模型的一个缺点是没有提供对负提示指导的支持，这对于实际图像生成至关重要，因为它在实际图像生成中起着关键作用。本文提出了一种名为SNOOPI的新框架，旨在通过增强训练和推理期间的一步扩散模型的指导来解决这些局限性。首先，我们通过Proper Guidance-SwiftBrush（PG-SB）有效增强了训练稳定性，该方法采用随机尺度的无分类器指导方法。通过调整教师模型的指导尺度，我们扩展了它们的输出分布，从而产生更稳健的VSD损失，使SB能够在多种不同的骨干上有效工作，同时保持竞争力水平。其次，我们提出了一种无需训练的方法，称为Negative-Away Steer Attention（NASA），它通过交叉注意力将负提示整合到一步扩散模型中，以抑制生成图像中的不希望出现的元素。我们的实验结果表明，我们提出的方法在各种指标上显著改进了基线模型。尤为值得注意的是，我们达到了31.08的HPSv2得分，为一步扩散模型设定了新的最先进的基准。

论文:https://arxiv.org/pdf/2412.02687

4. NVComposer: Boosting Generative Novel View Synthesis with Multiple Sparse and Unposed Images

最近在生成模型领域的进展显著提高了多视图数据的新型视图合成（NVS）能力。然而，现有方法依赖于外部的多视图对齐过程，如显式的姿态估计或预先重建，这限制了它们的灵活性和可访问性，尤其是在由于视角之间的重叠不足或遮挡导致对齐不稳定时。在本文中，我们提出了一种名为NVComposer的新颖方法，通过提出两个关键组件，生成模型能够隐式推断多个条件视图之间的空间和几何关系：1) 图像-姿态双流扩散机制，该模型同时生成目标新型视图和条件摄像机姿态，以及2) 一种几何感知特征对齐模块，在训练期间从密集立体模型中提取几何先验。实验结果表明，NVComposer在生成多视图NVS任务中达到了最先进的性能，消除了对外部对齐的依赖，从而提高了模型的可访问性。随着输入未姿态校正的视图数量增加，合成质量显示出显著的改进，突显了其在更灵活和可访问的生成NVS系统中的潜力。

论文:https://arxiv.org/pdf/2412.03517

最后分享

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 2024行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】