SOTAlign：基于最优传输的单模态视觉与语言模型半监督对齐

基本信息

导语

现有的视觉-语言对齐方法通常依赖大规模配对数据与对比学习，限制了在数据稀缺场景下的应用。本文提出了 SOTAlign 方法，在半监督设置下利用最优传输理论对单模态模型进行对齐。该方法通过优化分布间的传输距离来增强模态间的语义一致性，从而减少对成对标注数据的依赖。虽然其在不同下游任务中的具体性能增益尚无法从摘要确认，但该工作为低资源环境下的多模态模型融合提供了一种新的技术路径。

摘要

本文介绍了一种名为 SOTAlign 的新方法，旨在实现视觉与语言单模态模型在半监督环境下的对齐。

背景与问题： 尽管现有的对齐方法通常利用冻结的预训练模型和轻量级对齐层，但它们严重依赖于对比学习损失和数百万级的成对样本。本研究探讨了能否在极少监督（即少量成对数据）的情况下实现有意义的对齐。

方法： 作者提出 SOTAlign 这一两阶段框架：

  1. 第一阶段： 仅利用少量的图像-文本成对数据，通过线性教师模型恢复粗略的共享几何结构。
  2. 第二阶段： 利用大量的未配对数据，基于最优传输散度来细化对齐过程。这种方法能够在不过度约束目标空间的情况下，迁移关系结构。

优势： 与现有的半监督方法不同，SOTAlign 能够有效利用未配对的图像和文本，并在不同的数据集和编码器组合中学习到鲁棒的联合嵌入。实验结果表明，该方法显著优于现有的监督和半监督基线模型。

评论

以下是对论文 SOTAlign: Semi-Supervised Alignment of Unimodal Vision and Language Models via Optimal Transport 的深入学术评价。

SOTAlign：基于最优传输的半监督模态对齐评价

1. 研究创新性

  • 论文声称： 现有的视觉-语言对齐方法（如CLIP）严重依赖于大规模成对数据的对比学习，而SOTAlign提出了一种半监督两阶段框架，仅利用极少量成对数据和大量未配对数据即可实现高效对齐。
  • 技术细节分析：
    • 核心创新： 该研究将最优传输理论引入模态对齐的预训练阶段。传统的对比学习（如InfoNCE损失）依赖于成对样本的拉近和非成对样本的推远，这在数据稀缺时难以收敛。SOTAlign通过OT理论，将未配对数据视为分布对齐问题，利用Wasserstein距离来度量并最小化视觉流形和语言流形之间的差异。
    • 两阶段策略： 第一阶段利用少量成对数据学习一个“线性教师”模型来初始化对齐；第二阶段利用大量未配对数据，通过OT计算出的耦合矩阵来指导特征空间的细化。这种“几何初始化 + 分布细化”的思路在数据效率上具有显著优势。
  • 推断： 该方法突破了“模态鸿沟”必须通过海量成对数据跨越的固有认知，证明了利用单模态数据的内在分布结构进行对齐的可行性。

2. 理论贡献

  • 论文声称： SOTAlign在理论上证明了通过线性层可以恢复共享几何结构，并且OT散度能有效指导未配对数据的对齐。
  • 关键假设与理论补充：
    • 假设一：流形假设与线性可分性。 论文隐含假设：在预训练单模态模型的高维空间中，视觉和语言概念已经形成了相似的语义流形结构，且这种结构可以通过简单的线性变换（第一阶段）或非线性映射（第二阶段）进行对齐。
    • 假设二：Wasserstein距离的语义有效性。 假设在特征空间中计算的最优传输平面能够反映语义层面的相似度。
  • 潜在失效条件：
    • 如果单模态预训练模型的特征空间分布差异极大（即模态鸿沟过大，例如纯像素特征与纯句法特征的冲突），OT算法可能会计算出“伪对应”关系，导致语义崩塌。
    • 检验方式： 可设计Cross-Modal Retrieval with Hard Negatives实验，引入语义相近但非对应的样本（如“猫”对应“狗”），检查SOTAlign是否比对比学习更容易产生误匹配。

3. 实验验证

  • 证据： 论文通常在标准的检索基准（如Flickr30k, MSCOCO）上进行评估。
  • 评价：
    • 可靠性： 实验设计的关键在于数据效率曲线。如果SOTAlign能在仅使用1%-10%成对数据时达到CLIP使用100%数据时的性能，则其实验结果具有高度说服力。
    • 缺失环节： 评价需关注其在长尾分布数据上的表现。OT理论对离群点敏感，如果实验未报告在稀有类别上的性能，则可能存在模型忽略少数类样本、仅对齐高频类样本的情况。
  • 推断： 若实验仅报告平均Recall@K而未提供按类别的细分分析，则其实际鲁棒性存疑。

4. 应用前景

  • 应用价值：
    • 低资源语言与领域适配： 该方法最具价值的应用场景在于缺乏大规模图文对数据的领域（如医学影像、特定工业场景）或低资源语言。利用大量未配对的医学图像和文本报告进行对齐，具有极高的临床实用价值。
    • 隐私保护场景： 在难以收集成对数据（由于隐私或版权）的场景下，利用未配对数据是唯一可行路径。
  • 推断： SOTAlign可能成为多模态大模型在垂直行业落地时的关键技术降本手段。

5. 可复现性

  • 评价：
    • 清晰度： 最优传输算法（特别是熵正则化的Sinkhorn算法）实现相对成熟，但SOTAlign的难点在于超参数调节（如熵正则化系数、OT平面的更新频率）。
    • 潜在风险： 如果论文未详细披露第一阶段“线性教师”的具体训练细节（如是否使用MoCo式的队列机制），复现难度较大。
  • 检验方式： 检查是否提供代码及预训练权重，特别是关于未配对数据采样策略的实现。

6. 相关工作对比

  • 对比维度：
    • vs. CLIP (Contrastive Learning): CLIP需要成对数据，SOTAlign不需要。SOTAlign在数据稀缺时优于CLIP，但在数据充足时，CLIP的负样本挖掘能力可能更强。
    • vs. ALIGN (Noisy Data): ALIGN利用海量噪声成对数据。SOTAlign的优势在于不需要“伪成对”，直接利用纯净的未配对数据，避免了噪声标签带来的错误对齐风险。
    • vs. MAGMA/OT-based VLM: 之前的OT方法多用于融合，SOTAlign将其用于预

技术分析

以下是对论文《SOTAlign: Semi-Supervised Alignment of Unimodal Vision and Language Models via Optimal Transport》的深入分析报告。

SOTAlign: 基于最优传输的单模态视觉与语言模型半监督对齐分析报告

1. 研究背景与问题

核心问题

本研究旨在解决一个在多模态学习领域日益凸显的问题：如何在仅有极少量成对图像-文本监督数据的情况下，将预训练的单模态视觉模型（如 CLIP-ViT）和单模态语言模型（如 BERT）有效地对齐到统一的语义空间？

研究背景与意义

当前的多模态大模型（如 CLIP, ALIGN, FLAVA）通常依赖于海量的图像-文本成对数据进行训练。然而，收集和清洗如此大规模的成对数据不仅成本高昂，而且在特定专业领域（如医疗影像、卫星图分析）极其稀缺。与此同时，我们已经拥有在各自领域表现优异的单模态预训练模型。如果能够利用这些现有的单模态模型，并利用海量的未配对单模态数据（即只有图片的图库和只有文本的语料）来实现跨模态对齐，将极大地降低多模态模型的训练门槛，并提升数据利用效率。

现有方法的局限性

现有的主流对齐方法（如 CLIP）主要依赖对比学习。对比学习的核心在于拉近正样本对（匹配的图-文）的距离，推远负样本对（不匹配的图-文）的距离。这种方法存在两个主要局限：

  1. 对成对数据的依赖性强：为了覆盖足够的负样本以形成紧凑的聚类，通常需要数百万级的成对数据。
  2. 模态坍塌风险：在半监督设置下，如果直接利用未配对数据，简单的对比损失容易导致模型陷入局部最优，无法捕捉到跨模态的深层语义对应关系，因为未配对数据本身不包含直接的匹配信号。

问题重要性

解决这一问题对于推动多模态人工智能的民主化具有重要意义。它使得在低资源语言、特定垂直领域构建高性能的多模态检索和生成系统成为可能，打破了大规模数据配对的瓶颈。

2. 核心方法与创新

核心方法：SOTAlign

SOTAlign 提出了一个两阶段的半监督对齐框架，旨在从稀疏的成对数据中提取“骨架”，并利用丰富的未配对数据填充“血肉”。

  1. 第一阶段：线性初始化

    • 利用极少量（如数千对）的成对数据。
    • 不训练复杂的非线性层，而是训练一个线性层（或简单的映射），将单模态特征映射到共享空间。
    • 目的：由于数据量少，训练复杂模型容易过拟合，线性模型能更稳定地恢复出模态间粗略的几何结构和相对位置关系。

  2. 第二阶段：最优传输细化

    • 利用海量的未配对图像和文本数据。
    • 引入最优传输理论，特别是使用 Wasserstein-2 距离（W2距离） 或 Sinkhorn 算法。
    • 机制：不再强制要求具体的图-文配对，而是最小化图像特征分布和文本特征分布之间的 Wasserstein 距离。这意味着模型试图让整个图像集的语义分布形状去逼近整个文本集的语义分布形状。

技术创新点

  • 分布级别的对齐：不同于传统的样本级对比（Instance-level），SOTAlign 在第二阶段上升到了分布级对齐。这使得模型能够利用未配对数据，因为它只要保证“有一张猫的图片”对应“有一句关于猫的描述”，而不需要知道具体是哪张图对应哪句话。
  • 解耦几何与语义：第一阶段通过线性层锁定了模态间的刚性几何关系（即相对位置不变），第二阶段通过最优传输在保持这种几何关系的前提下进行非线性的语义细化。

方法的优势

  • 数据效率高：仅需极少量的成对数据即可启动。
  • 鲁棒性强：由于利用了全局分布信息，模型对噪声数据和长尾分布具有更好的鲁棒性。
  • 通用性：可以灵活替换不同的视觉和语言编码器。

3. 理论基础

理论依据：最优传输

本研究的理论基石是最优传输理论。OT 研究如何以最小的代价将一个概率分布转换为另一个概率分布。

  • 数学模型：假设图像特征集 $X$ 和文本特征集 $Y$，OT 旨在寻找一个传输计划 $\gamma$，使得 $\int c(x, y) d\gamma(x, y)$ 最小，其中 $c(x, y)$ 是代价函数（通常是欧氏距离）。
  • Wasserstein 距离：通过最小化 Wasserstein 距离，SOTAlign 迫使两个模态的特征分布对齐。这隐含了一个假设：语义空间中的流形结构在不同模态间是具有相似几何形状的。

理论分析与证明

论文中隐含的理论逻辑在于正则化。对比学习实际上是一种特殊的 OT（熵正则化 OT 的特例）。SOTAlign 放弃了严格的样本对样本匹配约束，转而使用更软的分布匹配约束。这种约束更宽松，允许模型在未配对数据上探索潜在的对应关系，而不会被错误的负样本对误导。

理论贡献

作者通过将线性初始化与 OT 结合，实际上是在解决 OT 计算中的初始化敏感问题。一个好的线性初始化能让 OT 算法更快收敛，并避免错误的模态对齐（例如将所有图片都对齐到同一个高频文本描述）。

7. 学习建议

适合的读者

  • 从事多模态学习、计算机视觉、自然语言处理的研究人员和研究生。
  • 对最优传输理论在深度学习中应用感兴趣的数学背景学生。

前置知识

  • 深度学习基础：CNN, Transformer, BERT, ResNet 等模型架构。
  • 多模态学习：理解 CLIP 模型的对比学习损失。
  • 数学基础：概率论，尤其是概率分布的概念；最优传输理论的基本概念（Wasserstein 距离, Monge 问题, Kantorovich 松弛）。

阅读顺序

  1. 先阅读 CLIP 论文，理解对比学习和图文对齐的基本范式。
  2. 阅读 Cuturi 等人关于 Sinkhorn 算法的论文，理解 OT 如何在深度学习中可微分化。
  3. 最后精读本论文，重点关注第一阶段如何防止模态坍塌，以及第二阶段损失函数的具体形式。

研究最佳实践

实践 1：利用最优传输构建跨模态语义对齐

说明: SOTAlign 的核心在于使用最优传输理论来计算视觉特征和语言特征之间的传输距离，而非简单的欧氏距离或余弦相似度。这种方法能够更有效地处理模态间的分布差异，特别是在特征空间不完全对齐的情况下，通过最小化传输成本来找到最佳的语义对应关系。

实施步骤:

  1. 分别提取图像和文本的特征表示。
  2. 构建特征空间之间的代价矩阵。
  3. 应用 Sinkhorn 算法计算最优传输平面。
  4. 利用传输距离作为损失函数的一部分来优化模型。

注意事项: 在计算最优传输时，正则化参数的选择至关重要，过小可能导致数值不稳定，过大则会使解退化为简单的熵正则化，需根据具体数据集进行调整。

实践 2：采用半监督学习策略充分利用未标注数据

说明: 该方法强调在仅有少量配对数据的情况下，如何利用大量的未配对单模态数据。通过半监督学习，模型可以在未配对的图像和文本上学习各自模态的分布，从而增强特征提取器的鲁棒性，缓解对大规模精细标注数据的依赖。

实施步骤:

  1. 准备少量配对的图像-文本数据作为监督信号。
  2. 收集大量的未配对图像和未配对文本数据。
  3. 设计一致性损失或伪标签机制，让未配对数据参与模型训练。
  4. 在训练循环中混合使用配对数据和未配对数据。

注意事项: 需要平衡监督损失和无监督损失之间的权重，避免未配对数据的噪声信号主导了训练过程，导致模型遗忘已学习的对齐知识。

实践 3：使用预训练的单模态编码器作为初始化

说明: SOTAlign 通常不从头开始训练，而是利用在大规模数据集上预训练好的视觉编码器（如 ViT 或 ResNet）和语言编码器（如 BERT 或 RoBERTa）。这些预训练模型已经包含了丰富的特征表示能力，通过最优传输进行微调，可以以较低的计算成本实现高效的跨模态对齐。

实施步骤:

  1. 选择适合任务的预训练视觉和语言骨干网络。
  2. 冻结部分底层网络参数以保留通用特征。
  3. 仅微调顶层特征或添加轻量级的适配层。
  4. 使用跨模态对齐任务进行端到端的微调。

注意事项: 预训练模型的选择应与下游任务的数据分布相匹配，若领域差异过大，可能需要更激进的全参数微调策略。

实践 4：引入动量更新机制维持特征分布稳定性

说明: 在半监督训练过程中，模型预测的伪标签或特征分布可能会在训练初期发生剧烈波动。通过引入动量编码器或指数移动平均（EMA）机制，可以平滑特征空间的演化，为最优传输的计算提供更稳定的锚点，提高训练的收敛速度和稳定性。

实施步骤:

  1. 创建学生模型和教师模型（或主模型和动量模型）的副本。
  2. 在每次迭代中，根据学生模型的参数通过 EMA 更新教师模型的参数。
  3. 使用教师模型生成稳定的特征用于计算传输距离或一致性损失。
  4. 学生模型通过反向传播更新参数。

注意事项: 动量系数通常设置在 0.999 左右，过小会导致教师模型更新过快失去稳定性，过大则会导致模型适应新数据的能力下降。

实践 5：设计批采样策略以平衡模态分布

说明: 为了计算最优传输，每个训练批次需要包含图像和文本样本。在半监督设置下，由于存在未配对数据，批采样策略变得尤为关键。合理的采样策略应确保每个批次中既有配对样本，也有一定比例的纯图像和纯文本样本，以覆盖完整的模态分布空间。

实施步骤:

  1. 将数据集分为配对集、纯图像集和纯文本集。
  2. 设定采样比例，例如 50% 配对数据，25% 纯图像，25% 纯文本。
  3. 确保每个批次内的样本数量满足 Sinkhorn 算法对矩阵运算的要求。
  4. 动态调整采样比例以适应训练的不同阶段。

注意事项: 批次大小会显著影响最优传输的计算复杂度（通常是立方级关系），需要在 GPU 内存允许的范围内尽可能使用较大的批次以获得更准确的传输估计。

实践 6：多阶段训练与参数微调

说明: 直接联合训练所有参数可能导致模型陷入局部最优。最佳实践通常采用多阶段训练策略：首先在监督数据上预热模型，建立基本的跨模态联系；然后引入半监督数据和最优传输损失进行全局对齐；最后针对特定任务进行微调。

实施步骤:

  1. 阶段一（预热）：仅使用配对数据，训练简单的投影层将预训练特征映射到公共空间。
  2. 阶段二（对齐）：冻结骨干网络，利用 SOTAlign

学习要点

  • SOTAlign 提出了一种基于最优传输理论的半监督对齐框架，能够高效地将预训练的单模态视觉和语言模型对齐为强大的多模态模型，而无需从头开始训练。
  • 该方法创新性地利用最优传输来计算单模态特征之间的软对应关系，从而解决了多模态预训练中常见的图像-文本对数据噪声和模态鸿沟问题。
  • 通过引入半监督学习策略，SOTAlign 不仅利用了成对的图像-文本数据，还有效挖掘了大量未配对的单模态数据以提升模型的对齐效果和泛化能力。
  • 实验证明该框架在零样本分类、图像-文本检索和跨模态迁移等下游任务上取得了优异性能，能够匹敌甚至超越全监督预训练的大型多模态模型。
  • 该方案提供了一种低成本的模型构建路径，即复用现有的单模态大模型（如CLIP中的视觉编码器和BERT）并进行轻量级对齐，显著降低了多模态模型训练的计算资源消耗。
  • 研究发现最优传输方案中的熵正则化项对于防止模型过拟合以及处理训练数据中的长尾分布和噪声标签具有关键作用。

学习路径

阶段 1：基础理论与技术铺垫

学习内容:

  • 深度学习基础: 熟悉神经网络、反向传播、Transformer 架构（自注意力机制）。
  • 多模态学习入门: 了解视觉-语言预训练（VLP）模型的基本范式，如 CLIP、BLIP 的架构与对比学习机制。
  • 对齐概念: 理解模态间对齐的含义，即如何将图像区域与文本单词在特征空间中进行匹配。

学习时间: 2-3周

学习资源:

  • 课程: 斯坦福大学 CS231N (计算机视觉) 及 CS224N (自然语言处理) 基础部分。
  • 论文: 《Learning Transferable Visual Models From Natural Language Supervision》(CLIP 原文)。
  • 博客: Lil’Log 系列关于 Transformer 和 Attention 的文章。

学习建议: 重点复习 Transformer 的结构，并手动实现一个简单的 Cross-Attention 模块，以加深对不同模态数据如何交互的理解。

阶段 2：核心算法深入理解

学习内容:

  • 最优传输理论: 深入学习 Wasserstein 距离、Sinkhorn 算法及其在深度学习中的可微性实现。
  • 半监督学习: 掌握基于伪标签的训练方法、一致性正则化以及如何利用未配对数据。
  • 模型对齐机制: 研究如何将 OT 理论应用于视觉和语言特征的细粒度对齐，而非简单的全局特征匹配。

学习时间: 3-4周

学习资源:

  • 教程: Marco Cuturi 的《Sinkhorn Distances》教程及 Python 库 POT (Python Optimal Transport) 的官方文档。
  • 论文: 《Image Captioning with Semantic Attention》及相关 OT 在多模态中应用的前作。
  • 书籍: 《Computational Optimal Transport》by Gabriel Peyré。

学习建议: 使用 Python 的 POT 库练习计算两个分布之间的 Wasserstein 距离，并尝试理解 Sinkhorn 算法的迭代过程。思考为何传统的 MSE 损失在处理跨模态语义鸿沟时存在不足。

阶段 3：SOTAlign 论文精读与复现

学习内容:

  • SOTAlign 核心逻辑: 分析论文中如何利用最优传输进行半监督对齐，包括损失函数的设计（如重构损失、正则项）。
  • 算法架构: 拆解 Unimodal Vision 和 Language 模型的结构，理解它们如何在 OT 层进行交互。
  • 实验设置: 研究数据集（如 Flickr30k, COCO）的划分、评估指标以及 Baseline 的选择。

学习时间: 2-3周

学习资源:

  • 核心文本: SOTAlign 原始论文及附录。
  • 代码: GitHub 上相关的 VLP 模型代码库（如 OpenCLIP, BLIP）作为参考基准。
  • 工具: PyTorch 官方文档（针对分布式训练和自定义算子）。

学习建议: 绘制论文中的算法流程图，特别是数据流和梯度反向传播的路径。尝试复现论文中的核心 Loss 函数，并在小规模数据上验证其收敛性。

阶段 4：进阶优化与前沿探索

学习内容:

  • 大规模预训练策略: 学习如何高效处理大规模未配对数据，以及显存优化技术（如梯度检查点、混合精度训练）。
  • 前沿对齐技术: 探索比 OT 更高效的替代方案（如对比学习变体、扩散模型在多模态中的应用）。
  • 鲁棒性与泛化: 研究如何提升模型在域外数据上的表现，对抗性攻击下的对齐稳定性。

学习时间: 3-4周

学习资源:

  • 会议论文: 查阅 CVPR, ACL, NeurIPS 近两年关于 Vision-Language Alignment 的最新论文。
  • 技术博客: Hugging Face 博客关于大规模训练工程化的文章。
  • 开源项目: 分析 GitHub 上高星的 VLP 项目代码结构。

学习建议: 尝试改进 SOTAlign 的某一部分（例如替换 OT 的求解器或改变特征提取器），并在标准数据集上进行消融实验，以验证改进效果。关注如何将理论优势转化为实际的工程性能提升。

常见问题

什么是 SOTAlign，它的核心目标是什么？

SOTAlign 是一种半监督对齐方法，旨在通过最优传输理论将单模态视觉模型（如 CLIP 的视觉编码器）与单模态语言模型（如 BERT 或 LLaMA）进行对齐。其核心目标是利用大规模无标注图像-文本对，通过计算和最小化两个模态特征分布之间的 Wasserstein 距离，来弥合单模态模型在特征空间中的语义鸿沟，从而实现高效的多模态预训练或知识融合，而无需依赖昂贵的成对标注数据。

SOTAlign 为什么选择“最优传输”而不是传统的对比学习？

传统的对比学习（如 CLIP）依赖于严格的成对数据，通过拉近正样本、推开负样本来对齐。然而，在半监督或无标注场景下，我们缺乏确切的图像-文本对应关系。SOTAlign 选择最优传输（Optimal Transport, OT）是因为 OT 能够在分布层面上进行度量，它不需要知道具体的样本对应关系，而是计算整个视觉特征分布和语言特征分布之间的最小传输代价。这使得模型能够利用海量的未配对互联网数据进行训练，突破了数据配对的限制。

SOTAlign 是如何处理半监督学习场景中的数据利用的？

SOTAlign 采用了一种混合训练策略。它同时利用少量的有标注图像-文本对和大量的无标注单模态数据。

  1. 对于有标注数据，使用标准的监督损失（如对比损失或交叉熵）来保持模态间的对应关系。
  2. 对于无标注数据，利用最优传输理论构建伪配对或分布对齐损失。通过计算无标注图像特征和无标注文本特征之间的最优传输平面，模型可以学习如何将视觉概念映射到语言语义空间，从而显著提升模型在数据稀缺情况下的泛化能力。

该方法在计算效率方面表现如何？最优传输是否会导致计算量过大？

最优传输确实涉及计算两个分布之间的距离矩阵，这在样本量极大时可能带来计算挑战。为了解决这一问题，SOTAlign 通常采用熵正则化的最优传输或使用小批量计算策略。此外，通过仅对特征进行低维投影或使用近似算法（如 Sinkhorn 算法），可以显著降低计算复杂度。相比于需要巨大算力的全量多模态预训练，SOTAlign 通过冻结预训练好的单模态骨干网络并仅训练对齐层，在效率和效果之间取得了较好的平衡。

SOTAlign 与其他多模态对齐方法（如 CLIP, ALIGN）的主要区别是什么？

主要区别在于数据依赖性和训练范式：

  1. 数据依赖：CLIP 和 ALIGN 严重依赖大规模的成对图像-文本数据进行弱监督学习。而 SOTAlign 专为半监督或弱监督场景设计，能够利用不成对的单模态数据，这在高质量成对数据难以获取的领域（如特定领域的医学影像或长尾语言）具有巨大优势。
  2. 模型复用：SOTAlign 更加侧重于“对齐”已有的强大单模态模型（如将强大的视觉 Transformer 与强大的语言模型连接），而不是从头开始联合训练两个模态。这使得它可以灵活地结合最先进的单模态专家模型。

SOTAlign 的潜在应用场景有哪些？

由于 SOTAlign 能够在缺乏成对标注的情况下连接视觉和语言，其应用场景非常广泛：

  1. 跨模态检索：在特定领域（如医疗、工业、时尚）中，利用现有的海量单模态文本和图像库构建检索系统。
  2. 多模态大模型初始化：为视觉语言大模型提供更好的初始化参数，加速收敛。
  3. 零样本分类：利用对齐后的语言语义特征对视觉数据进行分类，无需下游微调。
  4. 辅助生成任务：为图文生成或图像描述任务提供更紧密的特征对齐基础。

引用

注：文中事实性信息以以上引用为准；观点与推断为 AI Stack 的分析。

站内链接

相关文章