CLIP：AI学会了「看图说话」
CLIP让AI理解图片和文字的关系。给它一张图和几句描述，它能判断哪句话最匹配这张图。这就是「看图说话」的能力。
想象你在教小朋友认识动物。你拿一张照片，问："这是猫、狗还是鸟？"小朋友看一眼照片，说"猫"。很简单对吧？
但对AI来说，这个任务曾经很难。传统的图像分类模型只能从固定的类别中选择：训练时有猫、狗、鸟，它就只会这三种。你问它"这是兔子吗？"它就傻了。
CLIP改变了这一切。它不是从固定类别中选择，而是理解图片和文本的关系。你给它一张图和任意文本，它能判断它们是否匹配。这就是零样本学习——不需要针对特定任务训练，就能完成新任务。
CLIP（Contrastive Language-Image Pre-training）是OpenAI在2021年发布的多模态模型。它有两个编码器：一个处理图像，一个处理文本。
CLIP的目标很简单：让匹配的图文对在向量空间中靠近，不匹配的远离。训练完成后，图像编码器和文本编码器学到了统一的表示空间。
这意味着你可以：
- 用任意文本搜索图片
- 对图片进行任意分类（不需要重新训练）
- 判断图片和文本是否语义一致
CLIP的训练数据是4亿对图文数据，来自互联网。每对数据是一张图片和它的描述文字。
训练步骤：
一个batch中有N对图文数据，比如(图1, 文1), (图2, 文2), ..., (图N, 文N)
图像编码器把所有图片转成向量 I₁, I₂, ..., Iₙ；文本编码器把所有文本转成向量 T₁, T₂, ..., Tₙ
计算所有图文对的相似度，得到一个N×N的矩阵。对角线是匹配的图文对，其他位置是不匹配的。
让对角线的相似度尽量高（匹配的图文靠近），其他位置的相似度尽量低（不匹配的图文远离）。
传统分类需要固定类别训练。CLIP不需要！你只需要提供类别的名称（如"猫"、"狗"、"兔子"），CLIP计算图片和每个类别名称的相似度，选最高的那个。
示例：图片 vs ["一只猫", "一只狗", "一辆车"] → 相似度 [0.9, 0.3, 0.1] → 分类结果：猫
用户输入文本"海边的日落"，系统计算文本的Embedding，然后在图片库中找相似的图像Embedding。这就是DALL-E、Stable Diffusion的检索基础。
Stable Diffusion用CLIP的文本编码器来指导图像生成。你输入"一只穿着宇航服的猫"，CLIP把这句话编码成向量，生成模型根据这个向量生成图像。
检测图片是否包含不适当内容。方法是：计算图片和"暴力"、"色情"、"正常"等文本的相似度，判断内容类型。
📊 对细粒度任务不够好
CLIP在区分相似类别（如不同品种的狗）时表现一般，因为训练数据的描述通常比较粗糙。
🖼️ 对文字敏感
如果图片中有文字，CLIP可能会被文字误导。比如一张写着"猫"的狗的照片，CLIP可能会误判。
🌍 数据偏见
CLIP的训练数据来自互联网，不可避免地包含了社会的偏见。比如搜索"CEO"，可能会偏向男性图像。
📋 本篇要点
- ✓ CLIP让图像和文本在同一个向量空间对齐
- ✓ 双塔架构：图像编码器 + 文本编码器
- ✓ 训练方法：对比学习，让匹配的图文靠近
- ✓ 零样本分类：不需要针对特定任务训练
- ✓ 应用：图像分类、搜索、生成引导、内容审核
- ✓ 局限：细粒度任务、文字敏感、数据偏见