【免费下载链接】tipsv1-s14项目地址https://ai.gitcode.com/hf_mirrors/google/tipsv1-s14点击查看免费下载想快速入门tipsv1-s14吗这是一篇面向新手的 10 分钟快速教程带你完成 TIPS S/14 模型的环境安装、模型加载并成功编码你的第一张图像最后实现零样本图像分类。TIPSText-Image Pre-training with Spatial awarenessICLR 2025是一个对比式视觉-语言模型能把图像和文本对齐到同一个嵌入空间——而 S/14 正是其中最小的版本图像编码器仅 22M 参数、文本编码器 34M 参数普通 CPU 就能流畅运行是学习多模态特征提取的最佳起点。一、TIPS S/14 是什么30秒看懂模型定位TIPS 模型家族按规模分为 S/14、B/14、L/14、g/14 等多个档位S/14 是轻量入门款。它的核心能力有两个全局语义对齐把整张图像编码为一个 384 维向量与文本向量做相似度比较实现零样本分类、图文检索空间感知特征同时输出 1024 个局部 patch 特征每块 14×14 像素一个可以知道图像每个区域对应什么语义这是 TIPS 区别于普通 CLIP 类模型的杀手锏。S/14 的关键参数一览项目数值图像编码器参数22M文本编码器参数34M嵌入维度384输入分辨率448×448图像编码器结构ViT-S/1412 层patch 14双 CLS token文本编码器结构12 层 Transformer许可证Apache 2.0二、环境安装一条命令装好所有依赖本仓库是 Hugging Face Transformers 生态下的模型包依赖一套标准的 PyTorch 技术栈。在你的项目目录中执行pip install transformers torch torchvision sentencepiece scikit-learn requests安装说明transformers负责通过AutoModel加载模型torch/torchvision张量运算与图像预处理sentencepiece文本分词器 tokenizer.model 的解析后端scikit-learn后续可视化空间特征时会用到 PCArequests示例中用来下载一张测试图片。 提示如果你已装好 PyTorch通常只需补装sentencepiece和scikit-learn即可。三、模型加载一行代码启动 TIPS S/14加载模型非常简单只需一行from transformers import AutoModel model AutoModel.from_pretrained(google/tipsv1-s14, trust_remote_codeTrue) model.eval()几个要点trust_remote_codeTrue是必须的——模型结构定义在仓库自带的远程代码中入口是 modeling_tips.py配置解析在 configuration_tips.py其中 TIPSv2Config 会自动把视觉/文本双塔参数装配起来如果你已把模型下载到本地也可以直接传目录路径比如AutoModel.from_pretrained(./tipsv1-s14, trust_remote_codeTrue)加载成功后模型就暴露了encode_image和encode_text两个核心接口定义见 modeling_tips.py。四、编码第一张图像预处理与图像编码预处理是新手最容易踩坑的环节记住两条规则图像尺寸缩放到448×448原生分辨率像素值归一化到[0, 1] 区间即只做ToTensor()不要套用 ImageNet 的均值方差归一化这一点也可在 processor_config.json 中验证do_normalize: false。完整示例——下载一张示例图并编码import requests from PIL import Image from torchvision import transforms url https://huggingface.co/spaces/google/TIPSv2/resolve/main/examples/zeroseg/pascal_context_00049_image.png image Image.open(requests.get(url, streamTrue).raw).convert(RGB) transform transforms.Compose([transforms.Resize((448, 448)), transforms.ToTensor()]) pixel_values transform(image).unsqueeze(0) out model.encode_image(pixel_values) print(out.cls_token.shape) # (1, 1, 384) — 全局图像嵌入 print(out.patch_tokens.shape) # (1, 1024, 384) — 局部空间特征跑通之后你会得到两类输出cls_token1×1×384整张图的一句话语义用于和文本比对patch_tokens1×1024×38432×32 网格上每个位置的语义特征用于空间定位。一个容易混淆的细节模型有两个 CLS token。第一个out.cls_token是在网页 alt-text 上训练、与文本塔对齐的做文本比对请用它第二个out.register_tokens是在合成描述上训练的更适合下游微调。五、零样本图像分类不训练直接识别有了图像嵌入和文本嵌入看图说话只需要一次点积。下面用 4 个候选词对图片做零样本分类import torch.nn.functional as F classes [bus, car, dog, cat] cls F.normalize(out.cls_token[:, 0, :], dim-1) text_emb F.normalize(model.encode_text(classes), dim-1) similarity cls text_emb.T print(classes[similarity.argmax()]) # 预测类别工作原理encode_text把每个候选词也编码成 384 维向量文本侧细节在 text_encoder.py分词基于 tokenizer.model转小写、最长 64 个 token然后取相似度最高的词作为答案。想分类更多类别把classes列表加长即可——完全不需要训练。 小贴士文本输入建议写成自然短语如a photo of a bus效果通常更好。六、进阶玩法把空间感知特征可视化出来TIPS 最大的特色是空间特征。把 1024 个 patch 特征用 PCA 降到 3 维再拼成 32×32×3 的伪 RGB 图就能看到语义区域在画面上的分布import numpy as np from sklearn.decomposition import PCA feat out.patch_tokens[0].detach().cpu().numpy() rgb PCA(n_components3, whitenTrue).fit_transform(feat).reshape(32, 32, 3) rgb 1 / (1 np.exp(-2.0 * rgb)) # sigmoid 映射到 [0,1]对比度更好保存rgb到文件查看语义相同的区域会被染成相近颜色——这就是空间感知预训练的含义。基于这个能力TIPS 常被用于零样本语义分割、开放词汇检测等任务。七、仓库结构与常见问题FAQ本仓库是开箱即用的模型包文件职责如下文件作用model.safetensors模型权重config.json模型架构与超参数配置configuration_tips.py配置类代码AutoConfig 入口modeling_tips.py模型主体代码AutoModel 入口image_encoder.pyViT-S/14 图像编码器实现text_encoder.py文本编码器与 SentencePiece 分词实现tokenizer.modelSentencePiece 分词模型tokenizer_config.json分词器配置小写、最长 64 tokenprocessor_config.json图像处理器配置448×448、不归一化新手高频问题Q图像尺寸不是 448 行不行可以。只要边长是 patch 尺寸 14 的整数倍如 336、392模型会通过位置编码插值自动适配但 448 是原生分辨率效果最稳。Q为什么识别效果不太准检查是否误用了 ImageNet 归一化另外 S/14 是最小版本追求精度可换用同家族的 B/14 或 L/14。Q文本输入有长度限制吗有最长 64 个 token超长部分会被截断。八、总结你的 TIPS 学习路线图到这里你已经完成了 TIPS S/14 的完整上手流程装依赖 → 加载模型 → 编码图像 → 零样本分类 → 空间特征可视化。接下来可以这样进阶把分类词表换成自己的业务类别体验零样本检索用patch_tokens尝试零样本语义分割换更大的 B/14、L/14 档位对比精度与速度的取舍。TIPS 模型家族全部采用 Apache 2.0 许可可自由用于商业项目。祝玩得开心赞分享【免费下载链接】tipsv1-s14项目地址https://ai.gitcode.com/hf_mirrors/google/tipsv1-s14点击查看免费下载相关推荐如何快速上手LLaDA-Image从零环境配置到跑通第一张AI绘图新手10分钟教程如何快速上手LLaDA Image从零环境配置到跑通第一张AI绘图新手10分钟教程 LLaDA Image FP8 是 inclusionAI 开源的 6B人工智能大模型基础模型媒体生成模型量化如何快速跑通InternVL3_5-38B-MPO新手10分钟上手第一张图像对话如何快速跑通InternVL3_5 38B MPO新手10分钟上手第一张图像对话 InternVL3_5 38B MPO 是 InternVL3.5 系列开源如何快速上手 Boogu-Image从环境安装到第一张AI生成图的完整教程如何快速上手 Boogu Image从环境安装到第一张AI生成图的完整教程 Boogu Image 是一个采用 Apache 2.0 协议开源的 AI 图像生人工智能基础模型媒体生成计算机视觉上一篇iOS微信插件终极指南解锁防撤回、远程控制等10大隐藏功能下一篇GetQzonehistory终极指南三步轻松备份你的QQ空间青春记忆创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考