搭建一款简单的『以文搜图』应用

Sun, 29 Dec 2024 00:00:00 +0000

在手机相册搜索框中输入“笔记本电脑”时，即使照片本身并未包含“笔记本电脑”这几个字，相关图片依然能够被精准地检索出来。这说明现代相册 APP 不仅使用图片 OCR 文本来召回搜索结果。它综合使用了多种技术，包括多模态技术。

本文使用多模态模型 CLIP 搭建一个简单的『以文搜图』应用，实现与相册 APP 类似的搜索效果。

GitHub 项目地址：clip-app

本文涉及的内容包括：

✨ 如果你对多模态模型的效果有更高的要求，可以尝试 BLIP-2。

一、加载 CLIP 模型

加载 CLIP 模型，生成图文 Embedding。

用 FastAPI + Faiss 写一个向量检索服务 faiss/server.py，该服务提供两个接口：

路由名	描述
`add`	用于向索引中添加新的 Embedding
`search`	用于从索引中取回给定 Embedding 的最近邻 Embedding

用 FastAPI 写一个简单的 CLIP Embedding 生成服务 embedding/server.py。接口输入是图片、文本，输出是图文 Embedding。该服务提供 3 个 API 接口：