搭建一款简单的『以文搜图』应用

Sun, 29 Dec 2024 00:00:00 +0000

在手机相册搜索框中输入“笔记本电脑”时，即使照片本身并未包含“笔记本电脑”这几个字，相关图片依然能够被精准地检索出来。这说明现代相册 APP 不仅使用图片 OCR 文本来召回搜索结果。它综合使用了多种技术，包括多模态技术。

本文使用多模态模型 CLIP 搭建一个简单的『以文搜图』应用，实现与相册 APP 类似的搜索效果。

GitHub 项目地址：clip-app

本文涉及的内容包括：

用 FastAPI 搭建图文向量生成服务
用 FastAPI 搭建 Faiss 向量搜索服务
集成以上两个服务，实现『以文搜图』应用
使用 @torch.inference_mode() 装饰器，优化推理性能

✨ 如果你对多模态模型的效果有更高的要求，可以尝试 BLIP-2。

一、加载 CLIP 模型

加载 CLIP 模型，生成图文 Embedding。

获取文本 Embedding
获取图像 Embedding
多条文本对一张图片
一条文本对多张图片
多条文本对多张图片

二、Faiss 向量搜索

用 FastAPI + Faiss 写一个向量检索服务 faiss/server.py，该服务提供两个接口：

路由名	描述
`add`	用于向索引中添加新的 Embedding
`search`	用于从索引中取回给定 Embedding 的最近邻 Embedding

三、CLIP 向量生成

用 FastAPI 写一个简单的 CLIP Embedding 生成服务 embedding/server.py。接口输入是图片、文本，输出是图文 Embedding。该服务提供 3 个 API 接口：

FastAPI 初见

Sat, 21 Nov 2020 00:00:00 +0000

什么是 API？如何从零开始，搭建自己的第一个API？本文带你搭建一个 API 小应用以了解 FastAPI 的使用细节

GitHub 项目地址：calendar-api

什么是 API？

简单来说，API 是软件间相互传输数据的接口。它在生活中十分常见，比如博物馆订票系统中就使用了 API. 当你在手机应用上订票时，手机实际上发送了一个 HTTP 请求给远程服务器。远程服务器解析该请求。当确认所有字段信息均准确无误后，它才会把你的订票信息录入数据库，并回调成功标识。只有当上述操作全都被正确执行时，你的手机才会显示订票成功。

API 程序通常运行在服务端 (server) 上。客户端 (client) 通过向 API 提供的网络接口发送请求，以实现对服务端的通信。服务端收到请求后，对请求进行解析。如果请求是合法的，则执行该请求，并将请求结果回调给客户端。一次典型的 API 请求大体上是这么个过程。

在业务中，有时需要记录每次请求产生的中间状态、运行结果和日志数据。这时就需要 服务端 调用 数据库 (database) 以存储业务中产生的各种信息。

1. REST API

API 本身是高度个性化的，软件间可以用任意数据类型进行通信。但如果 API 缺少规范、各行其是，就会导致软件间沟通成本高企。REST API 就是其中一种规范。REST API 提出了六项指导原则，只要 API 符合这六项指导原则，就可称之为“符合 REST 风格的 API”。