https://www.luochang.ink/tags/redis/ Recent content in Redis on Chang Luo Hugo zh-CN Sun, 18 Aug 2024 00:00:00 +0000 https://www.luochang.ink/posts/redis_util/ Sun, 18 Aug 2024 00:00:00 +0000 https://www.luochang.ink/posts/redis_util/ <blockquote> <p>建索引 Redis 够用了。一旦需要搜索向量，就可以考虑使用向量引擎。</p> </blockquote> <!-- > - **RediSearch** 是 Redis 的一个模块，支持向量相似度搜索，它的优点与 Redis 生态无缝衔接，可复制 Redis 的生态优势 > - **Milvus** 是一个开箱即用的开源向量数据库，有预置的语言模型，可以方便地生成嵌入，且支持多种索引类型 --> <p>GitHub 项目地址：<a href="https://github.com/luochang212/redis-util" target="_blank">redis-util</a></p> <p>本文干了啥：</p> <ul> <li>使用容器启动 Redis，并将数据卷挂载到本地</li> <li>通过 Redis 的 Python API 做基础的 CRUD 操作</li> <li>在不借助任何插件的情况下，使用原生 Redis 存取向量</li> <li>使用 RediSearch 存取向量，并获取 TOP N 最近邻向量</li> <li>尝试使用向量引擎 Milvus 的一些基础功能</li> <li>基于 Redis “自制”向量引擎，支持设置索引过期时间，支持生成文本嵌入</li> </ul> <p>✨ 注意：运行以下代码依赖 <a href="https://github.com/luochang212/redis-util/blob/main/util.py" target="_blank">util.py</a> 文件。</p> <h2 id="一安装-redis">一、安装 Redis</h2> <ol> <li>下载镜像文件</li> <li>启动容器</li> <li>交互式 shell</li> <li>测试连接</li> <li>处理 CRUD 逻辑</li> </ol> <br> <center> <button class="demo-btn" onclick="window_on('https://nbviewer.org/github/luochang212/redis-util/blob/main/1.安装Redis.ipynb')">查看笔记</button> </center> <br> <h2 id="二用-redis-存取-embedding">二、用 Redis 存取 Embedding</h2> <ol> <li>Word2vec 生成 Embedding</li> <li>数据类型转换</li> <li>存取 Embedding</li> </ol> <br> <center> <button class="demo-btn" onclick="window_on('https://nbviewer.org/github/luochang212/redis-util/blob/main/2.用Redis存取Embedding.ipynb')">查看笔记</button> </center> <br> <h2 id="三redisearch-模块">三、RediSearch 模块</h2> <ol> <li>安装 Docker 镜像</li> <li>存取向量</li> <li>查找最近邻向量</li> </ol> <br> <center> <button class="demo-btn" onclick="window_on('https://nbviewer.org/github/luochang212/redis-util/blob/main/3.RediSearch模块.ipynb')">查看笔记</button> </center> <br> <h2 id="四开源向量引擎-milvus">四、开源向量引擎 Milvus</h2> <p><a href="https://milvus.io/docs/quickstart.md" target="_blank">Milvue</a> 是一款为机器学习设计的开源向量数据库，支持存储、查询、索引向量。Milvus 的核心功能是向量相似度搜索，它使用近似最近邻搜索算法来加速搜索过程，找到与查询向量最相似的向量。Milvus 支持多种索引类型，包括 FLAT、IVF_FLAT、IVF_SQ8、IVF_PQ、HNSW 和 ANNOY，以适应不同的查询需求和数据规模。</p>