https://www.luochang.ink/tags/transformers/ Recent content in Transformers on Chang Luo Hugo zh-CN Fri, 21 Mar 2025 00:00:00 +0000 https://www.luochang.ink/posts/llm_deploy/ Fri, 21 Mar 2025 00:00:00 +0000 https://www.luochang.ink/posts/llm_deploy/ <blockquote> <p>2023 年本地部署大模型的报价近千万，2024 年初便骤降至百万，如今是 2025 年，只需要一行 vLLM 命令就可以部署大模型，人工成本几近于零。</p> </blockquote> <p>GitHub 项目地址：<a href="https://github.com/luochang212/llm-deploy" target="_blank">llm-deploy</a></p> <p>本文内容包括：</p> <ul> <li>3 种方式部署 DeepSeek R1：Ollama, vLLM 和 Transformers</li> <li>使用 vLLM 部署 Qwen2.5 模型</li> <li>安装 Open WebUI 作为本地模型的前端聊天框</li> <li>通过 <code>vllm serve</code> 实现一行代码启动 vLLM 推理服务</li> </ul> <p>✨ 快速部署说明在 <a href="https://github.com/luochang212/llm-deploy/tree/main/deploy" target="_blank">/deploy</a>，vLLM 服务启动脚本在 <a href="https://github.com/luochang212/llm-deploy/tree/main/server" target="_blank">/server</a>.</p> <h2 id="一本地部署-deepseek-r1">一、本地部署 DeepSeek R1</h2> <p>大模型本地部署依赖推理引擎，目前比较流行的推理引擎有：</p> <table> <thead> <tr> <th>推理引擎</th> <th>场景</th> <th>介绍</th> </tr> </thead> <tbody> <tr> <td><a href="https://github.com/ollama/ollama">Ollama</a></td> <td>适合个人开发者和轻量级应用</td> <td>基于 <a href="https://github.com/ggml-org/llama.cpp">llama.cpp</a> 开发，支持 CPU 推理，安装简单，开箱即用，适合快速原型开发和测试</td> </tr> <tr> <td><a href="https://github.com/vllm-project/vllm">vLLM</a></td> <td>适合高并发生产环境</td> <td>支持多 GPU 并行、批处理、PagedAttention，吞吐量高，延迟低，适合大规模服务部署</td> </tr> <tr> <td><a href="https://github.com/huggingface/transformers">Transformers</a></td> <td>适合模型研究和实验</td> <td>提供完整的模型训练和推理接口，支持模型微调、量化、加速，适合研究人员和需要深度定制的场景</td> </tr> <tr> <td><a href="https://github.com/sgl-project/sglang">SGLang</a></td> <td>适合需要复杂推理流程的场景</td> <td>支持结构化输出、并行推理、流式输出，特别适合需要多轮对话和复杂推理的应用</td> </tr> <tr> <td><a href="https://github.com/InternLM/lmdeploy">LMDeploy</a></td> <td>适合企业级部署和边缘计算</td> <td>由上海人工智能实验室开发，提供完整的模型量化、加速和部署工具链，支持多种硬件平台，特别适合资源受限场景</td> </tr> </tbody> </table> <p>下面介绍如何部署 Ollama, vLLM, Transformers 这三款推理引擎，简要部署步骤见本项目的 <a href="https://github.com/luochang212/llm-deploy/tree/main/deploy">deploy</a> 目录。</p> <p>目录：</p> <ol> <li>Ollama</li> <li>vLLM <ul> <li>安装 miniconda</li> <li>安装 jupyterlab</li> <li>为 vllm 创建虚拟环境，并绑定到 jupyterlab</li> <li>安装 vLLM 及相关依赖</li> <li>下载模型文件</li> <li>启动 jupyterlab</li> <li>验证 vLLM</li> </ul> </li> <li>Transformers</li> </ol> <br> <center> <button class="demo-btn" onclick="window_on('https://nbviewer.org/github/luochang212/llm-deploy/blob/main/1.deepseek_deploy.ipynb')">查看笔记</button> </center> <br> <h2 id="二本地部署-qwen25">二、本地部署 Qwen2.5</h2> <p>模型名带 <code>Instruct</code> 说明该模型是经过指令调优（Instruction Tuning）的版本，专为理解和执行用户指令优化，适合对话生成、任务导向型场景。</p>