DeepLearning on Chang Luo

深度嵌入聚类算法 DEC

Sun, 09 Mar 2025 00:00:00 +0000

如何对图片做聚类，我的直觉是：先用预训练模型计算图片 Embedding，然后用 cosine 度量的 DBSCAN 无监督地计算图片 label，再用 MLP 有监督地学习上一步产生的 label。DBSCAN 的好处是可以把无监督转为有监督，且由于它基于密度的特性，还不需要指定聚类的类别数，这方便了生产环境使用，因为生产环境通常也是不知道类别数的。MLP 的好处是可以对输入泛化，即使没见过的输入，在不重训练的情况下，也可以有一个对应输出。图片特征提取器 + 传统聚类 + 神经网络，是简单且符合直觉的方法，但恐怕不是最好的方法。

我们探索使用更端到端的方法实现图片聚类：DINOv2 特征提取器 + DEC 聚类器

使用 DEC 的好处起码有两点。一是让训练过程更简单，端到端的架构肯定比两阶段模型的架构更简单。二是 DEC 用特征向量表示聚类中心，这和传统聚类用标签表示不同。特征向量表示的类心更便于微调和增量更新。K-Means 每次更新 label 都是乱的，需要用匈牙利算法，对前后两次结果进行桥接。神经网络在这一点上天生有优势，因为它是顺着梯度一点一点更新的，所以前后两次结果是天然有联系，并且可以限制更新的幅度。

GitHub 项目地址：dec-pytorch

本文的工作包括：

用 DINOv2 模型生成图片 Embeddings
用 FastAPI 开发 DINOv2 批量推理服务，支持分 batch 和模型结果归一化
训练 DEC 模型的三阶段：训练降噪自编码器、初始化聚类中心、训练 DEC
开发集成的 DEC 训练框架，支持训练、推理、保存，详见 dec.py
在我的数据集上，对比 DEC 与传统聚类算法的效果：与 K-Means 接近
介绍 DEC 的创新点：软分配策略和目标分布优化
在线学习探索：尝试两种思路，对 DEC 模型做小幅度的增量更新

✨ DEC 论文在这里 Unsupervised Deep Embedding for Clustering Analysis.

Triton 部署 CLIP 图文 Embedding 推理服务

Sat, 30 Nov 2024 00:00:00 +0000

本文介绍如何用 Triton 在多 GPU 环境下部署高性能 CLIP 推理服务。

GitHub 项目地址：clip-server

CLIP 是一个多模态模型。它能将图像和文本映射到同一个向量空间中，由此可以产生诸多应用。比如，通过计算图片与文本的相似性，可以用近似最近邻 (ANN) 从相册中检索与给定 query 语义相近的图片。此外，CLIP 的 Vision Encoder 可以作为特征提取器使用，用于生成的图像 Embedding。如果在 Vision Encoder 后加一个 fc 层，并且冻住骨干网络仅对 fc 层做训练，通常可以得到一个效果不错的图像分类器。

本文涉及的内容包括：

用 transformers 库运行 openai/clip-vit-base-patch32 的简单示例
在 titanic 数据集上训练一个 MLP 并导出成 ONNX 格式
介绍如何安装预装了 Triton 的 Nvidia 官方 Docker 镜像 & 启动容器
介绍如何将 MLP 的 ONNX 模型配置到 Triton 模型仓库中
写了一个简单的客户端用于获取 Triton 的推理结果
介绍 Triton 的 Python Backend，其通常用于模型预处理和后处理
用 Model Ensemble 组装 Python Backend 和 ONNX 组成完整的推理服务

✨ 注意：运行以下代码依赖 utils.py 文件和 mlp.py 文件。

三种图神经网络算法：GraphSAGE, GCN 和 GAT

Sat, 10 Aug 2024 00:00:00 +0000

GNN 处理图数据的方式还是很符合直觉的，基本沿袭了 CNN 的思路：每个神经元只看局部信息，通过层层汇聚掌握全貌。

GitHub 项目地址：graph-embedding

本文做了什么：

对 GraphSAGE 的简单实现做逐行注释
在 Docker 环境运行 GraphSAGE 的原版示例
用 PyG 实现了 GCN 和 GAT
为运行 PyG 写了一些 pipeline 代码

✨ 注意：运行以下代码依赖 util.py 文件。

一、GraphSAGE 的简单实现

主流图算法大致分两种：

图嵌入算法 (GE): DeepWalk, Node2Vec 等
图神经网络算法 (GNN): GraphSAGE, GCN, GAT 等

1.1 绪论：图神经网络

图神经网络算法做的事，相当于把图这种复杂的数据结构，转换成低维向量，而低维向量往往是很好用的。

拿到图嵌入可以做很多事情，比如：

节点分类
链接预测
社区发现
相似度量

总之，图嵌入是一种非常有用的特征。在实践中，甚至可以将图嵌入和其他特征 concat 起来，训练更复杂的模型。

1.1.1 GNN 和 CNN

GNN 和 CNN 的思路还挺像的，可以看作 CNN 在图数据上的推广。

CNN 有平移不变性和局部性。其中 局部性 指：每个神经元每次只看一小块像素，随着神经元层数的堆叠，层级越高的神经元，“看到”的像素量越多（如下图）。

像搭积木一样搭神经网络

Sun, 07 Jul 2024 00:00:00 +0000

搭积木的时候，需要将不同类型的积木搭在一起：门框、窗子、走廊、屋顶。对每一种类型的积木，又有多种变体可供选择。比如，屋顶可以用文艺复兴风格，也可以用中式庭园风格。神经网络也是，学神经网络，本质上就是认识各种各样“积木”的过程。

GitHub 项目地址：dl-tricks/note.ipynb

一、必要组件

1.1 从 MLP 说起

我们从最简单的深度神经网络 多层感知机 (MLP) 开始说起。麻雀虽小，五脏俱全。了解数据如何在 MLP 中流动，就能大致勾勒一个神经网络的 必要组件。

下图是一个 4 层感知机，左边是特征，右边是标签。训练开始时，样本数据先从左到右做 正向传播。待数据流到右侧，用 损失函数 计算损失。此时损失是一个标量，而最后一层的节点权重 $ W $ 是一个矩阵，标量对矩阵的偏导是矩阵。优化器 会用大小合适的梯度矩阵，沿负梯度方向逐层反向更新权重 $ W $。这样下一批量 (batch) 数据进入网络时，正好能用上一轮更新后的参数做正向传播。

1.2 DataLoader

样本是有限的，为了让模型获得最强性能，必须榨干每个样本的价值。

因此在训练中，一个样本往往要复用多次。DataLoader 就在做这样一件事。它把数据编排成一个个批量，并构建一个迭代器。每次调用它，会返回一个从第一个批量开始遍历的迭代器。这个特性使得复用样本变得更加方便。

原生的 PyTorch DataLoader 很复杂，让我们来实现一个野生 DataLoader：

import math
import torch

class DataLoader:
    def __init__(self, data: list, batch_size: int):
        self.i = 0
        self.batch_size = batch_size
        self.batch_num = math.ceil(len(data) / batch_size)
        self._data = self.gen_batch(data)

    def gen_batch(self, data):
        lst = []
        s = self.batch_size
        for i in range(self.batch_num):
            start, end = s * i, s * (i + 1)
            X = torch.tensor([e[0] for e in data[start:end]])
            y = torch.tensor([e[1] for e in data[start:end]])
            lst.append((X, y))

        return lst

    def __iter__(self):
        self.i = 0
        return self

    def __next__(self):
        if self.i < len(self._data):
            self.i += 1
            return self._data[self.i - 1]
        else:
            raise StopIteration

假设有 2560 个样本。计划分成 10 个批量，则每批量有 256 个样本。我们可以用上面的野生 DataLoader 加载这些样本。

文本情感分析

Sat, 06 Jul 2024 00:00:00 +0000

用 Bert + Transformer Encoder + MLP 做文本情感分析。

GitHub 项目地址：sentiment-analysis
IMDB 数据集：imdb-dataset

本文要点：

建立词向量 ⇋ CSV 文件双向 Pipeline
用两种方法对 IMDB 电影评论做情感分析：
- Bert 预训练词向量 + MLP
- Bert + Transformer Encoder + 全连接层

✨ PS: 前两章是 Pipeline 代码，建议从第三章看起。

一、读写词向量

本节的主要目标是完成 词向量 -> CSV 文件 和 CSV 文件 -> 词向量 的 Pipeline。

对语料做预处理
获取词向量和句子向量
将词向量存入 csv
从 csv 中读取词向量
将读写词向量功能整合成函数

二、获取 IMDB 数据集的 Embedding

将 IMDB 数据集中的电影评论转换成句子向量，然后存在 CSV 文件中。

文本预处理
计算句子向量

三、用 MLP 做文本情感分析

用 Bert + MLP 做 IMDB 电影评论文本情感分析。

中文词向量生成

Sat, 29 Jun 2024 00:00:00 +0000

本文做了一件有意思的事，用 Bert 生成《红楼梦》人名的词嵌入，再用 t-SNE 将高维的词向量降为二维后做可视化。结果发现，主角团三人的名字在向量空间中是紧紧挨在一起的。

GitHub 项目地址：luochang212/chinese-embedding

本文探索的内容包括：

如何生成词向量
如何生成句子向量
如何找到语义相近的词
如何对 embedding 做降维及可视化

一、用 Word2Vec 生成词向量

用 Word2Vec 生成中英文词向量。

英文词向量
中文词向量

二、用 Bert 生成句子向量

用 Bert 生成中英文句子向量。

英文句子向量
中文句子向量

三、寻找最近邻 embedding

我的构想是：拿到红楼梦里所有词汇的 embedding，然后看我们感兴趣的词（比如林黛玉）离哪个词最近。

分词
批量计算 embedding
计算每个词的 embedding
计算我们关心词汇的近邻 embedding
整合成一个类

四、Embedding 可视化

用 t-SNE 和 PCA 对 embedding 降维，做 2D & 3D 可视化

红楼梦中的人物关系
中英美城市群
- t-SNE
- PCA

五、头脑风暴

Embedding 的稳定性
Embedding 差值的意义
输出 embedding 的数量

附录：和 Qwen-2.5 的聊天记录

Q: nn.Embedding 是一种预训练的embedding模型吗

Attention Is All You Need 论文精读

Sun, 16 Jun 2024 00:00:00 +0000

Transformer 的编码器变成了 BERT，解码器变成了 GPT。BERT 推动过去几年搜广推算法增长，而 GPT 促成了今天 GenAI 浪潮的爆发。这篇发表于 2017 年的论文，对今天产生了难以估量的影响。

原文：Attention Is All You Need

论文翻译

摘要

主流 seq2seq 模型是基于编解码器架构实现的复杂 RNN 或 CNN 网络，其中表现最好的模型还会使用注意力机制来连接编码器和解码器。我们提出一种全新的简单网络架构：Transformer。它完全基于注意力机制，不使用 RNN 和 CNN。在两个机器翻译任务上的实验表明，它拥有更好的并行度，并且训练时间大大减少。在 WMT 2014 英德翻译任务上，我们的模型取得了 28.4 的 BLEU 分数，比现有最好模型提升 2 BLEU。在 WMT 2014 英法翻译任务上，我们的模型在 8 台 GPU 上训练 3.5 天后，在单一模型评分指标下获得 41.8 的最高分。相比之前文献的最佳模型，Transformer 极大降低了训练成本。我们还通过英语成分句法分析任务展示了 Transformer 的泛化能力，无论数据集大小，Transformer 都能很好地泛化到其他任务上。

1. 介绍

循环神经网络、长短记忆网络和门控循环网络被证明是序列模型和处理语言建模和机器翻译这类转换问题的最先进方法。在此之后，人们又花费大量努力挖掘循环神经网络语言模型和编解码器架构的潜力。

循环神经网络对输入输出词元按位置进行计算，将词元的位置与时间步进行对齐，生成一系列隐状态 $ h_t $。该隐状态是前一个隐状态 $ h_{t-1} $ 和时间步 $ t $ 时刻输入 $ X_t $ 的函数。在训练样本时，这种内在的序列关系天然阻碍并行。对长序列文本，因为内存限制了批量样本的处理，导致这种阻碍更加明显。最近的研究利用因子分解和条件计算两种方法显著提升了计算效率，尤其后者还提高了模型的性能。但是序列计算这个最根本的限制依然存在。

注意力机制笔记

Sun, 09 Jun 2024 00:00:00 +0000

马毅：要想正确理解深度神经网络，就必须认识到其本质是学习高维数据中的低维结构的手段。从第一性原理出发，把目的和手段分清楚，其余的都很容易被统一、被解释。

从 Attention 的角度理解马毅老师这句话，Embedding 的时候本来就升维了，再做 QKV 就相当于在高维里面抽低维信息。而且 Q 也是可学习的，所以就既能学到好的抽取方法；对于每一种抽取方法，又能特别高效地抽取。

GitHub 项目地址：rnn-note / attention-note

一、语言模型入门：RNN, LSTM, GRU

1.1 序列模型

马尔可夫假设，当前数据只跟最近 τ 个数据点相关。把最近 τ 个数据点作为特征，用 MLP 预测当前数据点的值。

1.2 文本预处理

对文本词元化 (tokenize) 并构建词表，就是把文本映射到从 0 开始的索引。

1.3 语言模型和数据集

对语料分批量 (batch) 处理。介绍了两种（batch 内的）采样策略：

随机采样策略：每个 batch 内的相邻子序列是随机的
顺序分区策略：每个 batch 内的相邻子序列是顺序的

1.4 循环神经网络的从零开始实现

每次输出仅由前一个隐状态和当前新输入 x 决定，是为 RNN。

提及的知识点：

独热编码：文本经过词元化后，还要经过 one-hot 处理，才能进入模型
困惑度：我们用困惑度来描述文本生成的质量，通过一个序列中所有的 n 个词元的交叉熵损失的平均值来衡量 $$\frac{1}{n} \sum_{t=1}^n-\log P\left(x_t \mid x_{t-1}, \ldots, x_1\right)$$
梯度裁剪：对于 $ T $ 长序列将产生 $ O(T) $ 长矩阵乘法链。当 $ T $ 较大时，可能导致数值不稳定，例如可能导致梯度爆炸或梯度消失。这种情况下优化算法可能无法收敛。下式通过将梯度 $ g $ 投影回给定半径 $ \theta $ 来限制梯度的大小。其中 $ \frac{\theta}{\|\mathbf{g}\|} $ 可以理解为梯度 $ g $ 的单位方向向量。 $$\mathbf{g} \leftarrow \min\left(1, \frac{\theta}{\|\mathbf{g}\|}\right) \mathbf{g}$$

1.5 循环神经网络的简洁实现

使用高级 API 实现循环神经网络。

LSTM 家庭用电预测

Sun, 12 May 2024 00:00:00 +0000

长短期记忆网络（Long Short-Term Memory，LSTM）是一种 RNN 模型，常用于序列数据建模。尤其适合需要挖掘序列中长期依赖关系的问题。

GitHub 项目地址：luochang212/lstm-model

一、keras 模型训练

数据导入
数据预处理
趋势可视化
分割训练集和测试集
定义 & 训练网络
预测
预测整个序列

二、keras 模型推理

数据预处理
用训练好的 keras 模型做预测
预测下一个值
预测下一个序列

三、PyTorch 模型训练

施工中

参考资料：

手写深度学习

Fri, 09 Feb 2024 00:00:00 +0000

与其说深度学习是一门技术，不如说深度学习是一种语言

GitHub 项目地址：AI-Project/scratch

一、自动微分

1. 简单的例子

1.1 张量 x 的梯度

张量 $ x $ 的梯度可以存储在 $ x $ 上。

要点：

x.grad: 取 $ x $ 的梯度
x.requires_grad_(True): 允许 tenser $ x $ 存储自己的梯度
x.grad.zero_(): 将 $ x $ 的梯度置零

import torch

# 初始化张量 x (tensor x)
x = torch.arange(4.0)

x.requires_grad_(True)  # 允许 tensor x 存储梯度
x.grad is None  # 梯度默认为 None

> True

初始化带梯度的张量，下面是两个例子：

torch.tensor([1., 2., 3.], requires_grad=True)

> tensor([1., 2., 3.], requires_grad=True)

深度学习笔记

Sat, 11 Nov 2023 00:00:00 +0000

跟李沐老师学深度学习，课程见 d2l，如有错误，欢迎拍砖

GitHub 项目地址：AI-Project

〇、技术路线图

flowchart TD
    A[softmax 回归] -->|无法拟合 XOR 函数| B[多层感知机]
    B --> |高像素图片作为输入，模型参数爆炸| C[卷积]
    C -->|数据的长宽下降太快| D[填充]
    C -->|数据的长宽下降太慢| E[步幅]
    C -->|缓解卷积对位置敏感| F[池化]
    C -->|多模式识别与组合| G[多通道输入/输出]

❤️ powered by mermaid

一、softmax 回归

1. 虽然叫回归，但是softmax 解决的是分类问题

回归估计是一个连续值
分类预测是一个离散类别

2. 分类应用举例

MINIST
ImageNet
human-protein-atlas-image-classification (Kaggle)
malware-classification (Kaggle)
jigsaw-comment-classification (Kaggle)

3. 从回归到多类分类 – 均方损失

对分类结果做 one-hot 编码：

$ y = [y_1, y_2, , ... , y_n]^T $

$ y_i=\left\{\begin{array}{l}1 \text { if } i=y \\ 0 \text { otherwise }\end{array}\right. $