Algorithms on Chang Luo

DNN 模型聚类特征更新方法

Sat, 19 Apr 2025 00:00:00 +0000

本文探讨如何在 DNN 模型中天级更新聚类特征时，保持聚类标签的稳定性。

本文的主要内容包括：

使用 BLIP-2 将图片转为 embedding
使用匈牙利算法建立重训练标签到原标签的映射
- 开发以 样本重合率 为度量的方法
- 开发以 类心距离 为度量的方法
赋予 embedding 近似聚类 ID 的方法：最近邻法

时至今日，多塔模型仍以 ID 类特征为主。将模型特征以 raw data 的形式直接送入模型，效果往往不好。因此，我们通常先将特征 ID 化，然后用 mmh3 哈希打散后，再送入模型。其中，特征 ID 化 是一个重要步骤，如果 ID 的粒度太细，细到极致相当于每个样本一个 ID，这时样本就无法和与之相似的样本通过 ID 进行交互；如果 ID 的粒度太粗，则 ID 下的样本过多，此时模型无法从中学到指向足够明确的信息。

将模型特征 ID 化有很多方法，比如聚类（无监督）、分类（有监督）、量化等等。本文仅讨论 聚类算法 及其在深度学习模型中的应用。

一、引子：频繁变更索引的代价

为了理解聚类算法产生的聚类 ID 是如何在深度模型中发生作用的，有必要介绍一下 嵌入层 (Embedding Layer) 的工作原理。

嵌入层是聚类 ID 与深度模型连接的桥梁。嵌入层的输入是聚类 ID，输出是该聚类 ID 对应的 embedding。在嵌入层中，聚类 ID 的每个枚举值都对应一个可学习的 embedding。如下图，假设聚类 ID 有 5 个枚举值 [0, 1, 2, 3, 4]，枚举值对应的索引分别为 idx0, idx1 … idx4。当一个样本进入模型，它会根据聚类 id 号（比如 2 号）去找对应的索引（idx2），然后将索引下的 N 维 embedding 取回。嵌入层在有些地方也被称为码本 (codebook).

流式聚类算法：DenStream 和 CluStream

Sun, 01 Dec 2024 00:00:00 +0000

直接说结论：全量聚类用 DBSCAN；无监督流式聚类用 DenStream；已知聚类数、按较大时间间隔获取聚类标签且对计算量敏感，用 CluStream.

GitHub 项目地址：stream-clustering

本文涉及的内容包括：

提供 DBSCAN、DenStream 和 CluStream 三种聚类算法的使用示例
开发对 DBSCAN 自动调参并输出聚类标签的函数 auto_dbscan
验证 DenStream 的推理结果（簇号）是否在学习过程中发生变化：会变
DBSCAN、DenStream 和 CluStream 全量训练效果对比：DBSCAN 最好
DenStream 和 CluStream 增量训练效果对比：DenStream 最好

✨ 注意：运行以下代码依赖 utils.py 文件。

一、DBSCAN

DBSCAN 是一种基于密度的聚类算法，用于从大量数据中识别出高密度区域并将其分为不同的簇。与传统的基于划分的聚类算法（如 K-means）不同，DBSCAN 不需要预先指定簇的数量，并且能够识别噪声数据和异常值。

DBSCAN 算法介绍
DBSCAN 的简单示例
DBSCAN 的可选参数
DBSCAN 自动调参：
- 基于 K 距离图选择 eps
- 选择 min_samples 的经验法则
- 使用网格搜索结合合适的评估指标
使用 best_params 进行聚类
一站式 DBSCAN 函数

二、DenStream

DenStream 适合不知道具体的聚类数，且需要实时获取聚类标签的情况。

DenStream 算法介绍
DenStream 的简单示例
DenStream 的可选参数
验证：推理结果是否随时间变化
DBSCAN 与 DenStream 效果对比
使用 DBSCAN 优化过的 epsilon 参数

三、CluStream

CluStream 是一种需要明确指定聚类数的算法。它在一段时间内的聚类效果不错，也就是说，如果你的需求是有时间间隔的，比如每 10 分钟获取一次聚类结果，CluStream 的效果是可以接受的。

频繁模式挖掘

Thu, 05 Sep 2024 00:00:00 +0000

挖掘 频繁项集 和 频繁序列 是频繁模式挖掘的两个经典任务。它俩的区别是：前者是顺序无关的，而后者关注顺序。对于这两种任务，Spark 已经有非常成熟的解决方案了，在当前主流公司的数据量级下是够用的。

GitHub 项目地址：frequent-pattern-mining

频繁项集 经常被念叨的一个用途，是挖掘经常被一起购买的商品（比如奶粉和尿布）。如果知道哪些商品经常被一起购买，就可以将这些商品打包出售。或者放在超市里相隔较远的两个地方，引导用户多逛。

频繁序列 也很有用。用户的连续行为可以看作一个序列。通过分析用户的频繁序列，产品经理可以发现用户习惯，进而优化功能排布和页面顺序，达到提升链路转化效率的效果。

✨ 注意：运行以下代码依赖 utils.py 文件。

一、频繁项集算法：FPGrowth

数据预处理
频繁项挖掘
- 频繁项集
- 关联规则

二、频繁序列算法：PrefixSpan

一个简单的例子
子序列挖掘
- 商品编码
- 生成商品序列
- 计算频繁子序列
- 通过子序列回溯原始数据

参考：

SynchroTrap 算法实现

Sat, 27 Jul 2024 00:00:00 +0000

SynchroTrap 是基于 Jaccard 相似度和最大连通子图的异常检测算法，出自 Facebook 的论文 Uncovering Large Groups of Active Malicious Accounts in Online Social Networks.

GitHub 项目地址：SynchroTrap

本文做了什么：

用 mimesis 生成源数据，并基于源数据构造正态分布的样本
通过构造一个 \( \lambda \) 可调的泊松过程，生成用户到访时间戳
提供一个由 7 个变量控制的异常数据生成函数，见 gen_attack_df
用 Jaccard 相似度构图，再用 NetworkX 对图做可视化
用 Spark 的 graphframes 计算最大连通子图
复现了论文 2.2 节的可视化效果，见评估与可视化
介绍如何使用 Docker 构建 Spark 开发环境

✨ 注意：运行以下代码依赖 utils.py 文件和 gen_data 库。

一、样本生成

脱离互联网企业，我们很难拿到可供挖掘的异常数据样本。一种方法是自己生成。自己生成样本的好处是能拿到真正的 ground truth，而且可以精细地控制异常的规模和程度。

生成源数据
生成大盘数据
- 生成正态样本分布
- 生成 uid 并计算访问次数
- 时间与时间戳
- 用户日志表
生成异常数据
- 选择攻击开始时间
- 获取 ip 池
- 发起攻击
整合两份数据

Note: 与异常捕获的难度有关的变量：

图算法笔记

Sun, 25 Feb 2024 00:00:00 +0000

记笔记能让脑子里的知识结构化说是

GitHub 项目地址：graph-algorithm

一、图的基础操作

1.创建图
- 1.1 从空图开始创建
- 1.2 用边文件创建
- 1.3 用已经存在的图、边的列表创建
- 1.4 创建带权边
- 1.5 为图添加属性
- 1.6 创建有向图
2.可视化
- random
- circular
- spectral
- shell
3.中心性度量
- Degree Centrality
- Closeness Centrality
- Betweenness Centrality
- Eigenvector Centrality
4.随机图生成
5.读写文件
- 写入文件
- 读出数据

二、通用图算法

连通性 Connectivity
最短路 Shortest Paths
相似性度量 Similarity Measures
距离度量 Distance Measures
链接预测 Link Prediction
匹配 Matching

三、社区检测算法

1.常见社区检测算法
- 1.1 label Propagation
- 1.2 Girvan-Newman
- 1.3 Greedy Modularity
- 1.4 Louvain
2.是否接受边权作为输入
- 推荐使用 louvain

四、图嵌入

施工中

五、节点分类问题

Communicability
Cores
Clique
Clustering

六、相似子图挖掘

基于图的编辑距离挖掘

算法集萃

Fri, 03 Apr 2020 00:00:00 +0000

算法学习笔记，长期更新

GitHub 项目地址：python-tips/algorithms

排序

本节介绍各种排序算法的思路和特点，并提供了示例代码。