https://www.luochang.ink/tags/graph/ Recent content in Graph on Chang Luo Hugo zh-CN Sat, 27 Jul 2024 00:00:00 +0000 https://www.luochang.ink/posts/synchrotrap/ Sat, 27 Jul 2024 00:00:00 +0000 https://www.luochang.ink/posts/synchrotrap/ <blockquote> <p>SynchroTrap 是基于 Jaccard 相似度和最大连通子图的异常检测算法，出自 Facebook 的论文 <a href="https://users.cs.duke.edu/~xwy/publications/SynchroTrap-ccs14.pdf" target="_blank">Uncovering Large Groups of Active Malicious Accounts in Online Social Networks</a>.</p> </blockquote> <p>GitHub 项目地址：<a href="https://github.com/luochang212/SynchroTrap" target="_blank">SynchroTrap</a></p> <p>本文做了什么：</p> <ul> <li>用 <code>mimesis</code> 生成源数据，并基于源数据构造正态分布的样本</li> <li>通过构造一个 \( \lambda \) 可调的泊松过程，生成用户到访时间戳</li> <li>提供一个由 7 个变量控制的异常数据生成函数，见 <a href="https://github.com/luochang212/SynchroTrap/blob/main/utils.py#L236" target="_blank">gen_attack_df</a></li> <li>用 Jaccard 相似度构图，再用 <code>NetworkX</code> 对图做可视化</li> <li>用 Spark 的 <code>graphframes</code> 计算最大连通子图</li> <li>复现了论文 2.2 节的可视化效果，见 <a href="https://www.luochang.ink/posts/synchrotrap/#%E4%B8%89%E8%AF%84%E4%BC%B0%E4%B8%8E%E5%8F%AF%E8%A7%86%E5%8C%96">评估与可视化</a></li> <li>介绍如何使用 <code>Docker</code> 构建 Spark 开发环境</li> </ul> <p>✨ 注意：运行以下代码依赖 <a href="https://github.com/luochang212/SynchroTrap/blob/main/utils.py" target="_blank">utils.py</a> 文件和 <a href="https://github.com/luochang212/SynchroTrap/tree/main/gen_data" target="_blank">gen_data</a> 库。</p> <h3 id="一样本生成">一、样本生成</h3> <p>脱离互联网企业，我们很难拿到可供挖掘的异常数据样本。一种方法是自己生成。自己生成样本的好处是能拿到真正的 ground truth，而且可以精细地控制异常的规模和程度。</p> <ol> <li>生成源数据</li> <li>生成大盘数据 <ul> <li>生成正态样本分布</li> <li>生成 uid 并计算访问次数</li> <li>时间与时间戳</li> <li>用户日志表</li> </ul> </li> <li>生成异常数据 <ul> <li>选择攻击开始时间</li> <li>获取 ip 池</li> <li>发起攻击</li> </ul> </li> <li>整合两份数据</li> </ol> <blockquote> <p><strong>Note:</strong> 与异常捕获的难度有关的变量：</p> https://www.luochang.ink/posts/graph_algorithms/ Sun, 25 Feb 2024 00:00:00 +0000 https://www.luochang.ink/posts/graph_algorithms/ <blockquote> <p>记笔记能让脑子里的知识结构化说是</p> </blockquote> <p>GitHub 项目地址：<a href="https://github.com/luochang212/graph-algorithm" target="_blank">graph-algorithm</a></p> <h3 id="一图的基础操作">一、图的基础操作</h3> <ul> <li>1.创建图 <ul> <li>1.1 从空图开始创建</li> <li>1.2 用边文件创建</li> <li>1.3 用已经存在的图、边的列表创建</li> <li>1.4 创建带权边</li> <li>1.5 为图添加属性</li> <li>1.6 创建有向图</li> </ul> </li> <li>2.可视化 <ul> <li>random</li> <li>circular</li> <li>spectral</li> <li>shell</li> </ul> </li> <li>3.中心性度量 <ul> <li>Degree Centrality</li> <li>Closeness Centrality</li> <li>Betweenness Centrality</li> <li>Eigenvector Centrality</li> </ul> </li> <li>4.随机图生成</li> <li>5.读写文件 <ul> <li>写入文件</li> <li>读出数据</li> </ul> </li> </ul> <br> <center> <button class="demo-btn" onclick="window_on('https://nbviewer.org/github/luochang212/graph-algorithm/blob/main/1.base.ipynb')">查看示例</button> </center> <br> <h3 id="二通用图算法">二、通用图算法</h3> <ul> <li>连通性 Connectivity</li> <li>最短路 Shortest Paths</li> <li>相似性度量 Similarity Measures</li> <li>距离度量 Distance Measures</li> <li>链接预测 Link Prediction</li> <li>匹配 Matching</li> </ul> <br> <center> <button class="demo-btn" onclick="window_on('https://nbviewer.org/github/luochang212/graph-algorithm/blob/main/2.algorithms.ipynb')">查看示例</button> </center> <br> <h3 id="三社区检测算法">三、社区检测算法</h3> <ul> <li>1.常见社区检测算法 <ul> <li>1.1 label Propagation</li> <li>1.2 Girvan-Newman</li> <li>1.3 Greedy Modularity</li> <li>1.4 Louvain</li> </ul> </li> <li>2.是否接受边权作为输入 <ul> <li>推荐使用 louvain</li> </ul> </li> </ul> <br> <center> <button class="demo-btn" onclick="window_on('https://nbviewer.org/github/luochang212/graph-algorithm/blob/main/3.community.ipynb')">查看示例</button> </center> <br> <h3 id="四图嵌入">四、图嵌入</h3> <blockquote> <p>施工中</p> </blockquote> <h3 id="五节点分类问题">五、节点分类问题</h3> <ul> <li>Communicability</li> <li>Cores</li> <li>Clique</li> <li>Clustering</li> </ul> <h3 id="六相似子图挖掘">六、相似子图挖掘</h3> <p>基于图的编辑距离挖掘</p>