https://www.luochang.ink/tags/jaccard-similarity/ Recent content in Jaccard Similarity on Chang Luo Hugo zh-CN Sat, 27 Jul 2024 00:00:00 +0000 https://www.luochang.ink/posts/synchrotrap/ Sat, 27 Jul 2024 00:00:00 +0000 https://www.luochang.ink/posts/synchrotrap/ <blockquote> <p>SynchroTrap 是基于 Jaccard 相似度和最大连通子图的异常检测算法，出自 Facebook 的论文 <a href="https://users.cs.duke.edu/~xwy/publications/SynchroTrap-ccs14.pdf" target="_blank">Uncovering Large Groups of Active Malicious Accounts in Online Social Networks</a>.</p> </blockquote> <p>GitHub 项目地址：<a href="https://github.com/luochang212/SynchroTrap" target="_blank">SynchroTrap</a></p> <p>本文做了什么：</p> <ul> <li>用 <code>mimesis</code> 生成源数据，并基于源数据构造正态分布的样本</li> <li>通过构造一个 \( \lambda \) 可调的泊松过程，生成用户到访时间戳</li> <li>提供一个由 7 个变量控制的异常数据生成函数，见 <a href="https://github.com/luochang212/SynchroTrap/blob/main/utils.py#L236" target="_blank">gen_attack_df</a></li> <li>用 Jaccard 相似度构图，再用 <code>NetworkX</code> 对图做可视化</li> <li>用 Spark 的 <code>graphframes</code> 计算最大连通子图</li> <li>复现了论文 2.2 节的可视化效果，见 <a href="https://www.luochang.ink/posts/synchrotrap/#%E4%B8%89%E8%AF%84%E4%BC%B0%E4%B8%8E%E5%8F%AF%E8%A7%86%E5%8C%96">评估与可视化</a></li> <li>介绍如何使用 <code>Docker</code> 构建 Spark 开发环境</li> </ul> <p>✨ 注意：运行以下代码依赖 <a href="https://github.com/luochang212/SynchroTrap/blob/main/utils.py" target="_blank">utils.py</a> 文件和 <a href="https://github.com/luochang212/SynchroTrap/tree/main/gen_data" target="_blank">gen_data</a> 库。</p> <h3 id="一样本生成">一、样本生成</h3> <p>脱离互联网企业，我们很难拿到可供挖掘的异常数据样本。一种方法是自己生成。自己生成样本的好处是能拿到真正的 ground truth，而且可以精细地控制异常的规模和程度。</p> <ol> <li>生成源数据</li> <li>生成大盘数据 <ul> <li>生成正态样本分布</li> <li>生成 uid 并计算访问次数</li> <li>时间与时间戳</li> <li>用户日志表</li> </ul> </li> <li>生成异常数据 <ul> <li>选择攻击开始时间</li> <li>获取 ip 池</li> <li>发起攻击</li> </ul> </li> <li>整合两份数据</li> </ol> <blockquote> <p><strong>Note:</strong> 与异常捕获的难度有关的变量：</p>