中文词向量生成

Sat, 29 Jun 2024 00:00:00 +0000

本文做了一件有意思的事，用 Bert 生成《红楼梦》人名的词嵌入，再用 t-SNE 将高维的词向量降为二维后做可视化。结果发现，主角团三人的名字在向量空间中是紧紧挨在一起的。

本文探索的内容包括：

用 Word2Vec 生成中英文词向量。

用 Bert 生成中英文句子向量。

我的构想是：拿到红楼梦里所有词汇的 embedding，然后看我们感兴趣的词（比如林黛玉）离哪个词最近。

用 t-SNE 和 PCA 对 embedding 降维，做 2D & 3D 可视化

Q: nn.Embedding 是一种预训练的embedding模型吗

Representation on Chang Luo