用户:Mandudu123/沙盒
| 机器学习与数据挖掘 |
|---|
 |
Word2vec为一群用来产生词嵌入的模型。这些模型为浅、双层神经网络
训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系。该向量为神经网络之隐藏层[1]
Word2vec依赖skip-grams或continuous bag of words (CBOW)来建立神经词嵌入。Word2vec为Tomas Mikolov at Google带领的研究团队创造。该算法渐渐被其他人所分析和解释[2][3]
Skip-grams 和 CBOW[编辑]
Skip-gram 把其中一个词从词窗剔除。在skip-grams下给定n 词围绕着词 w，word2vec预测一个句子中其中一个缺漏的词c，i.e.以几率来表示。相反地，CBOW 给定词窗中的文本，预测当前的词
延伸[编辑]
Analysis[编辑]
对word2vec框架为何做文字嵌入如此成功知之甚少，Goldberg 和Levy 指出word2vec 的功能导致相似文本拥有相似的嵌入(用 cosine similarity计算)并且和 J. R. Firth 的distributional hypothesis有关 They also note that this explanation is "very hand-wavy".
实作[编辑]
参见[编辑]
- Autoencoder
- Document-term matrix
- Feature extraction
- Feature learning
- Language modeling § Neural net language models
- Vector space model
参考[编辑]
- ^ Mikolov, Tomas; et al. Efficient Estimation of Word Representations in Vector Space (PDF). [2015-08-14].
- ^ Goldberg, Yoav; Levy, Omar. word2vec Explained: Deriving Mikolov et al.’s Negative-Sampling Word-Embedding Method (PDF). [2015-08-14].
- ^ Řehůřek, Radim. Word2vec and friends (Youtube video). [2015-08-14].
| |||||||||||||||||||||||||||||||||||||||||||||||