Network Embedding相关

Network Embedding & Graph Embedding

背景:由于当前很多系统背后都以网络的形式呈现,如social networks、biological networks、information networks。网络数据的复杂性首先就要求我们去找到有效的network data representation。传统的表示方法为graph embedding,而由于其高计算复杂度、低并行、以及无法适用于机器学习方法,使得这种依赖于边的表示方法在大数据处理上出现瓶颈。因此出现了有效的network embedding的方法。

network embedding 和 graph embedding都是将图embed到低维的向量空间进行表示,得到每个点的向量表示之后可以进行后续的link prediction、identifying important nodes、inferring node labels(classification)。

Graph Embedding:主要是研究降维技术。1、Isomap:通过计算节点之间的distance,使用KNN算法,得到每个点之间最近的距离,构成一个distance matrix,然后使用典型的multidimensional scaling methos(MDS)来反推出每个node的向量表示。2、Locally Linear embedding(LLE)3、Laplacian eigenmaps(LE)

Network Embedding:主要分为三大类:1、structure and property preserving network embedding;2、network embedding with side information;3、advanced information preserving netwrok embedding(supervised method)。主要的方法:Matrix Factorization、Random Walk、Deep Neural Networks等。

Major difference:两者在目标和假设上都存在明显的不同。目标上:Graph Embedding的目标函数是能够进行图的重建(reconstruction),而Network Embedding的目标函数是reconstructing original networks 并且 support network inference(即在embedding空间中也要保留图的其他特性)。假设上:Graph Embedding实施在包含了各种特征的图数据上,每个节点之间的亲密度已经在边的权重和本来的特征空间中,而Network Embedding可以使用在各种不同的图上,节点之间的亲密程度并没有显示的表现出来,需要专门的分析以及依赖于特点的环境,因此需要联合各种信息,network structure、properties、side information、advanced information等。(个人理解:一个force on 节点之间的距离,一个force on 节点之间的关系程度)

network properties主要是网络节点的转移性

相关论文:

DeepWalk (2014):Perozzi, Bryan, Rami Al-Rfou, and Steven Skiena. “Deepwalk: Online learning of social representations.” Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2014.

Node2Vec (2016):Grover, Aditya, and Jure Leskovec. “node2vec: Scalable feature learning for networks.” Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2016.

Struc2Vec (2017):Ribeiro, Leonardo FR, Pedro HP Saverese, and Daniel R. Figueiredo. “struc2vec: Learning node representations from structural identity.” Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM, 2017.