飞桨图神经网络7日打卡心得总结笔记

百度PGL团队推出《图神经网络七日打卡营》,趁自己最近也在学习图神经网络,于是报名并参加11月23日-11月30日晚上8:30到10:30的直播打卡课程,课程以理论、算法代码实现和项目实战相结合的模式,通过对这个课程的学习,学到了很多知识,今天将自己觉得比较重要的及相关要点做一些总结。

图1 课程总概述

第一课:图学习初印象

图神经网络学习,通过先熟悉及了解一些数学的基础概念、一些编程的基本工程技能、机器学习相关的基础,之后复现相关经典神经网络的相关算法(如DeepWalk/GCN/GraphSage等)、之后阅读前沿论文及顶会论文,来跟踪及研究新的感兴趣的点,课程基础知识点包括:

  • 数学基础:高等数学/线性代数/概率与数理统计
  • 编程基础:Python/numpy/Paddle/

https://www.paddlepaddle.org.cn/documentation/docs/zh/beginners_guide/index_cn.html

  • 机器学习基础:神经网络(FC、BPNN)

图是一种统一描述复杂事物的语言,常被用在社交网络、互联网网络、推荐系统、化学分子、生物等相关领域。

图2 社交网络和互联网用途表示的形式

图3 推荐系统和化学分子用图表示方式

图4 规则数据及现实中图的不规则形式表示方式对比

图5 节点级别任务-从3D云中利用图模型进行目标检测

参考论文:Point-GNN:Graph Neural Network for 3D Object Detection in a Point Cloud

图6 边级别任务-利用图进行推荐系统中的链接预测

图7 图级别任务-利用图模型来进行气味识别

参考网址:https://ai.googleblog.com/2019/10/learning-to-smell-using-deep-learning.html

图8 图分类-利用图GAT算法进行网页反作弊任务(业务)

图9 图分类-利用图GAT算法进行网页反作弊任务(技术)

图10 图学习之应用汇总概览

图11 图学习之算法总结概览

图12 百度图学习框架PGL系统架构图

资料参考(Github): https://github.com/PaddlePaddle/PGL

参考资料(API文档): https://pgl.readthedocs.io/en/latest/

图13 百度图学习框架PGL分布式解决方案

图14 百度图学习框架PGL-预置多种主流图学习模型

图15 本章内容总结

第二课:图游走类模型

在本节课中,老师详细讲解了DeepWalk、node2vec、metapath2vec、metapath2vec等变种模型,在讲解这些算法中,通过形象的动画进行描述算法的原理及机制,让听者比较好理解。

图16 本章内容总结

第三课:图神经网络算法(一)

图神经网络相关的研究,通过算法论文发表数量发现,数量急剧增长,其中图神经网络的应用也渗透到各行各业中,在学术界其中OGB已经成为权威图学习方面的榜单。

图17 图神经网络的兴起-业界论文发表统计

图18 图神经网络的兴起-图在各个领域的渗透

图19 图神经网络的兴起-权威榜单OGB

图20 本节内容算法总结

第四课:图神经网络算法(二)

本节课程讲解了图采样技术和图聚合技术,并对算法GraphSage原理及代码进行了详细讲解。

图21 邻居聚合-复杂的聚合函数核心实现总结

参考网址:https://arxiv.org/abs/2003.00982v1

图22 本节内容总结

第五课、图神经网络进阶模型讲解

本节课程先通过Text Graph进行课程引入,之后讲解PGL在自然语言推理能力数据展示,之后讲解了算法ERNIESage、UniMP,特别是基于标签加图神经网络的运行机制进行了阐述,并对百度提出的基于图结构和语义表示的算法原理进行了形象的展示和理解,之后对算法ERNIESage代码实现进行了实战。

图23 TextGraph在工业界的引用

图24 百度PGL团队提出基于图结构与语义理解相结合方法ERNIESage

图25 百度PGL在自然语言推理能力性能展现

图26 基于标签传播及图神经网络在相关应用的性能表现

图27 本章内容ERNIESage/UniMP总结

参考资料:MASKED LABEL PREDICTION: UNIFIED MESSAGE PASSING MODEL FOR SEMI-SUPERVISED CLASSIFICATION

第六课:论文引用网络节点分类

图神经网络(Graph Neural Network)是一种专门处理图结构数据的神经网络,目前被广泛应用于推荐系统、金融风控、生物计算等领域。图神经网络的经典问题主要有三类,分别为节点分类、连接预测和图分类。本次比赛旨在让参赛同学了解并掌握如何使用图神经网络处理节点分类问题。本次赛题数据集由学术网络图构成,该图会给出每个节点的特征,以及节点与节点间关系(训练集节点的标注结果已给出)。

参考资料

Graph Neural Networks: A Review of Methods and Applications https://arxiv.org/pdf/1812.08434.pdf

A Comprehensive Survey on Graph Neural Networks https://arxiv.org/abs/1901.00596

  • 视频:理论课: 斯坦福CS224W
  • 动手实践:DeepWalk, node2vec, GCN, GAT, GraphSAGE(本次公开课实践内容)
  • 进阶:经典论文

DeepWalk. " DeepWalk: Online Learning of Social Representations " https://arxiv.org/pdf/1403.6652.pdf

GCN. “ Semi-supervised Classification with Graph Convolutional Networks" https://arxiv.org/pdf/1609.02907.pdf

GAT. ”Graph Attention Networks" https://arxiv.org/pdf/1710.10903.pdf

GraphSAGE. " Inductive Representation Learning on Large Graphs" https://arxiv.org/pdf/1706.02216.pdf

  • https://github.com/thunlp/GNNPapers
  • 前沿研究方向(针对GNN 而言):图采样技术、邻居聚合、深度图卷积、图预训练

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: