百度飞桨又有大动作！推出图神经网络屠榜“必杀技”UniMP
百度又有“大动作”?9月18日，百度正式公布在图神经网络领域取得新突破，提出融合标签传递和图神经网络的统一模型UniMP(UnifiedMessagePassing)，在图神经网络权威榜单OGB(OpenGraphBenchmark)取得多项榜首，引发业界关注。
Leaderboardforogbn-products
Leaderboardforogbn-proteins
Leaderboardforogbn-arxiv
图神经网络最权威榜单OGB
图神经网络是用于图结构数据的深度学习架构，将端到端学习与归纳推理相结合，有望解决传统深度学习无法处理的因果推理、可解释性等问题，是非常有潜力的人工智能研究方向。但是，这个领域一直缺乏规模比较大且认可度较高的数据集。目前大量的论文仍然在Cora、PubMed、Citeseer等小数据集上进行实验，实验的效果也没有普适性。在此情况下，OGB(OpenGraphBenchmark)应运而生：
权威性高：OGB是由斯坦福大学图神经网络权威JureLeskovec教授团队建立的大规模图学习任务的评测基准数据集，指导委员会包含YoshuaBengio、WillHamilton、MaxWelling等业界大牛。JureLeskovec教授在NeurlPS2019大会的演讲中正式对外发布OGB并开源，是目前公认最权威的图学习相关基准测试数据集。
数据丰富：OGB面向不同的图学习任务(包括节点分类，边预测，图分类)分别提供了多个数据集，如学术引用网络、知识图谱、分子图、生物网络等。其中最热门的三个半监督节点分类数据集：商品推荐ogbn-products、论文引用ogbn-arxiv和化学分子ogbn-proteins，对图神经网络研究者有极强的吸引力。
夺榜激烈：OGB吸引了包括斯坦福、纽约大学、加州大学洛杉矶分校、康奈尔大学、亚马逊等多个机构参与打榜;榜单上也诞生了层出不穷的新颖图神经网络结构，如堆积112层的深度图卷积网络DeeperGCN，发表在ICML2020的多层图网络GCNII，还有多种形式不同的图采样算法。
近日，百度PGL团队创新提出统一消息传递图神经网络模型UniMP，在三大半监督节点分类数据集均荣登榜首。
UniMP：统一消息传递模型
在半监督图节点分类场景下，节点之间通过边相连接，部分节点被打上标签。任务要求模型通过监督学习的方式，拟合被标注节点数据，并对未标注的节点进行预测。如下图所示，在一般机器学习的问题上，已标注的训练数据在新数据的推断上，并不能发挥直接的作用，因为数据的输入是独立的。然而在图神经网络的场景下，已有的标注数据可以从节点与节点的连接中，根据图结构关系推广到新的未标注数据中。
一般应用于半监督节点分类的算法分为图神经网络和标签传递算法两类，它们都是通过消息传递的方式(前者传递特征、后者传递标签)进行节点标签的学习和预测。其中经典标签传递算法如LPA，只考虑了将标签在图上进行传递，而图神经网络算法大多也只是使用了节点特征以及图的链接信息进行分类。但是单纯考虑标签传递或者节点特征都是不足够的。
百度PGL团队提出的统一消息传递模型UniMP，将上述两种消息统一到框架中，同时实现了节点的特征与标签传递，显著提升了模型的泛化效果。UniMP以GraphTransformer模型作为基础骨架，联合使用标签嵌入方法，将节点特征和部分节点标签同时输入至模型中，从而实现了节点特征和标签的同时传递。
简单的加入标签信息会带来标签泄漏的问题，即标签信息即是特征又是训练目标。实际上，标签大部分是有顺序的，例如在引用网络中，论文是按照时间先后顺序出现的，其标签也应该有一定的先后顺序。在无法得知训练集标签顺序的情况下，UniMP提出了标签掩码学习方法。UniMP每一次随机将一定量的节点标签掩码为未知，用部分已有的标注信息、图结构信息以及节点特征来还原训练数据的标签。最终，UniMP在OGB上取得SOTA效果，并在论文的消融实验上，验证了方法的有效性。
屠榜背后：飞桨图学习框架PGL加持
UniMP基于飞桨图学习框架PGL(PaddleGraphLearning)实现，依托飞桨核心框架以及自研的图引擎。PGL支持十亿节点百亿边的超巨图训练，原生支持异构图Metapath采样以及MessagePassing双模式，预置多种业界主流图学习算法以及自研模型如ERNIESage、UniMP等，方便开发者熟悉和使用图神经网络领域模型。
飞桨PGL已经在搜索、广告、信息流、金融风控、贴吧、用户画像、智能地图等场景全面落地，可支持百亿巨图场景。图学习作为通用人工智能算法之一，势必成为这个时代新的基础设施，赋能各行各业，助燃智能经济腾飞。
PGL获得喜人成绩，背后离不开强有力的后盾——飞桨。飞桨是我国首个开源开放、功能完备的产业级深度学习平台，向下对接芯片，能够和芯片进行软硬一体的优化，向上支撑各种应用，助力技术创新和业务发展，可以说是“智能时代的操作系统”。近期，飞桨动态图和API体系全面升级，让开发者可以更便捷地开发、更高效地部署模型。
百度希望有志之士加入PGL，一起共建未来。PGL代码完全开源开放，欢迎欢迎开发者们使用并贡献您的奇思妙想。如果您觉得还不错，欢迎“Star”;如果您有意见需要交流，欢迎“Issue”。
相关文章
-
京东什么场景下使用云标签？注意事项有哪些？
京东云标签为商家提供对异常行为线上打标的功能，让京东商家在日常订单交易环节中沉淀买家的异常行为，从而结合京东风控大数据帮助商家防御可能遇到的攻击。,下面就给各位京东卖家们详细介绍一下。,3)运费险套利风险打标成功后，就会拒绝赔付运费险吗?答：是的，系统会拒赔，但是如因商家拒赔存在消费者投诉，则以投诉流程处理结果为准。
2024-03-13 18:57 -
京东开放平台化妆品商品信息合规规范大全
京东开放平台发布了化妆品商品信息合规规范，规则于2022年1月1日生效，商家赶紧来了解规则内容：第一章概述第一条目的为规范化妆品商品标签信息展示合规性，保障广大消费者的合法权益，提升消费者的购买体验，根据国家相关法律法规及京东规则等，特制订本规范。,本规范适用于以涂擦、喷洒或者其他类似方法，施用于皮肤、毛发、指甲、口唇等人体表面，以清洁、保护、美化、修饰为目的的化妆品商品。,(五)填写格式参考：—
2024-03-13 18:41 -
京东pop商家怎么上传产品视频？入驻费用多少？
下面，我们来看看pop商家上传产品视频的方法吧。,一、怎么上传产品视频?1. 登录商家后台，进入我的店铺——媒体资源管理中心。,扣点：是后期店铺上线之后，京东从商家的销售额中扣除，2--8个点。
2024-03-13 18:26 -
京东开店商品没有标签怎么办？商品打标怎么打？
二、商品打标怎么打当一个消费者打开京东的时候，系统就会读取他的标签，根据这些标签自动推荐商品。,在标签形成后，系统就会根据这些错误的标签来给我们匹配流量，当然这些流量进入我们的商品时自然是不能带来转化的(表现的是转化率非常差)，然后平台就会认为我们的流量承接有问题(表现为排名下掉，流量减少)，然后就会不给我们流量了。,因为系统对于店铺和用户人群都是有打标的，我们将商品标签做好，就能找准对应的用户人
2024-03-13 18:23 -
京东商城商品标签怎么设置？如何打标签？
现在网购平台已经实行千人千面的匹配机制了，这对于买家来说也算是一个福音，大家可以随便搜索就能找到自己喜欢的商品。,在标签形成后，系统就会根据这些错误的标签来给我们匹配流量，当然这些流量进入我们的商品时自然是不能带来转化的(表现的是转化率非常差)，然后平台就会认为我们的流量承接有问题(表现为排名下掉，流量减少)，然后就会不给我们流量了。,当一个消费者打开京东的时候，系统就会读取他的个人标签，根据这些
2024-03-13 18:23 -
京东商城商品标签怎么看？如何打造店铺标签？
上传了以后，那么这个商品的标签具体如何去进行查看呢?接下来的内容中为大家进行介绍哦。,在此期间重视产品属性词的可以填写完整，并与产品标题、主图吻合，就是强化自身的基础标签。,4.留住老客户，进一步巩固店铺人群标签之前购买过产品的老客户再次对店内产品做出一些行为时，对人群标签起到有效巩固的作用，不过在做活动吸引老客户的时候也需要对老客户曾经购买过的客单价进行筛选，把之前利用不合理活动引来的老客户进行
2024-03-13 18:22 -
京东商品怎么取消预订标签？商品怎么打标？
京东和淘宝都是国内消费者群体比较多的电商平台，京东平台虽然价格比较高，但是，产品质量和客户服务都是做的非常好的。,京东新产品是指在京东首次由商家上架的特定产品，时尚家居部分具有季节性属性，符合“当季”原则。,京东商城一边会给产品打各种标签，商家需要提前了解打标规则。
2024-03-13 18:22 -
京东内容打标规则，内容标签结构升级
内容绑定的标签信息可能会进行审核修改，最终打标结果以审核确认无误后的信息为准。,四、Q&AQ：进行内容打标对我来说有什么好处?A：首先，内容标签从不同维度对内容进行了解构，您可根据以上几种标签类别构思自己的写作方向，比如，在写作前就明确内容所针对的“目标人群”，内容所描绘的“场景”(生活场景/抽象的功能场景)等等，帮助写作更加有方向、有针对性。,Q：主题标签可以跨行业选择吗，例如送礼攻略?
2024-03-13 18:21 -
京东怎么设置商品标签？打标会有哪些规则？
对于京东商家来说，要想要好好的运营京东店铺，那么一些方面的信息设置都是有必要了解的，比如说商品标签的设置设置了以后，对于提高商品的销量来说会有一定的帮助，那么如何去设置京东商品标签呢?京东怎么设置商品标签?京东新产品是指在京东首次由商家上架的特定产品，时尚家居部分具有季节性属性，符合“当季”原则。,当POP在spu中绑定多个sku时，所有SKU和spu的UPC代码应该一致。,5.新产品上架后要进行
2024-03-13 18:20 -
京东人群标签如何优化？怎么修正人群？
1、制定活动定期推出一些店内促销活动，但是要注意针对群体，例如当你的客单价比较高，就不要去报免费试用或者秒杀活动了，因为这类活动的客户对价格比较敏感，吸引过多此类消费者的话，很容易造成人群标签混乱。,2.购物触点购物触点是人群定向推广工具，主要通过访客定向来匹配相应的人群，这种操作也可以快速把店铺标签拉回来。,现在是个性化搜索时代，人群标签虽然重要，但是进行店铺优化调整的时候，要将切入点全面化，不
2024-03-13 17:58