京东开源超大规模联邦学习平台（9NFL） 深度连接合作伙伴
众所周知,数据是人工智能的基石,只有具备丰富和充分的数据,我们才能利用数据挖掘、机器学习等技术洞见深层次的行业趋势进而指导决策。但与此同时所产生的数据隐私的保护问题也越来越受到关注,近年来国内外在逐步加强对数据隐私的保护,例如欧盟最近引入的新法案《通用数据保护条例》(GDPR),我国国家互联网信息办公室起草的《数据安全管理办法(征求意见稿)》等。当企业之间跨域跨组织的原始数据合作成为历史,如何打破数据孤岛,让数据在安全合规的前提下自由流动,成为了业界积极探索的方向。
数据孤岛
在这个大背景下,联邦学习技术应运而生。联邦学习(FederatedLearning)概念是由Google在2016年首次提出,它作为一个机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。
作为数据安全计算的业界前沿技术方案的联邦学习,可在保护数据隐私的同时深度连接各个合作方,达到了技术赋能、共创共赢的目标。
联邦学习原理
业界前沿技术自主研发首次在电商推荐领域实现技术落地
基于业务需要,京东自研的联邦学习平台:九数联邦学习平台(9NFL)于2020年初正式上线。九数联邦学习平台(9NFL)基于京东商业提升事业部9N机器学习平台进行开发,在9N平台离线训练,离线预估,线上inference、模型的发版等功能的基础上,增加了多任务跨域调度、跨域高性能网络、大规模样本匹配、大规模跨域联合训练、模型分层级加密等功能。整个平台可以支持百亿级/百T级超大规模的样本匹配、联合训练,并且针对跨域与跨公网的复杂环境,对可用性与容灾设计了一系列的机制与策略,保障整个系统的高吞吐、高可用、高性能。
9NFL
京东自研的九数联邦学习平台(9NFL)主要有三点技术创新:
1、业界前沿技术自主研发:从0到1设计与开发,实现了从样本匹配到模型训练/预测的完整解决方案;
2、营销推荐领域技术落地:支持百亿级规模样本、百T级容量数据,首次在电商推荐领域实现线上业务落地;
3、复杂场景下平台演进:实现分布式异步框架、Failover、拥塞控制等多种机制,保障了平台在跨域跨网的复杂场景下的高可用。
自上线以来,九数联邦学习平台(9NFL)在取得了较好业务成绩的同时,也经受住了业务大数据、大算力的考验。
在与媒体进行合作的京东广告投放业务场景中,媒体侧有大量的用户媒体兴趣标签,京东侧有大量的用户商业兴趣及商品标签数据,基于双方数据的互补性,使用联邦学习平台联合建模,优化广告的触发召回、CTR/CVR模型等模块,并成功上线,取得10%+的收入提升。
9NFL在广告营销落地的场景图
联邦学习作为安全计算的解决方案,打破数据孤岛,实现了多方在数据的隐私保护与安全合规的前提下的紧密合作,将会成为AI发展的一大基石,在未来发挥更加重要的作用。九数联邦学习平台(9NFL)未来也将在1.0版本的基础上持续优化产品功能,深度连接合作伙伴,实现共创共赢。
相关文章
-
重要通知：关于升级经理班服务11.0通知
各位同学：经理班11.0服务升级完成，因为涉及到数据库的迁移，官网各项学习功能会受到影响。,自主选择需要系统化的提升，还是专项训练——当然，若自己拿捏不定，可以和学习顾问\成长顾问沟通，让老师给你专业的建议，然后你再做选择。,新的模式运行期间，可能会出现各项无法预知的问题，若遇到后也请同学理性对待，并积极主动和班主任老师反馈问题，让程序员及早进行优化和升级。
2024-03-14 16:14 -
网店怎么开，网店怎么就能做好了
首要来讲，通过正规的流程去开店的话，是需求一千元的保证金，这个能够说是渠道为你暂时保存，将来假如关店，会全额交还。,其实做这个没有捷径，所谓的一些高科技的软件，你能弄到，他人也能弄到，不可能全世界只要你一个人有。,当出现问题，就当然习惯性的往外推，而不是向内看。
2024-03-14 16:11 -
怎么去学拼多多运营？一般要学多久？
因此，在进行拼多多运营时，需要理解这一特点，并根据用户需求调整产品策略和推广手段。,可以通过阅读相关书籍、参加培训班或者线上课程来学习拼多多运营的知识。,在这个过程中，需要不断学习和总结经验，并进行实践来提升自己的运营能力。
2024-03-13 15:22 -
新手怎么学拼多多运营的？运营一般要学多久？
可以通过拼多多的店铺排行榜、行业论坛、社交媒体等渠道了解一些成功案例，并从中汲取灵感和启示。,在这些社群中，可以学习到其他卖家的经验分享、行业动态和最新的拼多多运营技巧，同时也可以互相支持和帮助。,可以通过开设一个小店铺或者选择一些小规模的商品进行测试和实践，从中积累经验并不断改进和优化自己的运营策略。
2024-03-13 15:13 -
拼多多新手开店怎么学习？要注意什么？
对于拼多多新手来说，学习如何在平台上开店是非常重要的一步。,了解平台的规则、政策以及用户需求，有助于更好地开展店铺运营。,希望通过学习和努力，您能够在拼多多平台上成功开店，实现自身的创业梦想。
2024-03-13 14:04 -
抖店运营怎么学习？有何技巧？
可以尝试制作有趣、有吸引力的视频内容，增加用户关注度和转化率。,在实际操作中，要灵活运用定位目标受众、优化商品页面、抓住抖音平台特点、持续优化推广策略和建立良好的售后服务体系等技巧，不断提升自己的抖店运营能力。,相信通过不断学习和实践，您一定能够在抖店运营中取得更好的成绩。
2024-03-13 18:01 -
抖音开店怎么学技术？怎么赚钱？
在抖音上开设一个店铺，上传自己或者合作伙伴的产品介绍视频，然后在视频中加入购买链接或者二维码，让用户可以直接购买。,通过与观众互动和沟通，我们能够更好地推销产品，并增加销售额。,抖音开店学习技术并赚钱是一个需要持续努力和学习的过程，但只要我们掌握了正确的技巧和方法，就能够取得成功。
2024-03-13 17:55 -
视频剪辑一单大概多少钱？怎么自学？
按照市场行情，一般视频剪辑的价格可以从几百元到上千元不等。,同时，如果您需要额外的特效、动画或音乐配乐等附加服务，这也会影响到总价格。,下载和安装编辑软件：选择适合您需求和操作系统的视频编辑软件，并下载并安装在您的电脑上。
2024-03-13 17:49 -
抖音上有0元学视频剪缉是真的吗？好学吗？
而随着社交媒体的普及，许多人开始通过网络平台学习各种技能，其中包括视频剪辑。,然而，这种学习方式真的好学吗?让我们来一探究竟。,然而，我们也应该认识到这种学习方式的局限性。
2024-03-13 17:45 -
微商每天必做的五件事
第二个你去学习了，你才能去给予别人更多东西互联网变化特别快，当别人在学习你停止就是退步要不断学习，充电，并接受新的东西一个人是否优秀，看他跟谁在一起，能走多远，看他跟谁同行，能做多大成绩，看他借谁的力！,因为，有些好的课程，如果说你花钱学的话，那么你会学得更快一些，都能理解吗？,今天就和大家分享到这个地方，希望能够给你有帮助！
2024-03-22 21:58