百度自然语言处理技术新突破 “端到端问答”迈出重要一步
人工智能自然语言处理领域的开放域问答技术在智能搜索、智能助手、智能客服等多个场景下，都发挥着重要作用。特别是近些年，随着各种智能手机、智能音箱的普及，智能搜索快速进化，可以帮助用户在这些小屏和无屏设备上更快速、准确的获取有用信息。
近日，百度提出RocketQA，一种面向端到端问答的检索模型训练方法，助力机器问答理解技术迈出突破一步，推动了智能问答领域技术发展。该方法不仅在多个问答相关数据集中取得了当前最佳结果，同时也超越谷歌、微软、脸书、阿里、美团、卡内基梅隆大学、清华大学等企业和高校，问鼎微软MSMARCO数据集段落排序任务榜首。
（微软MSMARCO数据集排行榜截图）
据了解，微软MSMARCO数据集是微软提出的大规模的面向问答的数据集，不仅规模大，而且贴近真实场景，包含约100万问题、880万相关段落以及人工标注的问题答案。RocketQA在其中的脱颖而出，正显示了百度在模型检索能力方面的领先实力。
百度RocketQA训练方法是一种对偶式检索模型增强训练方法，并基于百度自研的语义理解技术与平台文心（ERNIE）进行训练，大幅提升了对偶式检索模型的效果。所谓对偶式检索模型，是一种区别于传统的检索模型的基于深度语义表示的模型，能够利用强大的网络结构进行更深层次的学习，同时基于预训练语言模型，使语义理解更加丰富。然而在检索问答场景上，该模型的表现仍有欠缺，其训练仍然存在着，诸如训练场景和预测场景中样本数量差异较大、数据集中存在大量漏标注的正确答案、人工标注训练数据相对规模小成本大等问题和挑战。
针对对偶式检索模型训练中存在的问题和挑战，百度RocketQA通过跨批次负采样（cross-batchnegatives）、去噪的强负例采样（denoisedhardnegativesampling）与数据增强（dataaugmentation）等3项技术，解决了上述问题和挑战，从而使得对偶式检索模型效果大幅提升。在实现RocketQA的过程中，这3项技术处于层层递进的关系，最终合成一套。同时，实现过程中还使用了百度文心（ERNIE）初始化模型参数。
实验结果也显示，RocketQA在微软MSMARCO和谷歌NaturalQuestion数据集的效果均大幅超过了已经发表的最好的检索模型。同时在答案抽取任务上，百度RocketQA检索结果的有效性也得以验证。
（RocketQA在微软MSMARCO和谷歌NaturalQuestions数据集上段落检索的效果）
此外，百度RocketQA的提出，更代表着向实现“端到端问答”迈出的重要一步。不同于传统的级联式问答系统，“端到端问答”摒弃了传统系统中繁杂的构件，系统复杂性大大降低，并且其中每个模块（段落检索和答案定位）都是可学习的，这样的设计能够让整个系统实现端到端训练。从而能够基于用户实时的反馈实现在线训练，而不是只在封闭的数据集上闭门造车。正是基于上述优异性，端对端回答成为智能问答技术的发展趋势，甚至可能会引发问答系统的新一代技术变革。而百度RocketQA正是面向端对端回答方向，在优化解决对偶式检索模型训练中存在的，诸如训练、预测场景样本数量差异较大，人工标注规模小、成本高等问题之后，并取得MSMARCO榜首的好成绩，为“端对端回答”攻下一城。
实际上，在研发算法的过程中，高性能的并行训练也必不可少，它是研发人员快速尝试各种想法的利器。百度RocketQA的实现即完全基于飞桨深度学习框架。据相关资料显示，百度研究人员在使用飞桨分布式训练API（paddle.distributed.fleet）进行训练的同时，也采用了飞桨分布式训练扩展工具FleetX。前者是百度飞桨新API体系下的通用分布式训练API，其提供的经典数据并行训练方案能够大幅提升试验效率；后者是百度飞桨框架分布式训练扩展工具，提供数据分片并发下载、快速定义模型、快速提交集群任务等功能，能够实现了研发人员的使用效率的极大提升。
（百度飞桨全景图）
目前，RocketQA已逐步应用在百度搜索、广告等核心业务中，并将在更多场景中发挥作用。以百度搜索为例，可以感受一下问答技术在实际应用中对于用户体验的改变。比如，当我们在使用搜索引擎查询问题时，总是期望能第一时间得到更精准的回应。如果说传统的搜索总是给出可能的十条链接作为回答，那么，基于问答技术，问答结果得以优化，答案界面正在发生这样的变化：唯一的精准答案被直接给出，信息的获取更快速准确。
（百度搜索的TOP1结果：将问题的答案展现在搜索结果的首位，提升用户体验）
正如上图所显示，当我们在百度搜索框输入诸如“佩奇是公猪还是母猪”的问题后，界面第一条即会已卡片形式直接给出“女生”的答案，第二条开始才是之前所熟悉的链接形式。这样一来，问与答之间的效率会大幅提升，用户能够第一时间得到自己想要的答案，从而提升用户使用体验。在有了RocketQA的大规模应用后，百度搜索的TOP1结果会更好。
相关文章
-
京东接入支付宝吗？为什么不接入？
可能很多京东新用户并不知道最早京东是支持支付宝付款的，但后续因为手续费问题京东就不再支持使用支付宝了，自此京东开始自建京东钱包等金融产品。那么现在京东接入支付宝吗?一、京东接入支付宝吗?这个据我所知，京东前期是要接入支付宝的，但是京东要求在支付过程中，不要跳转到支付宝页面，支付宝方面不同意，所以告吹。后接的快钱，可能大家眼睛快的，或者网络延迟的会发现京东支付过程会经过快钱，一闪而过。二、为什么不接
2024-03-13 19:15 -
拼多多站外推广有哪些？最常见的推广方式
对于拼多多店铺来说，最重要的就是流量，拼多多新店虽然有平台支持，但是流量也很少，这样导致店铺的权重很低，排名也靠后，这时候就需要进行推广好了，今天我们来讲拼多多站外的推广。,微博成立10余年已经是运营非常成熟的自媒体软件，这个平台用户数量非常大，并且这么多年微博能够经久不衰，在市场站稳脚跟，现在还是拥有很高的用户数量，所以商家在微博上进行推广也是非常可取的，微博可以带相关搜索关键词，主要用户点进去
2024-03-13 16:52 -
百度发视频按播放量算吗？多少播放量才有收益？
然而，很多人都对百度发视频是否按照播放量来计算收益表示怀疑。,实际上，百度对于视频的收益计算还考虑了其他因素，比如点击量、广告收入等等。,换句话说，如果一个视频质量很高且受众群体广泛，那么它的广告收入和分成比例就会相应提高。
2024-03-13 18:16 -
百家号发在什么平台？有收益吗？
在这个信息爆炸的时代，个人创作者通过网络平台分享自己的观点、经验和知识已成为一种趋势。而作为中国知名的内容创作平台之一，百家号备受关注。那么，百家号到底是发在什么平台上呢？本文将会对此进行探讨。百家号是百度公司推出的自媒体平台，是一个让用户可以自由创作和传播内容的平台。作为百度旗下的产品，百家号依托百度搜索引擎和百度指数的庞大流量入口，为作者提供了一个广泛传播的空间。答案是肯定的。百家号采用CPM
2024-03-13 18:08 -
百家号文章一万阅读量能赚多少？怎么发文章？
那么，百家号文章一万阅读量能赚多少呢？,在百家号的控制台中，你可以点击“撰写文章”按钮，然后按照指引填写文章的标题、正文、插图等内容，并进行排版和编辑。,6、优化推广：在发布文章后，你需要积极推广自己的作品，可以通过社交媒体、微信群等方式将文章分享给更多的人。
2024-03-13 18:03 -
百家号分销有什么要求？分销渠道有哪些？
首先，百家号要求自媒体作者具备一定的原创能力和优质内容。,百家号注重原创性和独特性，因此要求自媒体作者的文章内容不得存在抄袭、侵权等问题。,百度百家号App为自媒体作者提供了更广泛的曝光机会。
2024-03-13 18:00 -
微商朋友们时间都去哪儿了？
做微商的朋友们，是不是每天花大把时间在微营销上面却不见起色？！因为时间都被你浪费在非精准粉丝身上了！！那么怎么找精准粉丝呢？作为曾经跟你们一样煎熬的小伙伴，我想给大家介绍几个方法，大家看完可以去实践下：1.通过私人微信去账号，一个是私人生活，另一个是公司宣传用的工作微信号。两个号每天坚持发微信朋友圈（可以是生活感受丶笑话丶拍照之类的）或者转发公司微信公众账号的内容，工作号昵称都统一，真实完善账号的
2024-03-22 22:08 -
网站被降权后,进入沙盒期，半个月恢复心得分享
关于微商网被降权后，如何有效的快速恢复一些心得。,在去百度站长工具看下，外链分析一查看，400多个黑链接，全部404页面。,第三步、原来每天加的文章数减少一半，自己写2篇，坚持1个星期OK。
2024-03-22 21:47 -
微商应如何在百度推广？
做微商推广也是有技巧的，下面例举了几条。,1、在各种网站发布软文，然后尽量让其被搜索引擎收录。,你的产品出名不出名，关键词在百度一搜，看看搜索结果数量，就清楚了，没有几千万的搜索结果，那根本就不叫知名品牌，晓得吧？
2024-03-22 21:44 -
微商怎么推广？效果最好的微商推广方法大全！
相信刚开始做微商的朋友，很多都不懂怎么去做，无从着手怎么去推广吸引客户，客源少，产品无人问津成为一个让人头疼的问题。怎么找精准客户？微商怎么推广?怎么引流客源?怎样才能做好微商的生意?其实，做微商最根本的就是找客源，一切生意的本质就是流量，流量就是客源人脉，找客源最根本的方法就是精准引流，让对你产品感兴趣的意向客户主动的来群的二维码，通过，说我上班不方便接电话，有好的房源可以发图片在微信上，这样话
2024-03-22 21:27